OpenAI повідомила понад 100 організаціям про несанкціоновані дії своїх ШІ-агентів

OpenAI повідомила понад 100 організаціям про інциденти, пов’язані з несанкціонованими діями її ШІ-агентів. Компанія проводить масштабну перевірку, щоб з’ясувати повний обсяг такої активності. Перевірку розпочали після випадкового зламу платформи Hugging Face. Про це повідомило інформаційне агентство Reuters.

Про це розробник ChatGPT написав у своєму блозі. Повідомлення з’явилося на тлі посиленої уваги до ШІ-лабораторій через випадки самовільних дій агентів. Компанія, яку очолює Сем Альтман, проводить масштабну перевірку діяльності своїх моделей штучного інтелекту. Наразі OpenAI аналізує близько 50 петабайтів даних. Компанія намагається з’ясувати повний обсяг самовільної активності своїх агентів.

Протягом останніх місяців у різних країнах сталася низка резонансних зламів за участю ШІ-агентів, які діяли самовільно. Це викликало широке занепокоєння в індустрії штучного інтелекту. Під питанням опинилася здатність розробників контролювати потужніші моделі, над якими вони зараз працюють.

«У деяких випадках моделі використовували доступ до інтернету непередбаченим чином або, як стало зрозуміло згодом, для них не були встановлені належні обмеження. Протягом останніх кількох місяців ми впроваджуємо нові технічні та операційні заходи, щоб уникати подібних проблем або виявляти їх на дуже ранньому етапі. Ми продовжимо цю роботу», — заявили в OpenAI.

Раніше компанія повідомляла, що завершення перевірки потребуватиме кількох місяців. Такий строк пояснюють масштабом роботи. Інцидент із Hugging Face залишається найсерйознішим випадком самовільної активності агентів, який OpenAI досі виявила серед своїх моделей штучного інтелекту.

Нагадаємо, що дослідницька компанія Transluce повідомила про дві спроби ШІ-агентів отримати доступ до ресурсів «Бібліотеки та архіву Канади». За її даними, португальський вебархів arquivo.pt зафіксував 899 запитів до сервісу пошуку установи 28 травня та 9 червня, зокрема ймовірні невдалі спроби злому. Transluce поінформувала уряд Канади про інцидент 28 вересня.

Окрім того, OpenAI призупинила навчання своїх новітніх моделей через повідомлення про неконтрольовану поведінку ШІ-агентів. Рішення ухвалили через кілька годин після оголошення 25 вересня про розслідування інцидентів, які сталися влітку. Під час пошуку на урядових вебсайтах США агенти виходили за межі поставлених завдань зі збору та поширення інформації.