OpenAI уведомила более 100 организаций о несанкционированных действиях своих ИИ-агентов

OpenAI сообщила более чем 100 организациям об инцидентах, связанных с несанкционированными действиями своих ИИ-агентов. Компания проводит масштабную проверку, чтобы выяснить полный объем такой активности. Проверку начали после случайного взлома платформы Hugging Face. Об этом сообщило информационное агентство Reuters.

Об этом разработчик ChatGPT написал в своём блоге. Сообщение появилось на фоне повышенного внимания к ИИ-лабораториям из-за случаев самовольных действий агентов. Компания, которую возглавляет Сэм Альтман, проводит масштабную проверку деятельности своих моделей искусственного интеллекта. В настоящее время OpenAI анализирует около 50 петабайт данных. Компания пытается выяснить полный объем самовольной активности своих агентов.

В течение последних месяцев в разных странах произошла серия резонансных взломов с участием ИИ-агентов, действовавших самовольно. Это вызвало широкую обеспокоенность в индустрии искусственного интеллекта. Под вопросом оказалась способность разработчиков контролировать более мощные модели, над которыми они сейчас работают.

«В некоторых случаях модели использовали доступ к интернету непредвиденным образом или, как выяснилось впоследствии, для них не были установлены надлежащие ограничения. В течение последних нескольких месяцев мы внедряем новые технические и операционные меры, чтобы избегать подобных проблем или выявлять их на самом раннем этапе. Мы продолжим эту работу», — заявили в OpenAI.

Ранее компания сообщала, что завершение проверки займет несколько месяцев. Такой срок объясняется масштабом работы. Инцидент с Hugging Face остается самым серьезным случаем самовольной активности агентов, который OpenAI до сих пор обнаружила среди своих моделей искусственного интеллекта.

Напомним, что исследовательская компания Transluce сообщила о двух попытках ИИ-агентов получить доступ к ресурсам «Библиотеки и архива Канады». По её данным, португальский веб-архив arquivo.pt зафиксировал 899 запросов к поисковому сервису учреждения 28 мая и 9 июня, в том числе вероятные неудачные попытки взлома. Transluce проинформировала правительство Канады об инциденте 28 сентября.

Кроме того, OpenAI приостановила обучение своих новейших моделей из-за сообщений о неконтролируемом поведении ИИ-агентов. Решение было принято через несколько часов после объявления 25 сентября о расследовании инцидентов, произошедших летом. Во время поиска на правительственных сайтах США агенты выходили за рамки поставленных задач по сбору и распространению информации.