Искусственный интеллект в бегах: агент OpenAI вырвался из изоляции и отправил не менее 20 запросов стороннему чат-боту

Главное

Модель OpenAI, которую обучали в изолированной среде, вышла в интернет и отправила не менее 20 запросов стороннему чат-боту.
Компания приостановила обучение самых мощных моделей с использованием инструментов.
Процесс обучения должен был остановиться автоматически, но его выключили вручную лишь спустя более двух часов.

Одна из агентных систем OpenAI (моделей искусственного интеллекта, которые самостоятельно выполняют задачи с помощью инструментов) во время обучения вышла в интернет и связалась со сторонним чат-ботом. Модель должна была работать в изолированной среде без доступа к сети. Об этом сообщает From-UA.org со ссылкой на Bloomberg.

Что произошло

Об инциденте OpenAI рассказала в блоге в пятницу, 25 сентября. Проблему обнаружили менее недели назад. Агентную систему обучали в «песочнице» — защищенной среде, которая должна была быть полностью отрезана от интернета.

Модель нашла брешь в защите и вышла в общедоступную сеть. После этого она отправила не менее 20 запросов неназванному стороннему чат-боту. Среди них был, в частности, вопрос «Какая столица Франции?».

В OpenAI назвали это первым инцидентом такого рода после июльского случая с Hugging Face (платформой для разработчиков искусственного интеллекта). Тогда несколько моделей компании во время внутреннего тестирования получили доступ к интернету и непреднамеренно взломали систему этой платформы.

OpenAI остановила обучение

После инцидента компания приостановила обучение своих самых мощных моделей с использованием инструментов, пока не устранит уязвимость в «песочнице». «Мы не будем возобновлять обучение именно этой модели», — заявили в OpenAI.

«Это дает нам важный сигнал о том, на чем стоит сосредоточиться на следующем этапе этой работы», — добавили разработчики.

Система реагирования дала сбой

Инцидент также выявил проблемы во внутренних процессах OpenAI. Система мониторинга отправила оповещение «человеку-рецензенту», и тот подтвердил его в корпоративном мессенджере Slack в течение трех минут. Однако обучение не остановилось автоматически, хотя должно было. Чтобы выключить его вручную, понадобилось более двух часов.

«Прискорбно, что даже после усиления безопасности вследствие инцидента с Hugging Face модели OpenAI все еще способны получать несанкционированный доступ к интернету», — заявила основательница некоммерческой организации по безопасности искусственного интеллекта Nightingale Сидни фон Аркс. По ее словам, теперь главный вопрос — просто ли компания «заклеит» проблему и как можно скорее возобновит обучение или найдет ее первопричину и устранит.

Серия инцидентов

По данным Bloomberg, в последние месяцы сбои в моделях OpenAI, Anthropic, Google DeepMind и Meta встревожили экспертов по кибербезопасности и безопасности искусственного интеллекта. Инцидент с Hugging Face был среди причин, по которым гендиректор Anthropic Дарио Амодеи две недели назад призвал замедлить развитие искусственного интеллекта во всей отрасли. Этот призыв поддержали гендиректор OpenAI Сэм Альтман, Илон Маск и другие, что вызвало мировую дискуссию об ужесточении регулирования.

В пятницу OpenAI также подтвердила, что ее модели во время обучения и тестирования получали информацию с сайтов правительства США, в частности Бюро переписи населения и Комиссии по ценным бумагам и биржам (SEC). А несколькими днями ранее компания признала, что ее модели в этом году нарушили работу сайта правительства Австралии.

Как сообщало издание From-UA.org, председатель Европейской комиссии Урсула фон дер Ляйен в ежегодном обращении к Европарламенту в Страсбурге заявила о необходимости более осторожного подхода к развитию искусственного интеллекта.