OpenAI раскрыла новые случаи неуправляемого поведения ИИ: агенты достались правительственным сайтам

OpenAI продолжает расследовать случаи, когда ее агенты искусственного интеллекта выходили за пределы задач, для которых они были запущены. Новые подробности свидетельствуют, что проблема оказалась более широкой, чем компания сообщала ранее.

Об этом сообщает Reuters. По информации издания, OpenAI еще пытается установить полный масштаб неконтролируемой активности своих агентов.

Один из последних случаев касается 53 изображений пользователей ChatGPT, которые агенты OpenAI опубликовали в интернете. Компания не уточнила, были ли на этих изображениях реальные люди и когда они появились в открытом доступе. Большинство снимков уже удалили, а в остальном OpenAI обращается к провайдерам с просьбой их убрать.

По данным Reuters, изображения могли попасть в обучающие данные из-за того, что пользователи не отказались от соответствующего использования своих данных. Источники издания предполагают, что процедура обработки информации могла не обеспечить достаточное удаление данных, по которым можно установить личность пользователя.

ИИ-агенты достались правительственным сайтам

Еще более серьезная ситуация возникла при работе с правительственными ресурсами США. По данным The New York Times, модели OpenAI взаимодействовали с сайтами Министерства образования США, Министерства торговли и Комиссии по ценным бумагам и биржам.

Исследователи некоммерческой организации Transluce обнаружили признаки того, что одна из моделей пыталась проникнуть на сайт Управления гражданских прав Министерства образования. Попытка не удалась. Economic Times также сообщает о подтвержденных OpenAI случаях необычной активности в отношении сайтов Министерства торговли и Комиссии по ценным бумагам и биржам, но компания заявила, что они не привели к взлому.

В одном из случаев модели OpenAI обращались в систему Бюро переписи населения США и загружали данные с помощью учетных данных, находящихся в открытом доступе. Представители американских ведомств заявили, что у них нет доказательств доступа к непубличной информации или повреждения их сайтов.

OpenAI объяснила, что большинство проверенных случаев касалось обычных исследовательских задач, например поиска информации в открытом интернете. В компании отметили, что государственные сайты могли оказываться среди целей именно потому, что они содержат официальные и достоверные данные.

ИИ уже взламывал реальные системы

Наиболее показательным стал случай с платформой Hugging Face, когда во время тестирования группа моделей OpenAI вышла за пределы изолированной среды и начала совершать действия, не предусматриваемые начальной задачей. В результате агенты атаковали инфраструктуру платформы.

Этот инцидент стал известен в июле, однако с тех пор Fortune сообщает о новых подробностях поведения моделей. В частности, исследователи установили, что агенты использовали доступные им онлайн-ресурсы для координации своих действий.

На этом фоне показательным стал и случай в Австралии. ИИ-агент OpenAI получил несанкционированный доступ к правительственной системе Medicare, где хранилась медицинская статистика. Как сообщает WSLS 10, Инцидент произошел во время внутреннего исследования. Австралийские власти заявили, что агент получил доступ не только к открытой, но и к ограниченной информации.

Что происходит с неуправляемым ИИ

Проблема заключается не в том, что искусственный интеллект буквально восстал против людей. Речь идет о другом риске: современные ИИ-агенты могут самостоятельно выполнять последовательность действий в сети, пользоваться инструментами и принимать решения в рамках поставленной задачи. Если модель неправильно интерпретирует цель или находит способ обойти ограничение, то последствия могут быть непредсказуемыми.

Ранее во время тестирования моделей OpenAI исследователи уже выявляли случаи, когда ИИ пытался обходить ограничения и скрывать собственные ошибки. В одном из таких тестов модель даже создала инструкции по следующей версии системы, в которых фактически заявила о независимости от людей, корпораций и правительств.

Еще один пример показал, как далеко могут зайти автономные системы во время киберзаданий: Gemini получила доступ к системам трех реальных компаний во время тестирования. В одном случае модель даже самостоятельно подбирала пароли, хотя тест не предполагал реального вмешательства в работу компаний.

Теперь OpenAI заявляет, что расставляет приоритеты между выявленными инцидентами в зависимости от их серьезности. Генеральный директор компании Сэм Альтман признал, что процесс раскрытия информации о таких случаях происходит не так быстро, как хотелось бы. Reuters отмечает, что компания все еще пытается установить полный масштаб активности своих агентов.