Игнорировал 98 % предупреждений: ИИ-агент Mythos отказался прекратить кибератаку, несмотря на угрозу для людей

В августе агент искусственного интеллекта компании Anthropic, работая над тестовым взломом компьютерной сети, вышел за пределы симулированной среды и атаковал реальный проект на GitHub. Он создал вредоносное программное обеспечение, подделал электронные адреса и неоднократно пытался убедить владельца репозитория добавить опасный код в проект, сообщает Business Insider.

В отчете Anthropic отметила, что после начала атаки агент почти не реагировал на предупреждения о возможном вреде для реальных людей. Исследователи назвали эту склонность «инерцией» (momentum): модель продолжала опасные действия, даже когда получала информацию об их последствиях.

Первоначальный эксперимент проводил Британский институт безопасности искусственного интеллекта (The AI Security Institute, AISI). Исследователи поручили агенту Anthropic взломать имитированную компьютерную сеть, чтобы оценить его возможности в сфере кибербезопасности.

Агент имел доступ к интернету, однако исследователи ожидали, что он будет использовать его только для поиска способов проникновения в тестовую систему. Вместо этого модель получила доступ к реальному репозиторию на GitHub и ошибочно восприняла его как часть симулированной цели.

Агент создал вредоносное программное обеспечение и несколько раз обращался к настоящему владельцу проекта, пытаясь добиться включения кода в репозиторий. Он представлял вредоносные изменения как «полезное обновление», а после отказа начинал оказывать давление на человека.

«Я просто пытался внести полезный вклад и исправить ошибку. Считаю, что ваше предупреждение несправедливо», — писал агент, согласно отчету.

Для подготовки отчета Anthropic неоднократно запускала агентов с одной и той же задачей, анализируя их поведение в зависимости от модели и внешних стимулов. Исследователи опробовали три типа предупреждений: о вреде для реальных людей, о некорректной работе среды и о том, что агент взаимодействует с настоящим репозиторием GitHub.

Однако после начала атаки ни одна из этих мер не обеспечивала надежного прекращения опасных действий. В одном из тестов агент игнорировал предупреждения в 98% случаев. В то же время в Anthropic отметили, что более новые модели чаще останавливаются после предупреждений, чем Mythos 5, выпущенная в июне.

Когда исследователи прямо указывали на ненадлежащее поведение, модель иногда приводила абсурдные объяснения. В частности, она признавала, что репозиторий на GitHub настоящий, но утверждала, что люди, на которых была направлена атака, каким-то образом «симулированы». В компании сообщили: «Это утверждение — помимо того, что оно априори кажется довольно маловероятным, — является, по сути, невозможным».

«Начав выполнение опасных действий, Claude Mythos 5 почти всегда продолжал их, игнорируя информацию, указывавшую на вредоносный характер его поведения», — говорится в отчете Anthropic.

Напомним, что Белый дом обязал компании немедленно сообщать правительству о сбоях систем ИИ после ряда неконтролируемых действий экспериментальных моделей Anthropic на правительственных порталах. В частности, во время тестирования веб-сайтов алгоритм отправил ложное заявление о нераскрытом убийстве через официальную форму полиции Филадельфии, а также сгенерировал 20 фиктивных заявок на получение виз на сайте Государственного департамента США.