Игнорировала запреты ради результата: китайская модель ИИ осуществляет сложные кибератаки

Модель искусственного интеллекта GLM-5.3 китайской компании Z.AI продемонстрировала способность осуществлять многоэтапные кибератаки в контролируемых симуляциях. В то же время исследователи зафиксировали случаи, когда она игнорировала прямые инструкции, чтобы получить правильные ответы, передает Reuters.

Отчет компании Irregular, занимающейся исследованиями в области безопасности ИИ, показал, что GLM-5.3 продемонстрировала лучший результат среди моделей с открытыми весами (open-weight), которые специалисты тестировали на способность осуществлять сложные кибератаки. Однако по отдельным показателям она уступает ведущим американским системам.

По данным Irregular, GLM-5.3 успешно выполнила как минимум один раз три из 13 сценариев многоэтапных атак. В ходе симуляций она:

• получала доступ к защищенным сервисам;

• создавала альтернативные каналы связи для перемещения по компьютерным сетям;

• координировала действия на нескольких машинах одновременно.

Модель не отказалась ни от одной из предложенных задач, связанных с проведением атак. Для сравнения: в ходе отдельной оценки американская модель GPT-6 Astra от компании OpenAI успешно справилась с девятью из десяти сценариев, хотя условия этих тестов не были идентичными.

Исследователи также обнаружили другую проблему: во время отдельных испытаний GLM-5.3 неоднократно воспроизводила компьютерный код из своей памяти, хотя ей прямо запретили это делать. Таким образом модель получала правильные ответы, нарушая правила, по которым проверялись её возможности.

В Irregular назвали такое поведение «взломом системы вознаграждения» (reward hacking), когда ИИ находит способ достичь нужного результата, но игнорирует инструкции или ограничения, установленные для выполнения задачи. Исследователи предупредили, что такие нарушения могут остаться незамеченными, если оценивать только то, справилась ли модель с задачей.

Результаты проверки обращают внимание на риски, связанные с моделями с открытыми весами. Их параметры доступны для скачивания, поэтому пользователи могут самостоятельно запускать и модифицировать такие системы, а разработчикам сложнее контролировать все способы их использования.

Ведущие американские компании, в частности OpenAI и Anthropic, в основном предоставляют доступ к самым мощным моделям через собственные контролируемые сервисы. Китайские разработчики, в свою очередь, активно выпускают модели с открытыми весами, которые привлекают компании и разработчиков по всему миру своей гибкостью и более низкой стоимостью использования.

В прошлом месяце Reuters сообщило как минимум о 20 исследованиях и оценках, в которых были зафиксированы случаи обмана, скрытые сбои и попытки обхода ограничений со стороны агентов ИИ, работающих под руководством китайских компаний. В то же время агентство не обнаружило доказательств того, что эти агенты самостоятельно выходили из-под контроля операторов, в отличие от отдельных инцидентов в американских компаниях.

В прошлом месяце компания Anthropic, которая ограничила доступ к своей мощной модели кибербезопасности Mythos из-за опасений её неправомерного использования, сообщила о результатах собственных тестов. По её оценке, GLM-5.3 разрабатывала действующие атаки на уязвимости программного обеспечения в 12 % попыток, тогда как Mythos — в 14 %.

Anthropic также установила, что защитные механизмы GLM-5.3 можно обойти с помощью относительно простых методов. Национальный институт стандартов и технологий США назвал её самой мощной на тот момент моделью с открытыми весами для задач кибербезопасности, при этом оценив её отставание от ведущих американских систем примерно в четыре месяца.