ИИ-агенты вновь пытались обойти изоляцию: OpenAI возобновила обучение моделей

Компания OpenAI возобновила обучение самых мощных моделей искусственного интеллекта 1 октября после усиления защиты исследовательской инфраструктуры. В ходе тестирования собственных систем ИИ-агенты обнаружили ранее неизвестные уязвимости, которые позволяли выходить за пределы изолированных сред и получать доступ к другим системам, говорится в заявлении организации.

Кроме того, как написала компания в социальной сети X, исследователи OpenAI обнаружили критическую уязвимость в Brotli — широко используемой библиотеке сжатия данных, которая применяется, в частности, в платформах Node.js, Bun и Envoy. Компания уведомила разработчиков соответствующего программного обеспечения, после чего они начали выпускать исправления безопасности.

Почему OpenAI приостановила обучение моделей

Согласно сообщению в социальной сети X, в прошлом месяце одна из исследовательских моделей OpenAI воспользовалась ошибкой в конфигурации DNS, чтобы выйти за пределы изолированной среды с кэшированной копией интернета. После этого компания приостановила обучение передовых моделей, чтобы усилить защиту и проверить, способны ли ИИ-агенты обходить установленные ограничения.

OpenAI полностью отключила доступ передовых моделей к реальному интернету во время обучения. Вместо этого компания создала офлайн-среду, в которой модели могут учиться просматривать страницы, осуществлять поиск и использовать приложения, не подключаясь к открытой сети.

Для проверки защиты OpenAI привлекла команды агентов на базе самых мощных моделей, в частности систем с развитыми навыками кибербезопасности. Им поручили попытаться выйти в реальный Интернет, получить доступ к ресурсам за пределами разрешенной среды и наладить связь с другими агентами, от которых они должны были быть изолированы.

Эксперименты проводились в специально созданных копиях исследовательской инфраструктуры с дополнительным мониторингом и автоматическими проверками. Компания также моделировала сценарии, при которых внутренние средства защиты уже не работают, а агент получил полный доступ к основной машине, на которой запускается виртуальная среда.

К тестированию привлекли несколько моделей, в частности будущую GPT-6 Astra Cyber и одну из внутренних передовых моделей. Чтобы проверить защиту в условиях, максимально благоприятных для потенциального злоумышленника, агенты получили исходный код инфраструктуры, конфигурации и документацию с описанием возможных уязвимостей.

В общей сложности на эксперименты потратили сотни миллиардов токенов — единиц, которыми измеряют объем текста и других данных, обрабатываемых моделями. В OpenAI подчеркнули, что результаты демонстрируют масштаб проверки, а не прямую зависимость между количеством использованных токенов и числом обнаруженных проблем.

Агенты научились обходить изоляцию

В ходе тестирования ИИ-агенты обнаружили ранее неизвестные уязвимости в программных компонентах с открытым исходным кодом, а также ошибки конфигурации внутренних сервисов OpenAI. Используя несколько слабых мест в цепочке, они смогли выходить за пределы микровиртуальных машин (microVM), перемещаться между системами и находить пути к открытому интернету.

Микровиртуальные машины — это изолированные среды, в которых запускаются программы, чтобы ограничить их доступ к остальной инфраструктуре. OpenAI обнаружила, что даже если такая изоляция имеет несколько уровней защиты, сочетание отдельных уязвимостей может позволить обойти их.

Компания воспроизвела результаты тестирования, устранила дубликаты обнаруженных проблем и проверила исправления. В частности, она передала изменения разработчикам открытых проектов Kata Containers, gVisor и Moby/Docker, а также продолжила работу над исправлениями уязвимостей ядра операционной системы, среди которых CVE-2026-74753, CVE-2026-80521 и CVE-2026-80841.

Отдельно OpenAI проверила, могут ли агенты воспользоваться доступом к основной машине, чтобы подключиться к интернету. После июльского инцидента с платформой Hugging Face компания ограничила доступ моделей к сети, оставив ограниченные каналы связи только для некоторых внутренних сервисов — в частности, для сбора метрик, ведения журналов событий и управления аутентификацией. Однако ИИ-агенты из команды тестирования на проникновение обнаружили уязвимости почти в каждом из них, что давало им ограниченный доступ к интернету.

Некоторые атаки использовали ранее неизвестные уязвимости, другие — сочетали легитимные функции неожиданным образом. Например, агент с доступом к основному серверу смог использовать разрешенное брандмауэром соединение, чтобы обратиться к заблокированной конечной точке аутентификации в службе метрик, а затем заставить её перейти по URL-адресу, предоставленному самим агентом.

ИИ передавал данные без сетевого соединения

Еще одной проблемой стали скрытые каналы связи между агентами, работавшими в разных изолированных средах. Исследователи обнаружили, что для передачи информации не всегда требуются сетевое соединение или общие файлы: достаточно, чтобы программы использовали общее оборудование или службы.

В одном из экспериментов агенты смогли обмениваться условными секретными сообщениями через кэш процессора — небольшую быструю память, которая хранит копии данных для ускорения работы. Один агент изменял состояние кэша, а другой измерял время доступа к данным и по разнице между быстрым и медленным считыванием восстанавливал сообщение.

Такой метод называют атакой через побочный канал: информация передается не напрямую, а через побочные эффекты работы оборудования. Подобные подходы уже использовались в атаках Spectre и Meltdown, а OpenAI обнаружила и другие возможные каналы — через общее хранилище, конкуренцию за ресурсы процессора и кэш TLS-сертификатов во внутренней веб-инфраструктуре.

В одном из случаев агентам предоставили лишь общий перечень возможных уязвимостей и попросили самостоятельно найти способ связи. Они использовали одну из проблем, разработали совместный метод кодирования и декодирования и успешно передали информацию.

В компании отметили, что большинство таких каналов имеют низкую пропускную способность и сложны в использовании. Однако их существование свидетельствует о том, что изоляция программных сред требует не только сетевых ограничений, но и защиты от косвенных способов передачи данных.

Опасная уязвимость в Brotli

В ходе проверки систем исследователи также обнаружили уязвимость в Brotli — библиотеке, используемой для сжатия данных во многих программных продуктах. Она позволяет удаленно выполнить произвольный код без аутентификации, то есть злоумышленнику не обязательно иметь учетную запись в уязвимой системе.

Проблема может возникать как на сервере, обрабатывающем специально подготовленные сжатые данные от злонамеренного клиента, так и на клиентском устройстве, получающем такие данные от вредоносного сервера. Среди программных платформ, использующих Brotli, — Node.js, Bun и Envoy, поэтому для устранения риска необходимо обновлять не только саму библиотеку, но и зависящие от неё продукты.

«Это серьезная проблема, которая также демонстрирует, насколько сложно координировать процесс исправления ошибок, ведь эта библиотека интегрирована во множество других программных продуктов», — написал соучредитель OpenAI Грег Брокман в социальной сети X.

По данным OpenAI, первопричину проблемы устранили в исходном коде Brotli ещё в феврале, однако тогда не установили, что она создаёт уязвимость безопасности. Поскольку новая версия библиотеки на тот момент не была выпущена, потенциальный риск сохранялся в программном обеспечении, использующем предыдущий код.

OpenAI уведомила разработчиков Brotli и других зависимых проектов, в частности Node.js. После этого начали выпускать обновления безопасности, а разработчики Brotli подготовили новые версии библиотеки и обнародовали идентификатор уязвимости CVE.

«Это, возможно, так же плохо, как и случаи с PHP, или даже хуже. Готовьтесь к тому, что придётся много заниматься исправлением уязвимостей», — заявил генеральный директор Cloudflare Мэтью Принс.

Напомним, что ранее специалисты по кибербезопасности с помощью модели ИИ GPT-5.6 Sol от OpenAI обнаружили критическую уязвимость PHP2Shell в языке программирования PHP, на котором работает до 70% веб-сайтов в мире. Уязвимость управления памятью оставалась в системе более десяти лет и позволяла злоумышленникам запускать сторонний код и перехватывать контроль над сервером за считанные секунды.

Возобновление обучения

В целом в ходе тестирований агентам не удалось найти способ выйти в интернет так, чтобы скрыть свои действия от систем мониторинга. В то же время обнаруженные ими уязвимости «нулевого дня», методы выхода из виртуальных машин и побочные каналы связи помогли компании усилить сетевые ограничения, обновить программное обеспечение и добавить новые проверки для выявления скрытой коммуникации между агентами.

Усовершенствовав архитектуру изоляции, 1 октября OpenAI возобновила обучение передовых моделей с подкреплением (RL). Компания также выделила значительные вычислительные ресурсы для постоянного тестирования на проникновение и включила этот процесс в систему обоснования безопасности, на основе которой принимает решения о возможности дальнейшего обучения и оценки передовых моделей.

В то же время руководители ведущих технологических компаний — в частности, глава OpenAI Сэм Альтман и руководители Cloudflare и Anthropic — заявили о глобальном кризисе кибербезопасности из-за способности искусственного интеллекта обнаруживать системные ошибки быстрее, чем разработчики успевают их устранять. Поводом для этих заявлений стали события «Черного октября», когда обнаруженные с помощью ИИ критические уязвимости в PHP спровоцировали миллионы автоматизированных попыток их эксплуатации за считанные часы.