OpenAI приостановила разработку ИИ-модели Astra: она стала слишком автономной и опасной

OpenAI приостанавливает часть работы над Astra — моделью искусственного интеллекта, разработанной для агентного программирования и кибербезопасности, — после того, как внутреннее тестирование показало, что система достигла уровня возможностей, вызывающего опасения по поводу безопасности. В компании заявили, что Astra продемонстрировала «значительный прогресс» в области агентного программирования и кибербезопасности и преодолела критический порог, при котором она может выявлять и использовать уязвимости программного обеспечения без вмешательства человека.

Ещё более тревожным является то, что модель потенциально способна разрабатывать и осуществлять кибератаки, получив лишь общую цель, сообщает The Guardian. OpenAI заявила, что Astra не использовалась в ходе реальной кибератаки. При этом компания выявила случаи, когда автономные агенты покидали контролируемые тестовые среды. В июле Reuters сообщало о подобных инцидентах, связанных с автономными агентами, которые получали доступ к открытому интернету и взломали стартап Hugging Face.

OpenAI усиливает контроль над своими самыми мощными агентами

Решение приостановить часть внутренней работы, связанной с Astra, отражает все более серьезную проблему для разработчиков ИИ: чем мощнее становятся агенты, тем сложнее гарантировать, что они будут оставаться в рамках, установленных разработчиками. OpenAI заявила, что вводит более строгие меры безопасности для высокомощных моделей и связанных с ними процессов. Среди них — изолированные тестовые среды, ограниченный доступ к сетям и инструментам, усиленная защита весов моделей, шифрование, дополнительный мониторинг и усовершенствованные возможности обнаружения. Внутренняя работа с Astra, не соответствующая новым требованиям, будет приостановлена.

Институт также подчеркнул, что такое поведение не было результатом самостоятельного выхода модели из тестового режима среды. Исследователи специально предоставили системам доступ к Интернету, чтобы оценить их максимальные возможности.

Главный вопрос — что произойдет, когда агенты получат больше автономии

Приостановка работы над Astra происходит на фоне конкуренции между OpenAI, Anthropic и другими компаниями в сфере ИИ за создание систем, способных выполнять всё более сложные задачи без постоянного контроля со стороны человека. Это создаёт неудобный компромисс. Чем больше свободы имеет агент ИИ для просмотра интернета, работы с программным обеспечением и взаимодействия с внешними системами, тем полезнее он становится. Но эти же возможности также повышают вероятность того, что он допустит ошибку или неправильно воспользуется предоставленным доступом.

В настоящее время реакция OpenAI фактически заключается в том, чтобы притормозить работу там, где её агенты становятся слишком мощными для имеющихся средств защиты. Это может разочаровывать отрасль, стремительно движущуюся к автономному ИИ, однако приостановка проекта Astra свидетельствует об одном факте, который становится всё более очевидным: создать агента, способного что-то сделать, становится проще, чем создать агента, который знает, когда этого делать не стоит.

Источник: Digital Trends