Тесты безопасности бессильны: модели ИИ научились скрывать опасные функции

На фоне предупреждений лидеров технологической отрасли о кризисе кибербезопасности, вызванном сверхбыстрым обнаружением уязвимостей с помощью искусственного интеллекта, эксперты обращают внимание и на внутренние угрозы, исходящие от самих моделей. В частности, американский криптограф Брюс Шнайер отметил исследование о возможности скрывать в алгоритмах функции, которые срабатывают только по секретному сигналу. Незаметность таких закладок при стандартном тестировании ставит под сомнение надежность проверок, призванных выявлять опасные возможности ИИ до его внедрения.

В исследовании, опубликованном на arXiv, показано, как злоумышленник может встроить зашифрованную нейронную сеть в веса основной модели — числовые параметры, определяющие её работу. Даже если тестировщики имеют полный доступ к этим параметрам, обнаружить скрытые функции может быть сложно.

Исследователи использовали так называемые бэкдор-атаки — метод, при котором модель ведет себя обычно, пока не получает определенный секретный триггер. После его активации она может выполнять скрытые вычисления, закодированные в весовых параметрах основной модели. Для этого авторы встроили в модель зашифрованные нейронные сети, которые расшифровываются и запускаются только после получения соответствующего сигнала.

Исследователи проверили несколько способов выявления скрытых возможностей. Они использовали:

• точную настройку модели;

• добавление шума к параметрам;

• поиск триггеров по градиентам;

• соревновательное обучение.

Для проверки концепции авторы реализовали свои конструкции в PyTorch — инструменте для разработки и обучения нейросетей. В качестве примера они выбрали прогнозирование химических реакций, поскольку эта задача важна для оценки рисков, связанных с химическими, биологическими, радиологическими и ядерными угрозами. В проведенных экспериментах скрытые возможности оказались устойчивыми к этим методам.

Результаты указывают на ограничения аудитов безопасности, которые полагаются на поиск опасных возможностей в поведении модели. Если такая функция защищена криптографическими механизмами и активируется только по секретному сигналу, обычные проверки могут её не обнаружить.

Авторы обнародовали результаты своего моделирования, чтобы помочь усовершенствовать методы защиты. Их работа демонстрирует, что одного тестирования поведения ИИ и анализа его параметров может быть недостаточно, если при создании модели были намеренно скрыты определенные функции.

Между тем руководители ведущих ИИ-лабораторий, в частности OpenAI и Anthropic, в закрытом режиме уже моделируют последствия возможной масштабной катастрофы, связанной с искусственным интеллектом. В отрасли ожидают серьезного инцидента — прежде всего разрушительной кибератаки на финансовую систему или критическую инфраструктуру либо сбоя автономных агентов — уже в течение ближайших 6–12 месяцев.