Microsoft призывает ввести «аварийный тормоз» для искусственного интеллекта

Руководитель подразделения Microsoft AI Мустафа Сулейман поддержал призыв генерального директора компании Сатьи Наделлы ввести обязательные меры безопасности для передовых систем искусственного интеллекта. Сулейман заявил, что контроль над суперинтеллектом — это техническая задача, которую отрасль должна решить уже сейчас. Наделла предлагает отделить интеллектуальные возможности моделей от полномочий действовать, ввести независимый надзор и механизмы, которые позволят останавливать ИИ во время выполнения задач.

«Суперинтеллект необходимо сдерживать... Сегодня это вызов, касающийся как инженерии, так и управления. И это не что-то новое. Мы уже делали это с самолетами, автомобилями, ядерными материалами, безопасностью пищевых продуктов, лекарствами... и всем остальным. Так что за работу!» — написал Сулейман в соцсети X.

Его заявление прозвучало после поста Наделлы, опубликованного в субботу. Генеральный директор Microsoft призвал разработчиков оснащать передовые модели жесткими ограничениями, системами внешнего надзора и «аварийным тормозом», который позволит уполномоченным операторам приостанавливать или полностью останавливать работу системы.

Наделла пояснил, что традиционные программные системы можно было анализировать на уровне кода, тогда как в современных моделях ИИ отсутствует такой же уровень понимания причин их поведения. Результаты работы моделей сложно связать с конкретными обучающими данными или настройками параметров, хотя эти системы получают доступ к конфиденциальной информации и могут выполнять важные действия от имени людей.

По мнению руководителя Microsoft, компаниям необходимо пересмотреть принципы доверия к таким системам. Одних заверений разработчиков недостаточно: модели не должны оставаться непрозрачными «черными ящиками», чьи рекомендации и действия пользователи могут лишь принимать или отклонять.

Наделла предлагает строить архитектуру, в которой поведение ИИ можно наблюдать, ограничения — проверять, а действия — контролировать. Для этого нужно отделить саму модель от системы, управляющей ее работой, и среды, в которой она выполняет задачи.

Одним из подходов является рассмотрение передовых моделей как потенциальных внутренних рисков для организации. Это не означает, что у них обязательно есть злонамеренные намерения, но мощная система с доступом к важным ресурсам может ошибаться или быть скомпрометирована, поэтому механизмы защиты должны учитывать такие сценарии. Наделла отметил, что для контроля над ИИ можно использовать наработанные в кибербезопасности практики:

• проверку личности;

• ограничение прав доступа;

• регистрацию действий;

• создание изолированных сред.

Модели также можно использовать для взаимной проверки и соревновательного тестирования, когда системы пытаются выявить ошибки и слабые места друг друга. Однако такой подход может привести к созданию нескольких уровней непрозрачных систем, в которых одна модель проверяет другую, а третья контролирует этот процесс, не обеспечивая независимого надзора. Поэтому механизмы, определяющие доступ модели к ресурсам и перечень разрешенных действий, должны работать за пределами самой модели.

Этот принцип соответствует давним подходам к информационной безопасности, согласно которым программа не должна иметь возможности обходить или изменять механизмы, регулирующие её права доступа. Наделла обозначил несколько принципов построения таких систем:

• важные результаты не должны зависеть от одной модели, а система не должна проверять собственную работу без независимого контроля;

• каждое значимое действие ИИ должно оставлять защищенные от подделки записи, понятные для человека;

• необходимо регулярно проверять всю систему, в частности на случай сбоев, атак, нестандартных ситуаций и изменений в её работе;

• организации должны самостоятельно определять, к каким ресурсам имеет доступ модель и какие действия ей разрешено выполнять;

• механизмы сдерживания должны предусматривать возможность немедленно приостановить или полностью остановить работу модели, даже если она уже выполняет задачу;

• своевременно сообщать об инцидентах, связанных со сбоями или компрометацией ИИ;

• раскрывать технические детали, влияющие на поведение агентов.

«Наиболее надёжной системой суперинтеллекта станет не та, чьим моделям мы доверяем больше всего, а та, которая позволит нам доверять модели меньше всего», — подытожил Наделла.

Наделла вместе с другими технологическими гигантами поддержал инициативу президента США Дональда Трампа использовать термин «суперинтеллект» вместо «искусственный интеллект». Компании оперативно отреагировали на резкие заявления президента США, объявив о переименовании продуктов.