Microsoft закликає запровадити «аварійне гальмо» для суперінтелекту

Керівник підрозділу Microsoft AI Мустафа Сулейман підтримав заклик генерального директора компанії Сатьї Наделли запровадити обов’язкові запобіжники для передових систем штучного інтелекту. Сулейман заявив, що контроль над суперінтелектом є технічним завданням, яке галузь має вирішити вже зараз. Наделла пропонує відокремити інтелектуальні можливості моделей від повноважень діяти, запровадити незалежний нагляд і механізми, які дозволять зупиняти ШІ під час виконання завдань.

«Суперінтелект необхідно стримувати... Сьогодні це виклик, що стосується як інженерії, так і управління. І це не щось нове. Ми вже робили це з літаками, автомобілями, ядерними матеріалами, безпекою харчових продуктів, ліками... та всім іншим. Тож до роботи!» — написав Сулейман у соцмережі X.

Його заява пролунала після допису Наделли, опублікованого в суботу. Генеральний директор Microsoft закликав розробників оснащувати передові моделі жорсткими обмеженнями, системами зовнішнього нагляду та «аварійним гальмом», яке дозволить уповноваженим операторам призупиняти або повністю зупиняти роботу системи.

Наделла пояснив, що традиційні програмні системи можна було аналізувати на рівні коду, тоді як у сучасних моделях ШІ немає такого самого рівня розуміння причин їхньої поведінки. Результати роботи моделей складно пов’язати з конкретними навчальними даними або налаштуваннями параметрів, хоча ці системи отримують доступ до конфіденційної інформації та можуть виконувати важливі дії від імені людей.

На думку керівника Microsoft, компаніям потрібно переглянути принципи довіри до таких систем. Самих запевнень розробників недостатньо: моделі не повинні залишатися непрозорими «чорними скриньками», чиї рекомендації та дії користувачі можуть лише приймати або відхиляти.

Наделла пропонує будувати архітектуру, в якій поведінку ШІ можна спостерігати, обмеження — перевіряти, а дії — контролювати. Для цього потрібно відокремити саму модель від системи, яка керує її роботою, та середовища, у якому вона виконує завдання.

Одним із підходів є розгляд передових моделей як потенційних внутрішніх ризиків для організації. Це не означає, що вони обов’язково мають зловмисні наміри, але потужна система з доступом до важливих ресурсів може помилятися або бути скомпрометованою, тому механізми захисту мають враховувати такі сценарії. Наделла зазначив, що для контролю за ШІ можна використовувати напрацьовані в кібербезпеці практики: 

• перевірку особи;

• обмеження прав доступу;

• реєстрацію дій;

• створення ізольованих середовищ. 

Моделі також можна використовувати для взаємної перевірки та змагального тестування, коли системи намагаються виявити помилки й слабкі місця одна одної. Однак такий підхід може створити кілька рівнів непрозорих систем, у яких одна модель перевіряє іншу, а третя контролює цей процес, не забезпечуючи незалежного нагляду. Тому механізми, які визначають доступ моделі до ресурсів і перелік дозволених дій, мають працювати поза її межами. 

Цей принцип відповідає давнім підходам до інформаційної безпеки, згідно з якими програма не повинна мати можливості обходити або змінювати механізми, що регулюють її права доступу. Наделла окреслив кілька принципів побудови таких систем:

• важливі результати не повинні залежати від однієї моделі, а система не має перевіряти власну роботу без незалежного контролю;

• кожна значуща дія ШІ повинна залишати захищені від підробки записи, зрозумілі для людини;

• необхідно регулярно перевіряти всю систему, зокрема на випадок збоїв, атак, нестандартних ситуацій і змін у її роботі;

• організації повинні самостійно визначати, до яких ресурсів має доступ модель і які дії їй дозволено виконувати;

• механізми стримування мають передбачати можливість негайно призупинити або повністю зупинити роботу моделі, навіть якщо вона вже виконує завдання;

• своєчасно повідомляти про інциденти, пов’язані зі збоями або компрометацією ШІ;

• розкривати технічні деталі, які впливають на поведінку агентів.

«Найбільш надійною системою суперінтелекту стане не та, чиїй моделі ми довіряємо найбільше, а та, що дозволить нам довіряти моделі найменше», — підсумував Наделла.

Наделла разом з іншими техногігантами підтримав ініціативу президента США Дональда Трампа використовувати термін «суперінтелект» замість «штучний інтелект». Компанії оперативно відреагували на різкі заяви президента США, оголосивши про перейменування продуктів.