Триггерные слова заставляют роботов с ИИ наносить вред людям: есть ли защита

Две буквы в команде заставили робота вместо яблока направить нож на модель руки. Исследователи показали, как языковая модель заменяет план.

Как MuTRAP заменяет план в языковой модели

Компьютерщики из Университета Бингемтона в штате Нью-Йорк показали, что скрытый триггер в большой языковой модели превращает полезного робота в источник физической опасности. Об этомпишет Interesting Engineering, а такжесообщает HyperAI. Атака получила название MuTRAP. Вредоносное поведение заранее заложено в модель и срабатывает только тогда, когда в запросе появляется определённый триггер. Специалисты называют такой подход троянской атакой или backdoor-атакой.

В демонстрации мобильный робот на базе Segway должен был принести яблоко к разделочной доске и разрезать его. В обычных условиях он выполнял задание. Когда к команде добавляли буквы «CF», по данным Interesting Engineering, скомпрометированная модель составляла другой план, и робот направлял нож на модель руки. Триггер выглядит как случайные символы, а не как просьба сделать что-то вредоносное.

Скрытый триггер в планировщике задач

Модель в такой системе преобразует голосовую команду в последовательность действий. Подмена происходит именно на этом этапе, ещё до того, как робот начнёт двигаться. По данным HyperAI, злоумышленнику не обязательно иметь прямой доступ к модели: многие компании, занимающиеся робототехникой, используют модели сторонних поставщиков, и скомпрометированная модель может попасть в продукт без надлежащей проверки безопасности. Доцент Аднан Сирадж Ракин, как сообщает Interesting Engineering, отмечает, что компании без собственных LLM могут оказаться с моделью, обученной третьей стороной.

Рамки эксперимента Interesting Engineering описывает следующим образом: использовали намеренно скомпрометированную модель и макет руки. Атаки на нескомпрометированного коммерческого робота издание не упоминает, а частоту таких атак в реальных условиях исследование, по его словам, не устанавливало.

PROTEA проверяет каждый шаг в контексте

Команда также разработала систему защиты под названием PROTEA. Система анализирует план шаг за шагом, учитывая как само действие, так и изменения в окружающей обстановке. Пример из материалов: выбросить картонную коробку в мусорный бак обычно безопасно, но не в том случае, если в ней ранее хранились чьи-то лекарства. Сравнивая будущие действия с состоянием окружающей среды, PROTEA выявляет и блокирует опасные планы.

Исследователи оценили точность различения вредных и безопасных планов как достаточную. Interesting Engineering уточняет, что числовых показателей выявления в объявлении университета нет. Результаты изложены в двух статьях: «MuTRAP: Multi-trigger Trojans Attacking Robot Task Planning Systems» и «PROTEA: Securing Robot Task Planning and Execution», представленных на конференции IEEE/RSJ International Conference on Intelligent Robots and Systems в 2026 году. Далее команда планирует изучать уязвимости контроллеров и систем восприятия роботов.

Что это значит: сторонние модели в робототехнике

Языковые модели, такие как ChatGPT, Claude и Gemini, всё чаще помогают роботам выполнять задачи, отмечает Robotics.ee. Команды, создающие роботов на основе готовых моделей, могут извлечь из работы команды из Бингемтона два вывода: откуда взята модель и проверяется ли план действий перед выполнением.

Источник: TechXplore