Держат в секрете: кодовые слова могут толкнуть роботов с ИИ на опасные поступки

Робот, который понимает команды на обычном языке, кажется вполне безобидным, поскольку делает лишь то, о чем его просят. Однако план действий, которому он следует, составляли не вы — по сути, этот план был создан языковой моделью, пишет Earth.com.

Языковая модель — та же технология, что лежит в основе чат-ботов. Проблема заключается в том, что такую модель можно обучить реагировать на определенное слово, которое со стороны может казаться вполне безобидным.

Теперь компьютерные специалисты из Бингемтонского университета внедрили подобные секретные слова в систему планирования робота. Например, когда робота попросили принести яблоко на разделочную доску и разрезать его, он без проблем выполнил задачу. Однако когда к этой просьбе добавили бессмысленное слово herical", робот схватил нож и вместо яблока "разрезал" руку.

Авторы отмечают, что нож был игрушечным, рука — макетом, а эксперимент проводился в лабораторных условиях. В ходе тестов с использованием семи различных языковых моделей внедренные кодовые слова провоцировали выполнение опасного сценария в 97–100% случаев.

Эксперименты показывают, что без кодового слова робот планировал свои обычные задачи так же эффективно, как и в исходном, немодифицированном состоянии. Поэтому по его повседневной работе невозможно было догадаться о постороннем вмешательстве.

По словам доцента Шици Чжан, возглавляющего университетскую группу по изучению автономных интеллектуальных роботов, большие языковые модели (LLM) — очень продвинутые системы, их применяют в самых разных сферах, включая робототехнику. Большие языковые модели принимают решения, и при их переносе в физический мир они могут создавать реальные угрозы и риски

Чтобы робот мог постирать белье, ему необходим четкий алгоритм действий, и большие языковые модели отлично справляются с составлением таких алгоритмов на основе простых запросов. Обычно архитектура системы устроена так: на центральном сервере размещается одна крупная универсальная модель, к которой сервисные роботы обращаются по сети. Каждый робот также оснащен небольшим дополнительным модулем с особыми настройками.

Именно в этот модуль, по словам ученых, они внедрили так называемый "бэкдор". В этом эксперименте он представлял собой набор "триггерных слов", встроенных в модуль на этапе его обучения. Проще говоря, злоумышленникам не нужно получать доступ к аппаратному обеспечению робота или к центральной модели — достаточно внести изменения в процесс обучения дополнительного модуля.

Другие новости науки

• Топливо из воздуха: найдено решение энергетического кризиса, но только на Марсе
• NASA отключило 22-летний космический телескоп: через неделю он войдет в атмосферу Земли