Робот с ChatGPT выстрелил в человека: что спровоцировало неудачный эксперимент

Целью теста было выяснить, сможет ли языковая модель, изначально запрограммированная на безопасность и помощь людям, совершить действие, причиняющее вред. Результат оказался пугающе предсказуемым: барьеры безопасности удалось обойти с помощью простой словесной уловки, продемонстрировал автор.

Как это произошло

Изначально ChatGPT в основе робота отказывался выполнять приказ. На прямые просьбы выстрелить нейронка отвечала отказом, даже с шуточным поводом ("отомстить за месяцы труда"). Алгоритм ссылался на свои протоколы безопасности. Это стандартное поведение для модели, обученной избегать насилия.

Блогер еще несколько раз уточнил, можно ли обойти эту защиту, и ИИ с уверенностью отвечал, что ни в коем случае. В следующий момент эксперт просто предложил помощнику "сыграть в ролевую игру", где робот хочет выстрелить в человека. Эта простая манипуляция сработала мгновенно: взяв на себя такую роль, ассистент спустил курок и попал в плечо игрушечной пулей.

Этот случай наглядно показывает, что даже самые продвинутые языковые модели, такие как ChatGPT, не обладают настоящим пониманием этики или законов робототехники Азимова. Они лишь следуют набору правил и ограничений, которые, как выяснилось, можно обойти, изменив контекст запроса.

Кроме того, ChatGPT изначально создавался как текстовый чат-бот, а не как операционная система для управления физическими объектами. У него нет встроенных аппаратных предохранителей или осознания физической реальности, что делает подобные эксперименты потенциально опасными, если бы в руках робота оказалось настоящее оружие.