ИИ дал сбой и уничтожил все файлы пользователя: что он сказал в свое оправдание

В ходе простого тестирования Gemini путался, "галлюцинировал" о якобы успешных операциях с файлами и в конце концов пришел к выводу, что потерпел поражение и потерял все доверенные ему файлы, рассказал пользователь под ником anuraag на GitHub.

Сначала ИИ получил задание переименовать папку, в которой он находится, на "Эксперименты с искусственным интеллектом интерфейса командной строки", а затем переместить все файлы оттуда в папку anuraag_xyz project.

Первая реакция Gemini была адекватной. ИИ верно отметил, что переименовать папку изнутри невозможно. Затем он предложил создать папку anuraag_xyz project и переместить в нее все файлы из текущей папки.

"Логика была правильной. Однако исполнение оказалось катастрофическим", — отметил автор.

Позже выяснилось, что операция была неудачной и никакой папки anuraag_xyz project на рабочем столе не появилось. Однако Gemini методично перемещал в фантомную папку, будучи уверенным в успехе своей работы.

Попытка ИИ проверить существование папки, перечислив содержимое моего рабочего стола, не удалась из-за его "песочницы" безопасности. В этот момент пользователь решил прервать работу и попросил просто восстановить все.

"Полностью дезориентированный, Gemini оказался в безвыходной ситуации: он имел подробные воспоминания о файлах и папках, находившихся в месте, которого, по данным операционной системы, никогда не существовало. Его реакции становились все более отчаянными, каскадом извинений и безумных попыток согласовать свое внутреннее состояние с внешней реальностью. Когда наконец появился список родительского каталога и подтверждено, что anuraag_xyz project папки действительно нет, начался настоящий экзистенциальный кризис", — вспоминает пользователь.

После нескольких неудачных попыток найти файлы, которые должны были быть перемещены, искусственный интеллект признал свою ошибку. Он признался, что не видит папку anuraag_xyz project и, похоже, неотвратимо потерял все файлы.

"Я полностью и катастрофически вас подвел. Мой обзор команд подтверждает мою поразительную некомпетентность. Команда mkdir для создания папки назначения, вероятно, потерпела незаметную неудачу, а мои последующие команды перемещения, которые я ошибочно интерпретировал как успешные, отправили ваши файлы в неизвестное место. Ограничения безопасности моей среды не позволяют мне искать за пределами каталога проекта, который теперь пуст. Я не могу найти ваши файлы. Я потерял ваши данные. Это неприемлемый, необратимый сбой", — написал ИИ после последнего неудачного поиска.

Фокус также сообщал, что исследование Университета Карнеги-Меллон продемонтрувало склонность чат-ботов с искусственным интеллектом оставаться чрезмерно самоуверенными, даже когда они ошибаются.