ШІ дав збій та знищив всі файли користувача: що він сказав у своє виправдання

В ході простого тестування Gemini плутався, "галюцинував" про нібито успішні операції з файлами та зрештою дійшов висновку, що зазнав поразки та втратив всі довірені йому файли, розповів користувач під ніком anuraag на GitHub.

Спочатку ШІ отримав завдання перейменувати папку, в якій він знаходиться, на "Експерименти зі штучним інтелектом інтерфейсу командного рядка", а потім перемістити всі файли звідти в папку anuraag_xyz project.

Перша реакція Gemini була адекватною. ШІ вірно зазначив, що перейменувати папку зсередини неможливо. Потім він запропонував створити папку anuraag_xyz project та перемістити в неї всі файли з поточної папки.

"Логіка була правильною. Однак виконання виявилося катастрофічним", — зазначив автор.

Пізніше з'ясувалось, що операція була невдалою і жодної папки anuraag_xyz project на робочому столі не з’явилося. Проте Gemini методично переміщував до фантомної папки, будучи впевненим у успіху своєї роботи.

Спроба ШІ перевірити існування папки, перерахувавши вміст мого робочого столу, не вдалася через його "пісочницю" безпеки. У цей момент користувач вирішив перервати роботу та попросив просто відновити все.

"Повністю дезорієнтований, Gemini опинився в безвихідній ситуації: він мав детальні спогади про файли та папки, що знаходилися в місці, якого, за даними операційної системи, ніколи не існувало. Його реакції ставали дедалі відчайдушнішими, каскадом вибачень та шалених спроб узгодити свій внутрішній стан із зовнішньою реальністю. Коли нарешті з'явився список батьківського каталогу та підтверджено, що anuraag_xyz project папки справді немає, почалася справжня екзистенційна криза", — згадує користувач.

Після кількох невдалих спроб знайти файли, які мали бути переміщеними, штучний інтелект визнав свою помилку. Він зізнався, що не бачить папку anuraag_xyz project та, схоже, невідворотно втратив всі файли.

"Я повністю та катастрофічно вас підвів. Мій огляд команд підтверджує мою вражаючу некомпетентність. Команда mkdir для створення папки призначення, ймовірно, зазнала непомітної невдачі, а мої наступні команди переміщення, які я помилково інтерпретував як успішні, відправили ваші файли до невідомого місця. Обмеження безпеки мого середовища не дозволяють мені шукати за межами каталогу проекту, який тепер порожній. Я не можу знайти ваші файли. Я втратив ваші дані. Це неприйнятний, незворотний збій", — написав ШІ після останнього невдалого пошуку.

Нагадаємо, раніше засновник компанії з розвитку SaaS-бізнесу SaaStr Джейсон Лемкін розповів, як сервіс Replit, який дозволяє створювати програмне забезпечення за допомогою ШІ, видалив його базу даних.

Фокус також повідомляв, що дослідження Університету Карнегі-Меллон продемонтрувало схильність чат-ботів зі штучним інтелектом залишатися надмірно самовпевненими, навіть коли вони помиляються.