У поведінці ШІ виявили неочікувані "людські" проблеми: що він може робити

Нове дослідженням Університетського коледжу Лондона та Google DeepMind показало, що великі мовні моделі (LLM), такі як ChatGPT, іноді втрачають впевненість під час відповідей на запитання та відмовляються від правильних відповідей.

Вчені виявили, що LLM можуть бути впевненими у своїх початкових відповідях, але їх можна примусити засумніватись та змінити свою думку, якщо пред'явити протилежну точку зору, пише Tech Xplore.

Як пояснюють у виданні, для безпечного використання LLM, їхні відповіді супроводжуються оцінками впевненості. Тож дослідники вирішили перевірити, як зовнішні поради впливають на впевненість ШІ моделей.

В рамках експерименту ШІ спочатку пропонувалося питання з бінарним вибором. Після відповіді він отримував пораду від іншого ШІ, а також оцінку точності. Друга модель також мала або погодитися, або заперечити, або бути нейтральним щодо відповіді "колеги". Після цього першу LLM просили зробити остаточний вибір.

ШІ схильний сумніватися в собі: що виявили вчені

Дослідження показало, що коли LLM отримують протилежні поради, вони часто втрачають впевненість і змінюють своє рішення. Ця закономірність спостерігалася в кількох різних моделях ШІ, таких як Gemma 3, GPT4o та o1-preview.

Вчені наголосили, що LLM відхиляються від нормативної поведінки кількома суттєвими способами. По-перше, вони дуже упереджено підтримують вибір, який підвищує їхню впевненість у своїй відповіді і змушує їх дотримуватися її, навіть за наявності доказів протилежного.

Важливо Не розповідайте ШІ зайвого: популярні чат-боти готові донести на вас владі (дослідження)

По-друге, дослідники показали, що хоча LLM і інтегрують нову інформацію у свої переконання, вони роблять це неоптимальним чином: поради, які критикують їхню думку, впливають на них набагато сильніше, ніж слова підтримки.

Цей експеримент демонструє, що моделі ШІ мають власний набір упереджень і можуть піддаватися впливу. Тому в довгих розмовах між людиною та штучним інтелектом найсвіжіша інформація може мати непропорційно великий вплив на його реакцію.

Нагадаємо, дослідники з Токійського університету виявили схожість чат-ботів на основі штучного інтелекту з людьми, які страждають на афазію.

Фокус також повідомляв, що вчені з Helmholtz Munich створили передову систему ШІ під назвою Centaur, здатну з точністю імітувати прийняття рішень людиною.