ШІ має проблеми з упевненістю в собі: вчені виявили нестабільність рішень LLM

Дослідники з Google DeepMind та Університетського коледжу Лондона виявили, що великі мовні моделі (LLM) часто демонструють нестабільність у прийнятті рішень. Вчені помітили, що моделі часто змінюють правильні відповіді під впливом додаткової неправдивої інформації, передає TechXplore. 

LLM (Large Language Models) – це потужні інструменти, які містять нейромережу з багатьма параметрами та навчаються на значному обсязі різних даних. Вони здатні аналізувати, генерувати та інтерпретувати людську мову, і активно застосовуються в таких сферах, як охорона здоров’я, фінанси, право та інші. Критично важливим для їх використання є точність, послідовність і збереження впевненості в правильності своїх рішень. Проте дослідження, опубліковане на платформі arXiv, вказує, що моделі можуть бути не стабільними та надто сприйнятливими до зовнішнього впливу.

У межах експерименту моделі, включно з Gemma 3, GPT-4o та o1-preview, отримували запитання з варіантами відповідей. Після початкового вибору “модель, що відповідає” отримувала пораду від іншої моделі, так званої “моделі з порадою”, разом з оцінкою її точності. Порада могла підтримувати першу відповідь, заперечувати її або бути нейтральною. Після цього першу модель просили зробити остаточний вибір.

Ключовим спостереженням стало те, що коли модель бачила свою попередню відповідь, вона частіше її зберігала. Якщо ж цей контекст приховували, вона охочіше змінювала свою думку. Дослідники вказують, що LLM більше схильні змінювати рішення після отримання критичних або протилежних порад, ніж після таких, що підтримують. При цьому зміна відбувалася навіть у випадках, коли початкова відповідь була правильною.

“Наші результати демонструють, що LLM схильні до упереджень, які посилюють їхню впевненість у власному рішенні, навіть якщо воно суперечить наданим доказам”, – пояснюють автори дослідження. Водночас коли модель усе ж оновлює свою відповідь, процес відбувається неоптимально, тобто з надмірною реакцією на протилежні поради.

Це має важливе значення, адже чимало сфер усе більше покладаються на LLM. А результати дослідження демонструють, що ці моделі не є повністю раціональними системами – вони схильні до упереджень і під впливом можуть змінювати свою думку. Тому під час тривалих діалогів між людиною й ШІ останні повідомлення до моделі можуть надмірно впливати на її відповіді. Розуміння прийняття рішень такими моделями дозволить розробити більш надійні системи штучного інтелекту, з кращим управлінням впевненістю, стабільністю відповідей та стійкістю до зовнішнього впливу.

Дослідники також виявили, що великі мовні моделі, як-от GPT-4, Claude 2 і Llama 2, демонструють значні обмеження у сфері соціальної координації. У рамках експериментів зі стратегічних ігор, зокрема “Дилеми в’язня” та “Битви статей”, ШІ успішно діяв у конкурентних ситуаціях, але не демонстрував стабільної співпраці там, де потрібні компроміси.