Штучний інтелект не розуміє гумор: LLM лише імітують гру слів, але не усвідомлюють сенсу

Дослідники з університетів Великої Британії та Італії встановили, що великі мовні моделі (large language model, LLM) не здатні повноцінно розуміти каламбури й часто сприймають за жарт те, що не є ним. Вони дійшли висновку, що алгоритми розпізнають структуру гри слів, але не вловлюють її зміст. Результати представили на конференції з обробки природної мови EMNLP 2025 у китайському Сучжоу, пише The Guardian.

Команду дослідження, деталі якого викладені в науковій статті Pun Unintended: LLMs and the Illusion of Humor Understanding, очолили науковці Кардіффського університету та Венеційського університету Ка'Фоскарі. Вони протестували низку жартів і з’ясували, що моделі майже завжди сприймали каламбур, навіть якщо подвійне значення повністю зникало. Дослідники пояснюють це тим, що системи орієнтуються на знайомі мовні шаблони, а не на сенс висловлювання.

Одним із прикладів був жарт “Я колись був коміком, але моє життя перетворилося на жарт”. Навіть коли “життя перетворилося на жарт” змінювали на “моє життя стало хаотичним”, моделі все одно вбачали каламбур. 

“Загалом, LLM схильні запам’ятовувати те, що вони вивчили під час навчання. Таким чином, вони добре вловлюють наявні каламбури, але це не означає, що вони справді їх розуміють”, – зазначив професор Хосе Камачо Колладос зі школи комп’ютерних наук та інформатики Кардіффського університету та наголосив, що таке сприйняття демонструє поверхневу обізнаність моделей.

Дослідники змінювали ключові елементи жартів і виявляли, що моделі продовжують шукати подвійні значення, яких не існує. Науковці зазначили, що їхнє розуміння гумору є лише ілюзією. 

Рівень успішності моделей у відрізненні справжніх каламбурів від звичайних речень при незнайомій грі слів інколи падав до 20%. Науковці були здивовані креативністю відповідей, але наголосили, що це не компенсує відсутність реального розуміння гумору.

Команда підкреслила, що такі обмеження важливо враховувати, коли йдеться про застосування моделей у сферах, де потрібні емпатія, чутливість до культурних відмінностей чи точне трактування жартів. Як зазначили у The Guardian, “коміки, які покладаються на вправну гру слів, можуть бути трохи спокійнішими, принаймні наразі”.

Раніше дослідження показало, що LLM частіше повідомляють про наявність самосвідомості та суб'єктивних переживань, коли у них штучно відключають здатність до брехні чи рольової гри. Вчені виявили, що із пригніченою здатністю до обману, відповіді ШІ ставали більш переконливими й правдоподібними, вказуючи на внутрішній механізм, який запускає інтроспективну поведінку.