Детектори штучного інтелекту вважають, що Конституцію США написала нейромережа

Якщо ви завантажите уривки з Біблії або Конституцію США у програму виявлення тексту, написаного штучним інтелектом, він повідомить, що ці тексти майже напевно були написані нейромережею. Подібний результат перевірки отримували вже багато разів. Щоразу скриншоти ставали вірусними в інтернеті, породжуючи хвилю жартів. І якщо тільки Джеймс Медісон не був мандрівником у часі, причина може бути лише одна: недосконалість інструменту.

Помилкове спрацювання

Цю проблему почали жваво обговорювати в англомовному інтернеті після хвилі звинувачень на адресу учнів та студентів, які вони отримали від своїх викладачів. Ті стверджували, що виявили в есе ознаки використання ChatGPT.

У США та деяких європейських країнах існує дуже стійка традиція покладатися на есе як інструмент для оцінки засвоєння учнями теми, і вчителі не хочуть від неї відмовлятися. Але разом з тим вони не бажають допускати можливості шахраювання за допомогою нейромереж, тому користуються засобами виявлення втручання ШІ. Проблема в тому, що досвід уже показав їхню ненадійність. Через численні помилкові спрацьовування такі детектори, як GPTZero, ZeroGPT і Text Classifier від OpenAI, не можуть бути використані для виявлення тексту, створеного за допомогою великих мовних моделей (LLM), таких як ChatGPT, вважають деякі експерти.

Щоб пояснити, чому ці інструменти припускаються таких очевидних помилок, спершу потрібно зрозуміти, як вони працюють.

• По-перше, варто зрозуміти, що штучний інтелект працює за принципом компіляції. Він володіє певним набором даних, на яких його навчали, і свої відповіді генерує, фактично склеюючи різні частини тексту, будуючи передбачення про імовірність появи того чи іншого слова після попереднього. Тобто ШІ не вигадає сам щось нове. Він лише поєднає все існуючі частинки в нові, які, ймовірно, будуть типовими й клішованими.
• По-друге, в основі принаймні деяких засобів виявлення ШІ лежить так званий принцип здивування або спантеличеності – показник того, наскільки фрагмент тексту відхиляється від того, що АІ-модель вивчила під час навчання. Він припускає, що природна людська мова є хаотичною та непередбачуваною. Водночас набір даних, на яких навчали ШІ, є обмеженим і часто побудований на різноманітних літературних творах, статтях та інших текстах, які є структурованими, добре відредагованими та передбачуваними. Тож якщо система виявить це "здивування", вона вважатиме, що текст написала людина. Якщо ж навпаки побачить збіги з мільйонами інших запитів у Google (якщо має до нього доступ), то може подумати, що результат генерував комп'ютер на основі аналізу завченої інформації чи інтернету. Тому що ці програми виявлення знають принципи роботи ШІ, знають принципи складання інформації та знають, що комп'ютер ніколи не вигадає вам того, що не було в нього закладено під час навчання.

Ось простий приклад. Уявімо, що ви вгадуєте наступне слово у фразі "Я б хотів чашку...". Більшість людей заповнять прогалину словами "води", "кави" або "чаю". Мовна модель, натренована на великій кількості текстів, зробить те ж саме, оскільки ці фрази часто зустрічаються в творах. Будь-який з цих трьох результатів не викличе здивування, оскільки передбачення є доволі впевненим. Але якби там було, наприклад "Я б хотів чашку павуків", то і людина, і машина були б дуже здивовані цим реченням. На момент написання цього матеріалу пошук за цією фразою не дає результату. Однак якщо шукати варіанти з кавою, водою чи чаєм, ви отримаєте їх мільйони. Це дуже грубий приклад, але він показує логіку інструментів виявлення.

Таким чином ми підходимо до цікавого випадку з Конституцією США та Біблією. Їхні тексти настільки вкорінилася в цих ШІ-моделях, що детектори класифікують її як створені штучним інтелектом, створюючи помилкові спрацьовування.

Конституція США – це текст, який неодноразово вводився в навчальні дані багатьох великих мовних моделей. В результаті багато з цих великих мовних моделей навчилися генерувати текст, схожий на Конституцію та інші часто використовувані навчальні тексти. GPTZero прогнозує текст, який, ймовірно, буде створений великими мовними моделями, і таким чином відбувається це захопливе явище,
– каже творець GPTZero Едвард Тіан.

Люди – не оригінальні

Проблема полягає в тому, що люди також можуть створювати контент з низьким рівнем складності. Їхні тексти можуть бути передбачувані. Автори можуть несвідомо видавати почуті чи прочитані десь фрази, думаючи, що вони були щойно придумані ними. Але, як часто кажуть, все вже давно придумано до нас. Варіантів сказати одну й ту ж фразу є не так і багато. Це глибоко підриває надійність детекторів письма зі штучним інтелектом.

Ще один момент, на який звертають увагу GPTZero та аналоги, – це варіативність довжини та структури речень у тексті. Люди часто демонструють динамічний стиль письма, що призводить до створення текстів зі змінною довжиною та структурою речень. Наприклад, ми можемо написати довге складне речення, за яким слідує коротке просте речення, або ми можемо використовувати безліч прикметників в одному реченні й жодного в наступному. Така варіативність є природним результатом людської творчості та спонтанності. Натомість ШІ має тенденцію бути більш послідовним і однорідним (принаймні поки що). Мовні моделі, які все ще перебувають у зародковому стані, генерують речення з більш регулярною довжиною і структурою. Відсутність варіативності може призвести до низького показника розривності, що вказує на те, що текст може бути згенерований штучним інтелектом.

Однак і цей показник не є надійним, адже людям притаманні різні стилі письма. За це ми й любимо одних письменників більше, а інших – не так сильно. У кожного своя манера будувати текст. До того ж ШІ-модель можна навчити імітувати більш схожу на людську варіативність у довжині та структурі речень, що ускладнить класифікацію написаного за цим показником. Дослідження показують, що в міру вдосконалення мовних моделей ШІ їхнє письмо стає дедалі більше схожим на людське.

Зрештою, не існує магічної формули, яка завжди може відрізнити текст, написаний людиною, від тексту, створеного машиною. ШІ-детектори письма можуть зробити сильне припущення, але похибка занадто велика, щоб покладатися на них для отримання точного результату й бути впевненим, що якийсь текст було створено нечесним шляхом. Ціна таких неправдивих звинувачень подекуди може бути занадто великою.