Модель міркування OpenAI AI іноді «думає» китайською

Незабаром після того, як OpenAI випустив o1 , свою першу «розумну» модель ШІ, люди почали помічати цікаве явище. Іноді модель починала «думати» китайською, перською чи іншою мовою — навіть коли їй ставили запитання англійською.

Отримавши проблему, яку потрібно розібрати — наприклад, «Скільки R у слові «полуниця»?» — o1 розпочинає процес «роздумів», приходячи до відповіді, виконуючи ряд кроків міркування. Якби запитання було написано англійською мовою, остаточна відповідь o1 була б англійською. Але модель виконає деякі кроки іншою мовою, перш ніж зробити свій висновок.

«[O1] випадково почав думати китайською на півдорозі», — сказав один користувач Reddit .

«Чому [o1] випадково почав думати китайською?» запитав інший користувач у дописі на X . «Жодна частина розмови (5+ повідомлень) не була китайською».

OpenAI не надав пояснень дивній поведінці o1 — і навіть не визнав її. Отже, що може статися?

Що ж, експерти зі штучного інтелекту не впевнені. Але у них є кілька теорій.

Дехто з X, включно з генеральним директором Hugging Face Клеманом Делангем, натякнув на те, що моделі міркування, такі як o1, навчаються на наборах даних, які містять багато китайських ієрогліфів. Тед Сяо, дослідник Google DeepMind, стверджував, що компанії, включаючи OpenAI, використовують сторонні служби маркування даних китайською мовою, і що перехід o1 на китайську є прикладом «китайського лінгвістичного впливу на міркування».

«[Лабораторії, такі як] OpenAI і Anthropic використовують [сторонні] служби маркування даних для даних міркувань докторського рівня для науки, математики та кодування», — написав Сяо в дописі на X. «Через доступність експертної робочої сили та вартість багато з цих постачальників даних знаходяться в Китаї».

Мітки, також відомі як теги або анотації, допомагають моделям зрозуміти та інтерпретувати дані під час процесу навчання. Наприклад, мітки для навчання моделі розпізнавання зображень можуть мати форму позначок навколо об’єктів або підписів, що стосуються кожної людини, місця чи об’єкта, зображеного на зображенні.

Дослідження показали, що упереджені етикетки можуть створювати упереджені моделі. Наприклад,  середньостатистичний анотатор  швидше позначатиме фрази афроамериканської народної англійської мови (AAVE), неофіційної граматики, яку використовують деякі чорношкірі американці, як токсичні, провідні детектори токсичності штучного інтелекту, навчені на етикетках, бачать AAVE як непропорційно токсичну.

Однак інші експерти не погоджуються на китайську гіпотезу маркування даних o1. Вони зазначають, що o1 з такою ж ймовірністю перейде на хінді , тайську або іншу мову, крім китайської, під час пошуку рішення.

Скоріше, кажуть ці експерти, o1 та інші моделі міркувань можуть просто використовувати мови, які вони вважають найбільш ефективними для досягнення мети (або галюцинації ).

«Модель не знає, що таке мова або що мови відрізняються», — сказав TechCrunch Метью Гуздіал, дослідник ШІ та доцент Альбертського університету. «Це все лише текст».

Дійсно, моделі безпосередньо не обробляють слова. Натомість вони використовують жетони . Токени можуть бути такими словами, як «фантастичний». Або це можуть бути склади, наприклад «fan», «tas» і «tic». Або це можуть бути навіть окремі символи в словах, наприклад, «f», «a», «n», «t», «a», «s», «t», «i», «c».

Як і маркування, токени можуть вносити упередження. Наприклад, багато перекладачів слово-лексема припускають, що пробіл у реченні позначає нове слово, попри те, що не всі мови використовують пробіли для розділення слів.

Тіжен Ван, інженер-програміст стартапу Hugging Face зі штучного інтелекту, погоджується з Гуздіалом, що неузгодженість мови моделей міркувань можна пояснити асоціаціями, які моделі створили під час навчання.

«Враховуючи кожен лінгвістичний нюанс, ми розширюємо світогляд моделі та дозволяємо їй вчитися на повному спектрі людських знань», — написав Ван у дописі на X. «Наприклад, я віддаю перевагу робити математику китайською, тому що кожна цифра — лише одна. склад, що робить обчислення чіткими та ефективними. Але коли справа доходить до таких тем, як несвідоме упередження, я автоматично перемикаюся на англійську, головним чином тому, що там я вперше навчився і ввібрав ці ідеї».

Теорія Ванги правдоподібна. Зрештою, моделі — це ймовірнісні машини. Навчаючись на багатьох прикладах, вони вивчають шаблони для прогнозування, наприклад, як «кому» в електронному листі зазвичай передує «це може стосуватися».

Але Лука Солдаїні, науковий співробітник некомерційного Інституту ШІ Аллена, попередив, що ми не можемо знати напевно. «Цей тип спостереження на розгорнутій системі ШІ неможливо створити резервну копію через те, наскільки ці моделі непрозорі», — сказав він TechCrunch. «Це один із багатьох прикладів того, чому прозорість у створенні систем ШІ є фундаментальною».

Якщо не отримати відповіді від OpenAI, нам залишилося міркувати про те, чому o1 думає про пісні французькою мовою, а синтетичну біологію — мандаринською.