У ШІ знайшлися проблеми з вимірюванням

MMLU, який був випущений у 2020 році, складається з приблизно 16 000 запитань із варіантами відповідей, які охоплюють десятки навчальних предметів, починаючи від абстрактної алгебри до права та медицини. Це має бути свого роду загальний тест інтелекту — чим більше з цих запитань чат-бот дає правильні відповіді, тим він розумніший.

Це стало золотим стандартом для компаній ШІ, які змагаються за домінування. (Коли на початку цього року Google випустив свою найдосконалішу модель штучного інтелекту Gemini Ultra, вона похвалилася , що вона набрала 90 відсотків за MMLU — це найвищий результат, який будь-коли зареєстровано.)

Ден Хендрікс, дослідник безпеки штучного інтелекту, який брав участь у розробці MMLU під час навчання в аспірантурі Каліфорнійського університету в Берклі, сказав мені, що цей тест ніколи не можна було використовувати для хвастощів. Він був стурбований тим, як швидко вдосконалюються системи штучного інтелекту, і хотів спонукати дослідників ставитися до цього більш серйозно.

Г-н Хендрікс сказав, що, хоча він вважає, що MMLU «ймовірно, має ще рік або два терміни придатності», незабаром його потрібно буде замінити іншими, складнішими тестами. Системи штучного інтелекту стають занадто розумними для тестів, які ми маємо зараз, і стає все складніше розробляти нові.

«Усі ці контрольні показники неправильні, але деякі корисні», — сказав він. «Деякі з них можуть обслуговувати якусь корисну функцію протягом фіксованого періоду часу, але в якийсь момент на них чиниться такий сильний тиск, що вони досягають своєї межі».

Існують десятки інших тестів — із такими назвами, як TruthfulQA та HellaSwag — які призначені для визначення інших аспектів продуктивності ШІ. Але подібно до того, як SAT фіксує лише частину інтелекту та здібностей студента, ці тести здатні виміряти лише вузьку частину потужності системи ШІ.

І жоден із них не призначений для відповідей на більш суб’єктивні запитання багатьох користувачів, наприклад: чи цікаво спілкуватися з цим чат-ботом? Що краще для автоматизації рутинної офісної роботи чи творчого мозкового штурму? Наскільки суворі його захисні огорожі?

(The New York Times подала до суду на OpenAI, виробника ChatGPT, і його партнера Microsoft за позовами про порушення авторських прав, пов’язаних із системами штучного інтелекту, які генерують текст.)

Також можуть бути проблеми з самими тестами. Декілька дослідників, з якими я спілкувався, попереджали, що процес адміністрування порівняльних тестів, таких як MMLU, дещо відрізняється від компанії до компанії, і що оцінки різних моделей можуть бути непрямими для порівняння.

Існує проблема, відома як «забруднення даних», коли запитання та відповіді для еталонних тестів включені в навчальні дані моделі штучного інтелекту, що фактично дозволяє їй шахраювати. І для цих моделей немає процесу незалежного тестування чи аудиту, а це означає, що компанії зі штучним інтелектом по суті оцінюють свої власні домашні завдання.

Коротше кажучи, вимірювання штучного інтелекту — це безлад — клубок неохайних тестів, порівнянь «яблука з апельсинами» та корисливого галасу, який змусив користувачів, регулятори та самих розробників штучного інтелекту дивитися в темряві.

«Попри появу науки, більшість розробників дійсно судять про моделі на основі вібрації чи інстинкту», — сказав Натан Бенаїч, інвестор у галузі штучного інтелекту Air Street Capital. «Це може бути добре на цей час, але в міру того, як ці моделі зростають у потужності та соціальної значущості, цього буде недостатньо».

Рішення тут, ймовірно, полягає в поєднанні державних і приватних зусиль.

Уряди можуть і повинні запропонувати надійні програми тестування, які вимірюють як необроблені можливості, так і ризики безпеки моделей ШІ, і вони повинні фінансувати гранти та дослідницькі проекти, спрямовані на створення нових високоякісних оцінок. (У своєму виконавчому розпорядженні про штучний інтелект минулого року Білий дім наказав кільком федеральним агентствам, включаючи Національний інститут стандартів і технологій, створити та контролювати нові способи оцінки систем ШІ.)

Певний прогрес також спостерігається в академічному середовищі. Минулого року дослідники Стенфордського університету представили новий тест для моделей зображень штучного інтелекту, який використовує оцінювачів, а не автоматичних тестів, щоб визначити, наскільки дієва модель. А група дослідників з Каліфорнійського університету в Берклі нещодавно запустила Chatbot Arena , популярну таблицю лідерів, яка протиставляє анонімні рандомізовані моделі штучного інтелекту та пропонує користувачам проголосувати за найкращу модель.

Компанії зі штучним інтелектом також можуть допомогти, зобов’язавшись співпрацювати зі сторонніми оцінювачами та аудиторами для тестування своїх моделей, роблячи нові моделі більш доступними для дослідників і будучи більш прозорими під час оновлення своїх моделей. І я сподіваюся, що в засобах масової інформації з часом з’явиться якесь видання в стилі Wirecutter, яке візьметься за завдання рецензування нових продуктів штучного інтелекту в суворий і надійний спосіб.

Дослідники Anthropic, компанії штучного інтелекту, написали в блозі минулого року, що «ефективне управління ШІ залежить від нашої здатності суттєво оцінювати системи ШІ».

Я згоден. Штучний інтелект є надто важливою технологією, щоб оцінювати її на основі вібрацій. Доки ми не отримаємо кращих способів вимірювання цих інструментів, ми не знатимемо, як ними користуватися, чи варто відзначати їхній прогрес чи побоюватися.

Кевін Руз