Математики розробили складні задачі для перевірки міркування Gemini, Claude та GPT-4o — вони провалили майже всі тести

Найсучасніші моделі штучного інтелекту розв’язали лише 2% складних математичних задач, розроблених провідними математиками світу.

Дослідницький інститут Epoch AI представив новий набір тестів FrontierMath, який потребує докторського рівня математичних знань. До розробки залучили професорів математики, зокрема лауреатів Філдсівської преміїФілдсівська премія (Fields Medal) — найпрестижніша міжнародна нагорода в математиці, яку вручають раз на чотири роки математикам віком до 40 років за видатні досягнення. Премію часто називають «математичним Нобелем».. На розв’язання таких задач у математиків-докторів може йти від кількох годин до днів.

Якщо у попередніх тестах MMLUMMLU (Measuring Massive Multitask Language Understanding) — це стандартний набір тестів для оцінки можливостей моделей штучного інтелекту. Тести охоплюють понад 57 предметних областей, включно з математикою, фізикою, історією, правом, медициною та іншими науками. Їх використовують для порівняння різних моделей ШІ та оцінки їхньої здатності розуміти та застосовувати знання в різних сферах. моделі ШІ успішно розв’язували 98% математичних задач шкільного та університетського рівня, то з новими завданнями ситуація кардинально інша.

У дослідженні протестували шість провідних моделей ШІ. Gemini 1.5 Pro (002) від Google та Claude 3.5 Sonnet від Anthropic показали найкращий результат – 2% правильних відповідей. Моделі o1-preview, o1-mini та GPT-4o від OpenAI впоралися з 1% завдань, а Grok-2 Beta від xAI не змогла розв’язати жодної задачі.

FrontierMath охоплює різні математичні галузі – від теорії чисел до алгебраїчної геометрії. Усі тестові завдання доступні на вебсайті Epoch AI. Розробники створили унікальні задачі, яких немає у навчальних даних моделей ШІ.

Дослідники зазначають, що навіть коли модель надавала правильну відповідь, це не завжди свідчило про правильність міркувань – іноді результат можна було отримати через прості симуляції без глибокого математичного розуміння.

Джерело: Livescience