Математики разработали сложные задачи для проверки мышления Gemini, Claude и GPT-4o

Самые современные модели искусственного интеллекта решили лишь 2% сложных математических задач, разработанных ведущими математиками мира.

Исследовательский институт Epoch AI представил новый набор тестов FrontierMath, который требует докторского уровня математических знаний. К разработке привлекли профессоров математики, в частности лауреатов Филдсовской премииФилдсовская премия (Fields Medal) — самая престижная международная награда в математике, которую вручают раз в четыре года математикам в возрасте до 40 лет за выдающиеся достижения. Премию часто называют «математическим Нобелем».. На решение таких задач у математиков-докторов может уходить от нескольких часов до дней.

Если в предыдущих тестах MMLUMMLU (Measuring Massive Multitask Language Understanding) — это стандартный набор тестов для оценки возможностей моделей искусственного интеллекта. Тесты охватывают более 57 предметных областей, включая математику, физику, историю, право, медицину и другие науки. Их используют для сравнения различных моделей ИИ и оценки их способности понимать и применять знания в различных сферах. модели ИИ успешно решали 98% математических задач школьного и университетского уровня, то с новыми задачами ситуация кардинально иная.

«Эти задачи чрезвычайно сложные. Сейчас их можно решить только с участием специалиста в этой области или с помощью аспиранта в смежной сфере в сочетании с современным ИИ и другими алгебраическими инструментами», — отметил лауреат Филдсовской премии 2006 года Теренс Тао.

В исследовании протестировали шесть ведущих моделей ИИ. Gemini 1.5 Pro (002) от Google и Claude 3.5 Sonnet от Anthropic показали лучший результат — 2% правильных ответов. Модели o1-preview, o1-mini и GPT-4o от OpenAI справились с 1% задач, а Grok-2 Beta от xAI не смогла решить ни одной задачи.

FrontierMath охватывает различные математические области — от теории чисел до алгебраической геометрии. Все тестовые задания доступны на сайте Epoch AI. Разработчики создали уникальные задачи, которых нет в учебных данных моделей ИИ.

Исследователи отмечают, что даже когда модель давала правильный ответ, это не всегда свидетельствовало о правильности рассуждений — иногда результат можно было получить через простые симуляции без глубокого математического понимания.

Математики разработали сложные задачи для проверки мышления Gemini, Claude и GPT-4o — они провалили почти все тесты