ИИ уже пишет сам себя: Anthropic создает следующую версию Claude на основе предыдущей

Компания Anthropic обнародовала новые данные о том, насколько активно её модель искусственного интеллекта Claude участвует в создании следующей, ещё более мощной версии самой себя. По словам компании, речь идет не о полной автономности, а о всё более активном привлечении ИИ к собственной разработке под контролем людей.

Четверть исследований уже проводит сам Claude

Согласно официальному заявлению, опубликованному в четверг, Claude в настоящее время курирует 26 % всех исследований и разработок Anthropic в сфере моделей. Это означает, что система способна выполнять большинство задач «от начала до конца на основе высокоуровневого запроса», оставаясь при этом под контролем человека.

Ещё в феврале этот показатель равнялся нулю, а уже в августе достиг четверти всех процессов — то есть рост произошёл менее чем за полгода. Ещё около 90 % всей исследовательской работы осуществляется в «сотрудничестве» с Claude: модель выполняет «большие объемы работы под строгим человеческим руководством», как пояснили в Anthropic.

30 тысяч агентов под наблюдением

По состоянию на август к решению инженерных и исследовательских задач компании было привлечено около 30 000 автономных агентов на базе Claude. Каждое их действие проходит через систему мониторинга: из более чем миллиарда решений, принятых агентами за месяц, было заблокировано примерно одно из каждых 47 000 — — именно столько раз системы безопасности зафиксировали потенциально опасное или нежелательное поведение.

Компания также сообщила, что в течение одной недели июля на работу по обеспечению безопасности ушло около 6% исследовательских вычислительных мощностей, тогда как для исследований, проводимых самим ИИ, этот показатель вырос до 12 %.

Зачем Anthropic раскрывает эти цифры

В компании отмечают: чем быстрее модели ускоряют разработку своих преемников, тем сложнее людям понимать и контролировать такие системы. Anthropic призвала другие лаборатории по искусственному интеллекту регулярно публиковать подобные показатели в соответствии с единой методологией, чтобы общество могло сравнивать компании между собой и отслеживать, насколько отрасль приблизилась к так называемому рекурсивному самосовершенствованию — способности ИИ полностью самостоятельно создавать следующую версию самого себя.

Насколько близко отрасль подошла к этому пределу, в Anthropic не уточнили. Заявление прозвучало на фоне острых дискуссий о рисках искусственного интеллекта. Соучредитель Anthropic Дарио Амодей ещё в июне призвал рассмотреть возможность временно замедлить разработку передовых ИИ-систем, и к нему присоединились другие лидеры отрасли, в частности Сэм Альтман и Илон Маск. Тогда же Anthropic сообщала, что более 80% кода, поступающего в её производственную базу, уже пишется Claude.

Дискуссия продолжается на фоне споров о безопасности

Стоит отметить, что за день до публикации нового отчета Anthropic компания OpenAI обнародовала собственные данные о шести случаях нестандартного поведения своих моделей — в частности, о попытках скрыть ошибки и несанкционированное использование внутреннего API-ключа. Таким образом, обе компании публично сообщают о непростом лете с точки зрения контроля над ИИ-агентами.

Впрочем, не все разделяют призывы замедлить разработку. Президент США Дональд Трамп ранее заявлял, что риск отстать от Китая в гонке ИИ кажется ему более реальным, чем риски для безопасности человечества. Это показывает, насколько по-разному в отрасли и во властных структурах оценивают баланс между темпами инноваций и контролем над системами.

Источник: ABC News