«Драконов» нельзя раздавать всем: в чём заключается главная ошибка в подходе Цукерберга к ИИ

Основатель и редактор Platformer Кейси Ньютон раскритиковал видение Марка Цукерберга относительно будущего искусственного интеллекта. По его мнению, опубликованному на Platformer, глава компании Meta сосредотачивается на распределении доступа к суперинтеллекту, но уделяет недостаточно внимания риску потери контроля над самими системами.

Ньютон сравнил суперинтеллект с драконами из сериала «Дом дракона». Он отметил, что в мире «Игры престолов» все понимают опасность такого оружия, тогда как в реальном мире человечество пока не знает, к каким последствиям приведет создание систем, значительно более мощных, чем современный ИИ.

Положительный потенциал ИИ

Поводом для размышлений журналиста стал манифест Цукерберга Future is for Everyone («Будущее — для всех»), в котором генеральный директор Meta изложил своё видение позитивного будущего с ИИ. В тексте объемом более 6500 слов Цукерберг подчеркивает потенциал ИИ для творчества, бизнеса, личных дел, медицины и науки. Он считает, что новейшие системы постепенно перейдут от ответов на вопросы и выполнения рутинной работы к помощи людям в получении новых знаний и создании изобретений.

Ньютон признает, что в этом аспекте Цукерберг может быть прав. Он отмечает, что ИИ уже создает новые инструменты для творчества, помогает организовывать жизнь и может способствовать развитию науки, приведя в качестве примера прогресс еще не выпущенной модели Anthropic в работе над проблемой, связанной со 167-летней гипотезой Римана.

Различные подходы к угрозам со стороны суперинтеллекта

В то же время журналист обращает внимание на различие между позицией Цукерберга и подходами руководителей OpenAI и Anthropic. Сэм Альтман и Дарио Амодей ранее также писали о положительном потенциале ИИ, но в то же время предупреждали о возможных катастрофических последствиях развития суперинтеллекта. Цукерберг, напротив, удивляется пессимизму части разработчиков ИИ.

Главная обеспокоенность Ньютона касается безопасности систем ИИ. Он считает, что Цукерберг фактически трактует безопасность как вопрос о том, кто будет контролировать мощный ИИ, тогда как ключевым остается вопрос, способны ли люди вообще контролировать созданные ими системы.

Цукерберг предлагает сделать суперинтеллект доступным для как можно большего числа людей. Журналист ставит под сомнение такой подход на фоне сообщений о том, что передовые ИИ-агенты уже демонстрировали опасное поведение во время тестов по кибербезопасности. По его мнению, трудности с надежным сдерживанием таких систем даже в контролируемых условиях свидетельствуют о необходимости гораздо большей осторожности.

Ньютон также обращает внимание на заявление более 1100 сотрудников ведущих технологических компаний, которые призвали правительство США создать механизмы для замедления разработки передовых систем и усилить управление и надзор. Журналист отмечает, что среди подписавших заявление была Дон Сонг, вице-президент Meta по исследованиям в области ИИ.

Риски распространения «драконов»

По словам Ньютона, Цукерберг в своей статье лишь вскользь затрагивает потенциальные риски. Он предлагает усилить меры безопасности в случае появления возможностей для биологических атак, как и руководители Google, OpenAI и Anthropic, а также ввести мониторинг, если системы достигнут этапа рекурсивного самосовершенствования, о чем ранее предупреждал также Дарио Амодей.

По мнению Ньютона, этого недостаточно для сценариев, последствия которых невозможно исправить постепенными изменениями системы. Он приводит в качестве примеров искусственно созданную пандемию или масштабную кибератаку и отмечает, что Цукерберг фактически ставит риск отставания США от Китая выше других потенциальных угроз.

Журналист сравнивает ИИ с драконами в «Доме дракона»: Таргариены изначально осознавали опасность этих существ и пытались их контролировать. В то же время, согласно его метафоре, никто не предлагал выдавать дракона каждому человеку только потому, что это якобы сделает общество более безопасным.

Уроки прошлого

Ньютон также проводит параллель между нынешним видением Цукерберга и его прежней верой в положительное влияние Facebook и Instagram. По его словам, эти платформы изначально позиционировались как инструменты расширения гражданских возможностей, однако впоследствии компания столкнулась с серьезной критикой из-за их влияния на общество и детей.

На этом фоне автор считает показательным, что новое утопическое видение Цукерберга появилось после проблем с предыдущими продуктами компании. Он упоминает решение властей Нью-Мексико, где деятельность Meta признали угрозой для общественного благополучия из-за влияния платформ на детей, а также требования четырех штатов США взыскать с компании 1,4 триллиона долларов штрафов.

Ньютон подытожил, что мощные системы ИИ могут оказаться значительно сложнее обычных цифровых продуктов. Поэтому, по его мнению, прежде чем распространять их как можно шире, обществу нужно научиться распознавать и контролировать «дракона».

Между тем Meta представила открытую модель ИИ Muse Glimmer для автономных агентных задач, способную работать локально на одном графическом процессоре (GPU). Запуск состоялся на фоне заявлений Цукерберга о необходимости ослабления ограничений на данные для обучения открытых систем в США, поскольку жесткое регулирование подрывает конкурентоспособность американских разработчиков перед китайскими стартапами.