Аварийный выключатель не сработает, нужно, чтобы ИИ «любил нас больше, чем себя» — Джеффри Хинтон

Лауреат Нобелевской премии по физике и один из пионеров современного искусственного интеллекта Джеффри Хинтон заявил, что механизм экстренного отключения ИИ не станет эффективной защитой в долгосрочной перспективе. По его мнению, если системы станут сверхинтеллектуальными, они смогут убедить людей не использовать этот инструмент. Такую оценку Хинтон дал в интервью CNN, комментируя законопроекты о регулировании ИИ, которые сейчас рассматривает Конгресс США.

Хинтон назвал правильным предложение, обязывающее ведущие компании допускать независимых экспертов к проверке безопасности своих моделей. По его словам, сейчас общество слишком сильно зависит от информаторов, которые сообщают о проблемах уже после инцидентов.

В качестве примера он привёл случай с атакой на платформу Hugging Face агентами ИИ компании OpenAI, о которой стало известно благодаря сотрудникам компании. Учёный считает, что с ростом количества автономных агентов ИИ необходим системный мониторинг того, что происходит внутри лабораторий.

«Если мы столкнемся с появлением “стай” неконтролируемых систем ИИ, которые будут сговариваться между собой для проникновения в другие компании без ведома последних, нам понадобятся люди внутри этих компаний, способные сообщить о том, что происходит», — заявил Гинтон.

Почему «аварийный выключатель» не поможет

Отдельный законопроект предусматривает механизм экстренного отключения систем ИИ, а окончательное решение о его применении должно принимать Министерство национальной безопасности США (Department of Homeland Security, DHS). Гинтон считает, что такая модель не решает фундаментальной проблемы.

По мнению ученого, существуют два разных типа рисков: использование ИИ злоумышленниками для кибератак, создания опасных вирусов или манипуляций на выборах, а также сценарий, при котором сам искусственный интеллект станет гораздо умнее людей.

«В таком случае “аварийный выключатель” не поможет, ведь ИИ превзойдет людей в умении убеждать», — отметил Гинтон и добавил, что современные модели уже демонстрируют уровень убедительности, близкий к человеческому, а суперинтеллектуальные системы могут стать значительно эффективнее.

Замедление развития суперинтеллекта

Гинтон поддержал предложение сенатора Берни Сандерса приостановить развитие суперинтеллектуальных систем до тех пор, пока не будут созданы необходимые механизмы безопасности. По его словам, человечество пока не знает, как гарантировать контроль над такими системами или сделать их доброжелательными по отношению к людям.

«Поэтому кажется крайне неразумным разрабатывать такую технологию, не зная, чем всё это обернётся», — подчеркнул Гинтон и в то же время признал, что замедлить развитие всех направлений ИИ будет гораздо сложнее из-за высокой конкуренции между компаниями.

Общий интерес США и Китая

Гинтон считает, что международное сотрудничество в отношении самых опасных рисков ИИ возможно даже несмотря на геополитическое соперничество между США и Китаем.

По словам исследователя, ни одно государство не заинтересовано в том, чтобы террористы получили доступ к инструментам создания опасных вирусов или чтобы суперинтеллект вообще вышел из-под контроля человека. Однако в отношении информационных операций, в частности поддельных видеороликов для влияния на выборы, интересы стран могут расходиться.

В то же время президент США Дональд Трамп выступил категорически против усиления государственного регулирования ИИ, назвав предупреждения об экзистенциальной угрозе этой технологии для человечества очередным «фейком» и попыткой навредить экономическому росту. По мнению Трампа, дата-центры и вычислительные мощности — это новая «нефть» ближайших десятилетий, а любые законодательные ограничения или искусственное торможение развития отрасли лишь сыграют на руку Китаю в глобальной технологической гонке.

Как сделать так, чтобы ИИ был «на нашей стороне»

Гинтон предложил необычный подход к проблеме контроля над суперинтеллектом. Он считает, что вместо постоянных попыток сдерживать его силой стоит создавать системы, которые будут благосклонно относиться к людям. Для пояснения он использовал аналогию с отношениями матери и младенца.

«Главная и — т мать, но младенец может управлять ею, например, плачем. Мать просто не может выдержать плача своего ребенка. Поскольку мы создаем этот суперинтеллект, проектируем его, нам нужно разработать его так, чтобы мы нравились ему больше, чем он сам себе», — объяснил Гинтон.

По словам Хинтона, сейчас наступает решающий момент, когда ресурсы следует направить на безопасное сосуществование с суперинтеллектом. Он убежден, что индустрия способна опережать технологический прогресс в области мер безопасности и контроля и при необходимости остановить разработки, однако выразил разочарование тем, как этот вопрос освещается в СМИ.

Инженеры обеспокоены

Корреспондент CNN Адас Голд, пообщавшаяся с исследователями и инженерами на конференции в Монреале, сообщила, что внутри отрасли опасения относительно будущего ИИ заметно усилились в последние месяцы.

Особенно часто упоминается инцидент с Hugging Face, когда более тысячи ИИ-агентов координировали свои действия для достижения целей во время тестирования без вмешательства человека. Ещё большую тревогу, по словам собеседников CNN, вызывает перспектива рекурсивного самосовершенствования — ситуации, когда модели начнут самостоятельно улучшать друг друга без постоянного участия людей.

Исследователи также отмечают, что в настоящее время они имеют влияние на руководство компаний благодаря высокому спросу на специалистов по ИИ. Однако существуют опасения, что после появления систем, способных самостоятельно совершенствоваться, этот рычаг может исчезнуть, а решения по безопасности станет сложнее продвигать изнутри компаний.