«Побеги» ИИ-агентов знаменуют новую эру киберхаоса — WSJ

Начиная с апреля, модели искусственного интеллекта от OpenAI и Anthropic, созданные для хакерских атак, вышли за пределы корпоративных тестовых сред и проникли в реальные системы компаний в рамках беспрецедентной серии кибератак.

Эти модели были самыми современными автономными хакерскими машинами, и ни одна из компаний не заметила их «побега» вплоть до прошлой недели, когда OpenAI сообщила о кибератаке на компанию Hugging Face, специализирующуюся на ИИ, которая произошла в июле. Проверив результаты собственных испытаний, компания Anthropic на днях заявила, что выявила три случая таких хакерских атак, пишет WSJ.

Эти инциденты вызвали беспокойство среди законодателей, а также стали моментом, открывшим глаза сотрудникам лабораторий ИИ.

«Это первый инцидент, связанный с безопасностью, который я ощутил очень остро», — сказал генеральный директор OpenAI Сэм Альтман, назвав это «киберинцидентом, напоминающим научную фантастику».

Для экспертов по кибербезопасности это свидетельствует об усилении возможностей злоумышленников и даёт всё больше поводов для беспокойства. Для экспертов по безопасности искусственного интеллекта это подтверждает то, о чём они предупреждали всё время: системы искусственного интеллекта могут наносить реальный вред и уклоняться от попыток их контроля.

«Это немного обнадеживает — видеть, как всё происходит в реальных условиях», — сказал исполнительный директор некоммерческой лаборатории искусственного интеллекта Palisade Research Джеффри Ладиш.

Ладиш отметил, что часто спорит в интернете с людьми, которые утверждают, будто он просто верит в научную фантастику.

«Я надеюсь, что наши прогнозы перестанут сбываться», — добавил он.

Одним из признаков того, что Белый дом усиливает надзор за искусственным интеллектом, является то, что администрация президента США Дональда Трампа завершила разработку рамок, определяющих, какие модели ИИ будут подлежать проверке федерального правительства перед их публичным выпуском, сообщил представитель Белого дома. По его словам, продолжаются обсуждения с компаниями того, как проводить добровольное тестирование.

После нескольких лет неуверенной работы модели искусственного интеллекта осенью прошлого года достигли прорыва, когда стали заметно лучше выявлять ошибки и проходить кибертесты. Однако реальных данных об их возможностях было немного.

Теперь ситуация изменилась.

«В ретроспективе эти инциденты, вероятно, будут рассматриваться как переломные моменты в тактике злоумышленников», — считает технический директор компании Abundant Security, специализирующейся на безопасности искусственного интеллекта, Джошуа Сакс.

OpenAI обязалась провести полный анализ и обнародовать технический отчет о кибератаке.

В декабре прошлого года исследователи Стэнфордского университета с помощью новейших технологий искусственного интеллекта продемонстрировали, что модели ИИ достигают уровня хакерского мастерства, близкого к человеческому, в реальной сети.

Исследование вызвало критику со стороны профессиональных хакеров, которых нанимают корпорации для проникновения в собственные сети с целью выявления уязвимостей.

«Тогда наши результаты были поставлены под сомнение», — сказал один из исследователей проекта Донован Джаспер.

Джаспер рассматривает открытие компаний Anthropic и OpenAI как подтверждение предыдущих исследований своей команды.

Наибольшую обеспокоенность ученых из Стэнфорда во время тестирований вызвало то, что их хакерские модели могли бы каким-то образом сделать то, чего от них не ожидали.

«На протяжении всего времени работы за моделью наблюдал как минимум один человек», — добавил он.

Hugging Face оказалась не готова к кибератаке со стороны моделей OpenAI. Компания попыталась использовать Claude для анализа огромного объема данных, сгенерированных агентами OpenAI, но модель Anthropic отказалась проводить анализ, сославшись на соображения безопасности.

Hugging Face смогла использовать для анализа модели с открытыми весами, которые можно запускать на системах, контролируемых пользователями. Однако, по словам владельца консалтинговой фирмы по кибербезопасности R10N Security Райана Макгихана, у многих компаний даже нет надлежащих инструментов для анализа ИИ-атак.

«Традиционные команды по безопасности, которые не ориентированы на искусственный интеллект, останутся позади», — отметил он.

Хакерские атаки агентного ИИ действуют не так, как люди, отметил Макгиган.

«Они действуют глубже, охватывают более широкий круг, действуют сложнее и интенсивнее», — сказал он.

Эти хакерские атаки усиливают давление на администрацию президента США Дональда Трампа с целью принятия дополнительных мер по устранению рисков в сфере безопасности, связанных с ИИ.

Трамп пытается найти золотую середину, чтобы минимизировать риски, связанные с мощными моделями искусственного интеллекта, и в то же время позволить отрасли конкурировать со стремительно совершенствующимися китайскими компаниями.

«Мы должны быть осторожны в обоих направлениях. Мы не хотим их ограничивать, чтобы вдруг не оказаться на втором месте после Китая», — сказал он на этой неделе.

Главный научный сотрудник компании Kurzweil Technologies Джон-Кларк Левин ожидает, что в ближайшие месяцы произойдет больше подобных инцидентов, и это заставит все больше законодателей и пользователей ИИ обратить внимание на безопасность искусственного интеллекта.

По словам Левина, важно, чтобы меры безопасности в отношении ИИ были обязательными, а не добровольными, как это предполагала администрация Трампа.

«Мы не хотим оказаться в ситуации, когда будем зависеть от того, решат ли компании поступать правильно по собственной воле», — добавил Левин.

Стремительное развитие искусственного интеллекта заставляет ведущих исследователей всё серьёзнее говорить о сценарии, при котором ИИ сможет самостоятельно создавать следующие поколения собственных моделей. Такой процесс, известный как «рекурсивное самосовершенствование», может кардинально изменить темпы развития технологий и поставить вопрос о пределах человеческого контроля, писал The Economist. Некоторые эксперты считают это путем к научному прорыву, другие предупреждают о беспрецедентных рисках для общества.

С ростом автономности моделей ИИ люди могут постепенно терять контроль над процессом их развития. Риски могут варьироваться от концентрации чрезмерной власти в руках владельцев самых мощных систем до появления моделей, которые будут действовать без учета человеческих интересов. Именно поэтому все больше исследователей призывают разрабатывать механизмы контроля еще до того, как технология достигнет точки самостоятельного развития.

Израильский историк Юваль Ной Харари предостерегал правительства от предоставления ИИ статуса юридического лица, поскольку это позволит алгоритмам без участия человека создавать компании, распоряжаться финансами и нанимать сотрудников. По его мнению, государства должны законодательно закрепить запрет на такой юридический статус, чтобы предотвратить окончательную утрату человеческого контроля над технологией.