ИИ может использовать онлайн-изображения для взлома компьютера пользователя – ученые

Ученые из Университета Оксфорда заявили о том, что злоумышленники могут встраивать в обои для рабочего стола, красивые картинки и PDF-файлы, загружаемые онлайн, сообщения, способные контролировать агентов под управлением искусственного интеллекта (ИИ). Так хакеры могут проникать в компьютеры своих жертв, сообщает Live Science.

Стоит отметить, что статья опубликована на сайте препринтов arXiv, то есть, она еще не прошла рецензирования.

«Измененной фотографии Тейлор Свифт в Twitter (теперь Х – прим. ред.) может быть достаточно, чтобы запустить вредоносный агент на чьем-то компьютере. Любое вредоносное изображение фактически может спровоцировать компьютер на ретвит этого изображения, а затем на выполнение вредоносных действий, например, на отправку всех ваших паролей. Это означает, что следующий человек, который увидит вашу ленту в Twitter и случайно запустит агента, также получит вредоносный код. Теперь его компьютер также ретвитнет это изображение и поделится паролями», — заявил соавтор нового исследования Ярин Гал, доцент кафедры машинного обучения Оксфордского университета.

Вместе с тем, ученые признают, что описали потенциальный способ взлома компьютера, пока сообщений о подобных случаях не поступало. Конечно же, Тейлор Свифт – лишь пример изображения. На нем может располагаться что угодно, от фото знаменитости до заката или котенка. Взлом компьютера таким образом возможен только в случае использования ИИ-агентов.

Но эксперименты показали, что угроза вполне реальна, поэтому ученые стремятся предупредить пользователей и разработчиков ИИ-агентов о ней.

«Они должны быть осведомлены об этих уязвимостях, поэтому мы и публикуем эту статью — в надежде, что люди действительно поймут, что это уязвимость, и будут более разумно использовать свои агентские системы», — заявил соавтор исследования Филип Торр.

Измененные изображения будут выглядеть абсолютно обычно для рядовых пользователей. Но у них будут определенные пиксели, измененные в соответствии с тем, как большая языковая модель (система ИИ, управляющая целевым агентом) обрабатывает визуальные данные. Поэтому наиболее уязвимы ИИ-агенты с открытым кодом. Любой, кто захочет вставить вредоносный патч, может точно оценить, как ИИ обрабатывает визуальные данные.

Используя модель с открытым исходным кодом ученые продемонстрировали, как можно легко манипулировать изображениями для передачи неверных команды. В то время как пользователи-люди видели, например, свою любимую знаменитость, компьютер видел команду поделиться своими личными данными.

«По сути, мы слегка корректируем множество пикселей, чтобы, когда модель видит изображение, она выдавала желаемый результат», — заявил соавтор исследования Аласдер Парен.

Ученые надеются, что их исследование поможет ученым подготовиться к подобного рода атакам и быть готовыми к их отражению по мере того, как ИИ-агенты получат все большее распространение.

Недавно немецкий стартап DeepL объявил, что расширяет свою деятельность за пределы перевода на основе искусственного интеллекта и выходит в сферу создания универсальных ИИ-ассистентов для бизнеса.