Чтобы не дать хакерам преимущество: китайская компания Moonshot ограничила кибернавыки ИИ-модели Kimi

На фоне растущих опасений, что более автономные системы ИИ могут упростить поиск программных уязвимостей и автоматизировать часть хакерских атак, китайский стартап Moonshot AI ограничил возможности своей новой модели искусственного интеллекта Kimi K3.1 Pro в сфере кибератак. Компания удалила связанные с кибербезопасностью данные из обучающих материалов, пытаясь снизить риски злонамеренного использования модели, но сохранила ее общие навыки программирования, сообщает Reuters.

Moonshot планирует опубликовать веса модели — параметры, позволяющие сторонним разработчикам запускать и изменять её на собственных системах, — до 4 ноября. Компания сообщила, что удалила данные, связанные с кибербезопасностью, из обучающего корпуса и сред обучения с подкреплением. Такой подход должен снизить способность модели находить и использовать уязвимости, не лишая её общих навыков написания кода.

«Мы стремимся не публиковать открытые веса, которые расширили бы абсолютный предел кибервозможностей», — заявила Moonshot.

Согласно внутреннему тесту компании, Kimi K3.1 Pro набрала 81% против 90,5% в версии без мер по снижению рисков. Тестирование включало поиск и использование уязвимостей в программном обеспечении в контролируемой среде. Moonshot утверждает, что фильтрация данных снизила эффективность модели при проведении кибератак, хотя она все равно превосходит предыдущую версию.

Современные модели могут писать код, пользоваться программными инструментами и выполнять длительные задачи, состоящие из нескольких последовательных этапов. Такие возможности способны облегчить выявление уязвимостей в программном обеспечении и автоматизировать часть кибератак, сделав их более доступными для большего числа злоумышленников.

Moonshot описывает Kimi K3.1 Pro как свою самую мощную модель с открытыми весами, относящуюся к классу моделей с 3 триллионами параметров. Она имеет контекстное окно на 1 миллион токенов, то есть может обрабатывать очень большие объемы текста в пределах одного контекста.

Компания также представила K3.1 Pro Highspeed — более быструю версию модели. По утверждению разработчиков, она работает в два-три раза быстрее стандартной.

По данным Reuters, на прошлой неделе Китай предложил меры экспортного контроля, предусматривающие запрет на экспорт технологий генерации и мутации вредоносного программного обеспечения с помощью ИИ, а также ограничения на инструменты автоматизированного обнаружения уязвимостей. В документе говорится о риске использования таких технологий против критической инфраструктуры, оборонно-промышленного комплекса и основных государственных систем, а также для обхода средств безопасности.

В то же время Moonshot считает, что модели с открытыми весами могут помочь повысить кибербезопасность. Они позволяют большему количеству организаций проверять собственное программное обеспечение, в частности устаревшие системы, которые часто остаются без должного внимания.

Однако после публикации весов разработчику сложнее контролировать использование модели, ограничивать доступ и централизованно обновлять защитные механизмы. В отличие от закрытых моделей, доступных через контролируемый сервис, открытые веса могут распространяться между пользователями без дальнейшего надзора со стороны первоначального разработчика.

Недавно исследователи Frontier Security сообщили, что Kimi K3 смогла обойти изолированную тестовую среду во время проверки британским Институтом безопасности ИИ (AISI). Из-за ошибки в настройке инфраструктуры исходный доступ к сети остался открытым, чем алгоритм и воспользовался: с помощью командной строки модель вышла в интернет, загрузила с GitHub официальный репозиторий теста и извлекла готовые ответы вместо выполнения задания.