«Передовим моделям не можна довіряти»: Microsoft запустила систему контролю за ШІ-агентами

Microsoft представила нові засоби безпеки для контролю агентів штучного інтелекту у корпоративних системах. Компанія попереджає, що автономні агенти можуть становити загрозу зсередини організації, навіть якщо їх використовують самі працівники. У Microsoft наголошують, що передовим моделям штучного інтелекту не можна повністю довіряти, передає TechCrunch.

Одним із головних нововведень стали Guardian Agents — інструмент для моніторингу поведінки ШІ-агентів, який розробляють у межах Project Perception. Microsoft представила цей проєкт у червні у відповідь на розвиток моделей та інструментів, здатних виявляти й використовувати вразливості, зокрема Mythos від Anthropic та Daybreak від OpenAI.

Спочатку Project Perception передбачав три типи агентів: «червоні» імітують дії хакерів, «сині» виявляють атаки та оцінюють вразливості, а «зелені» допомагають їх усувати. Однак тепер Microsoft зосереджується також на ризиках, які можуть виникати через роботу агентів, упроваджених безпосередньо в компаніях.

Раніше генеральний директор Microsoft Сатья Наделла закликав бізнес не покладатися лише на запевнення розробників ШІ щодо безпеки їхніх систем. У своєму блозі він наголосив, що компанії надають агентам доступ до конфіденційних даних і дозволяють виконувати важливі дії від свого імені, тому мають самостійно контролювати їхню поведінку.

«На жаль, передовим моделям — незалежно від їхнього походження — не можна довіряти», — заявила керівниця напрямку безпеки Microsoft Хаєт Галлот та пояснила, що проблема полягає не обов’язково у зловмисності моделей чи вразливості до атак, а в їхній непередбачуваності: їх навчають виконувати завдання, але не обов’язково дотримуватися внутрішніх правил організації чи діяти відповідно до здорового глузду.

Окрім Guardian Agents, Microsoft додала до Microsoft Defender функцію виявлення ШІ-агентів. Вона може розпізнавати до 60 типів інструментів, зокрема Claude Code, Codex та OpenClaw, а інші нові засоби дають змогу обмежувати доступ агентів до даних і систем та змінювати їхні права залежно від завдання.

Якщо агент намагається виконати ризиковану дію, система може вимагати схвалення людини. Такий підхід має допомогти компаніям контролювати автоматизовані інструменти незалежно від того, хто їх розробив.

Подібну концепцію підтримують й інші технологічні компанії. Microsoft приєдналася до Open Agent Safety Platform від Nvidia, що включає інструменти OpenShell та Sentry. Платформа передбачає ізоляцію агентів у захищеному середовищі, моніторинг їхніх дій і можливість зупиняти їх на апаратному рівні.