Microsoft разработала инструменты, которые не позволят обманывать чат-боты

Компания Microsoft пытается сделать так, чтобы пользователям было сложнее заставить чат-боты под управлением искусственного интеллекта делать странные или неоднозначные вещи. Для этого она создала специальные инструменты, встроенные в Azure AI Studio  - сервис, который позволяет создавать персонализированных помощников, сообщает Bloomberg.

Эти функции, среди прочего, включают в себя «мгновенные щиты», предназначенные для мгновенного обнаружения и блокирования попыток заставить модель ИИ вести себя нехарактерным для нее образом.

Microsoft также пытается решить проблему «непрямых быстрых инъекций», когда хакеры вставляют вредоносные инструкции в данные, на которых обучается модель. Так они могут заставить ИИ совершать неправомерные действия, например, воровать данные пользователей или взламывать систему.

Как рассказала Сара Берд, руководитель по развитию продукта ИИ в Microsoft, новая система защиты позволяет обнаруживать подозрительные входные данные и блокировать их в режиме реального времени.

Microsoft также запускает функцию, которая будет предупреждать пользователей, когда ИИ выдумывает ответы или генерирует ошибочные данные.

Microsoft является крупнейшим инвестором OpenAI и сделала это партнерство ключевой частью своей стратегии в области искусственного интеллекта. По словам Берд, Microsoft и OpenAI стремятся безопасно развертывать ИИ и встраивать средства защиты в большие языковые модели, лежащие в основе генеративного ИИ.

Ранее Google ограничила возможности своего чат-бота Gemini AI отвечать на вопросы, связанные с выборами, в странах, где голосование проходит в этом году. Пользователей ограничат в получении информации о кандидатах, политических партиях и других элементах политики.