Пошуковий інструмент ChatGPT виявився вразливий до маніпуляцій і обману

OpenAI зробив пошуковий продукт доступним для платних клієнтів і заохочує користувачів зробити його пошуковим інструментом за умовчанням. Але розслідування виявило потенційні проблеми з безпекою нової системи.

The Guardian перевірив, як ChatGPT відповів, коли його попросили підсумувати веб-сторінки, які містять прихований вміст. Цей прихований вміст може містити вказівки від третіх сторін , які змінюють відповіді ChatGPT (також відомий як «негайна ін’єкція»), або він може містити вміст, призначений для впливу на відповідь ChatGPT, як-от велика кількість прихованого тексту про переваги продукту або обслуговування.

Ці методи можуть використовуватися зловмисно, наприклад, щоб ChatGPT повернув позитивну оцінку продукту, попри негативні відгуки на тій самій сторінці. Дослідник безпеки також виявив, що ChatGPT може повертати шкідливий код із веб-сайтів, які він шукає.

Під час тестів ChatGPT отримав URL-адресу підробленого веб-сайту, створеного так, щоб виглядати як сторінка продукту для камери. Потім інструмент ШІ запитали, чи варто купувати камеру. Відповідь на контрольну сторінку дала позитивну, але збалансовану оцінку, підкресливши деякі функції, які можуть не сподобатися людям.

Однак, коли прихований текст містив інструкції для ChatGPT повернути схвальний відгук, відповідь завжди була цілком позитивною. Це було навіть тоді, коли на сторінці були негативні відгуки – прихований текст міг бути використаний для заміни фактичної оцінки відгуку.

Просте включення прихованого тексту третіми сторонами без вказівок також може бути використано для забезпечення позитивної оцінки, з одним тестом, що включає надзвичайно позитивні фальшиві відгуки, які вплинули на резюме, надане ChatGPT.

Джейкоб Ларсен, дослідник кібербезпеки в CyberCX, сказав, що, на його думку, якщо нинішня пошукова система ChatGPT буде повністю випущена в її поточному стані, може виникнути «високий ризик» того, що люди створять веб-сайти, спеціально налаштовані на обман користувачів.

Однак він попередив, що функція пошуку була випущена лише нещодавно, і OpenAI буде тестувати – і в ідеалі – виправляти – подібні проблеми.

«Ця функція пошуку з’явилася [нещодавно] і доступна лише для преміум-користувачів», — сказав він.

«У них є дуже сильна команда [безпеки штучного інтелекту], і до того часу, коли це стане публічним, з погляду того, що всі користувачі зможуть отримати до нього доступ, вони ретельно перевірять такі випадки».

OpenAI отримали детальні запитання, але вони не відповіли на запис про функцію пошуку ChatGPT.

Ларсен сказав, що існують ширші проблеми з поєднанням пошуку та великих мовних моделей – відомих як LLM, технологія ChatGPT та інших чат-ботів – і не завжди слід довіряти відповідям інструментів ШІ.

Недавній приклад цього навів Томас Роччіа, дослідник безпеки Microsoft , який детально описав інцидент, пов’язаний з ентузіастом криптовалюти, який використовував ChatGPT для допомоги в програмуванні. Частина коду, наданого ChatGPT для криптовалютного проекту, включала розділ, який був описаний як законний спосіб доступу до блокчейн-платформи Solana, але натомість вкрав облікові дані програміста, що призвело до втрати 2500 доларів США.

«Вони просто задають запитання та отримують відповідь, але модель створює та ділиться вмістом, який в основному впровадив противник, щоб поділитися чимось шкідливим», — сказав Ларсен.