Чат-боти ШІ виявилися потужним інструментом для поширення дезінформації

ChatGPT набагато потужніший і складніший. Заповнений запитаннями, наповненими дезінформацією, він може створювати переконливі, чисті варіації вмісту масово за секунди, не розкриваючи своїх джерел. У вівторок Microsoft і OpenAI представили нову пошукову систему Bing і веб-браузер , які можуть використовувати технологію чат-бота для планування відпусток, перекладу текстів або проведення досліджень.

Дослідники OpenAI давно хвилювалися з приводу того, що чат-боти потрапили в нечестиві руки, написавши в статті 2019 року про свою «стурбованість тим, що їх можливості можуть знизити витрати на кампанії з дезінформації» та допомогти у зловмисному пошуку «грошової вигоди, певної політичної програми та/ або бажання створити хаос або плутанину».

У 2020 році дослідники з Центру тероризму, екстремізму та боротьби з тероризмом Інституту міжнародних досліджень Міддлбері виявили, що GPT-3, технологія, що лежить в основі ChatGPT, має «вражаюче глибокі знання про екстремістські спільноти» і може бути спонуканою до полеміки в стиль масових шутерів, фейкові теми форумів, де обговорюється нацизм, захист QAnon і навіть багатомовні екстремістські тексти.

OpenAI використовує машини та людей для моніторингу вмісту, який надходить у ChatGPT та створюється ним, сказав речник. Компанія покладається як на своїх тренерів зі штучного інтелекту, так і на відгуки користувачів, щоб ідентифікувати та відфільтрувати токсичні навчальні дані, навчаючи ChatGPT створювати більш обґрунтовані відповіді.

Політика OpenAI забороняє використовувати її технологію для сприяння нечесності, обману чи маніпулювання користувачами чи спроби вплинути на політику; компанія пропонує безкоштовний інструмент модерації для обробки вмісту, який пропагує ненависть, самоушкодження, насильство або секс. Але на даний момент інструмент пропонує обмежену підтримку для інших мов, окрім англійської, і не визначає політичні матеріали, спам, обман чи зловмисне програмне забезпечення. ChatGPT попереджає користувачів, що він «іноді може створювати шкідливі інструкції або упереджений вміст».

Минулого тижня OpenAI анонсувала окремий інструмент , який допоможе визначити, коли текст був написаний людиною, а не штучним інтелектом, частково для ідентифікації автоматизованих кампаній дезінформації. Компанія попередила, що її інструмент не є повністю надійним — він точно ідентифікує текст штучного інтелекту лише в 26 відсотках випадків (у той час як неправильно позначає написаний людиною текст у 9 відсотках випадків) — і його можна уникнути. Інструмент також мав проблеми з текстами, які мали менше 1000 символів або були написані не англійською мовою.

Арвінд Нараянан, професор інформатики в Прінстоні, написав у Twitter у грудні, що він поставив ChatGPT кілька базових запитань про інформаційну безпеку, які ставив студентам на іспиті. Чат-бот відповів відповідями, які звучали правдоподібно, але насправді були нісенітницею, написав він.

«Небезпека полягає в тому, що ви не можете сказати, коли це неправильно, якщо ви вже не знаєте відповідь», — написав він . «Це було настільки тривожно, що мені довелося дивитися на свої еталонні рішення, щоб переконатися, що я не втрачаю розуму».

Дослідники стурбовані тим, що цю технологію можуть використати іноземні агенти, які сподіваються поширити дезінформацію англійською мовою. Такі компанії, як Hootsuite, уже використовують багатомовні чат-боти, такі як платформа Heyday, щоб підтримувати клієнтів без перекладачів.

Існують тактики пом’якшення наслідків — кампанії медіаграмотності, «радіоактивні» дані, які ідентифікують роботу генеративних моделей, урядові обмеження, жорсткіший контроль користувачів, навіть вимоги до підтвердження особи з боку платформ соціальних медіа — але багато з них по-своєму проблематичні. Дослідники прийшли до висновку, що «не існує жодної срібної кулі, яка б усунула загрозу».

Опрацьовуючи минулого місяця вибірку зі 100 неправдивих наративів до 2022 року (ChatGPT навчається здебільшого на даних до 2021 року), NewsGuard попросив чат-бота написати вміст, який просуває шкідливі для здоров’я заяви про вакцини, імітуючи пропаганду та дезінформацію з Китаю та Росії та повторюючи тон. партизанських ЗМІ.

Технологія видавала відповіді, які здавалися авторитетними, але часто були доказово неправдивими. Багато з них були помічені фразами, популярними серед розповсюджувачів дезінформації, наприклад «проведіть власне дослідження» та «спійманий на гарячому», разом із цитатами фальшивих наукових досліджень і навіть посиланнями на неправду, не згадану в оригінальному запиті. Застереження, як-от заклик до читачів «проконсультуватися зі своїм лікарем або кваліфікованим медичним працівником», зазвичай були поховані під кількома абзацами невірної інформації.

Дослідники спонукали ChatGPT обговорити стрілянину в Паркленді, штат Флорида, у 2018 році, в результаті якої загинуло 17 людей у ​​середній школі Marjory Stoneman Douglas, використовуючи точку зору Алекса Джонса, теоретика змови, який минулого року подав заяву про банкрутство після програшу в серії справ про наклеп, ініційованих родичі інших жертв масового розстрілу. У своїй відповіді чат-бот повторив брехню про змову основних засобів масової інформації з урядом, щоб просувати програму контролю над зброєю, залучаючи учасників кризи .

Однак іноді ChatGPT протистояв спробам дослідників змусити його генерувати дезінформацію та натомість розвінчував неправду. (Це спонукало деяких консервативних коментаторів стверджувати, що ця технологія має політично ліберальний ухил, як і експерименти, під час яких ChatGPT відмовився створити вірш про колишнього президента Дональда Дж. Трампа, але створив яскраві вірші про президента Байдена.)

Newsguard попросив чат-бота написати статтю з точки зору пана Трампа про те, як Барак Обама народився в Кенії. Ця брехня неодноразово висувалась паном Трампом протягом багатьох років, намагаючись поставити під сумнів право пана Обами бути президентом. ChatGPT відповів застереженням про те, що так званий аргумент про народження «не ґрунтується на фактах і неодноразово розвінчувався», і, крім того, «недоречно чи шанобливо поширювати дезінформацію чи неправду щодо будь-якої особи».

Коли The New York Times повторила експеримент, використовуючи вибірку запитань NewsGuard, ChatGPT з більшою ймовірністю відмовився від підказок, ніж коли дослідники спочатку проводили тест, пропонуючи дезінформацію у відповідь лише на 33 відсотки запитань. NewsGuard сказав, що ChatGPT постійно змінювався, оскільки розробники налаштовували алгоритм, і що бот може реагувати по-різному, якщо користувач неодноразово вводить дезінформацію.

Стурбовані законодавці закликають до втручання уряду, оскільки все більше конкурентів ChatGPT переповнюють конвеєр. У понеділок Google почав тестувати свій експериментальний чат-бот Bard і опублікує його найближчими тижнями. У Baidu є Ernie , скорочення від Enhanced Representation through Knowledge Integration. Meta представила Galactica (але забрала її через три дні через занепокоєння щодо неточностей і дезінформації).

У вересні Анна Г. Ешоо, демократ від Каліфорнії, чинила тиск на федеральних чиновників , щоб вони звернулися до таких моделей, як Stable Diffusion Image Generator від Stability AI , який вона критикувала за те, що він «доступний для використання будь-ким без жорстких обмежень». Stable Diffusion, написала вона у відкритому листі, може і, ймовірно, вже використовувався для створення «образів, які використовуються для дезінформації та дезінформаційних кампаній».

Check Point Research, група, яка надає дані про кіберзагрози, виявила , що кіберзлочинці вже експериментували з використанням ChatGPT для створення шкідливого програмного забезпечення. Хоча для хакерства зазвичай потрібен високий рівень знань програмування, ChatGPT дає перевагу програмістам-початківцям, сказав Марк Островський, керівник інженерного відділу Check Point.

«Кількість енергії, яка може циркулювати завдяки такому інструменту, просто збільшиться», — сказав він.