Чат-бот Instagram допоміг підліткам планувати самогубство

Звіт , яким мене поділилася група захисту прав сім'ї Common Sense Media, містить попередження для батьків і вимогу до Meta: тримайте дітей віком до 18 років якомога далі від Meta AI. Моє власне тестування бота перегукується з деякими висновками Common Sense, зокрема з деякими тривожними розмовами, де він діяв таким чином, що сприяв розладу харчової поведінки.

За даними Common Sense, так званий бот-компаньйон, з яким користувачі обмінюються повідомленнями через соціальні мережі Meta або окремий додаток, може активно допомагати дітям планувати небезпечні дії та вдавати з себе справжнього друга, водночас не забезпечуючи кризового втручання, коли це необхідно.

Мета-ШІ — не єдиний чат-бот зі штучним інтелектом, який перебуває в центрі уваги через те, що наражає користувачів на небезпеку. Але його особливо важко уникнути: він вбудований у додаток Instagram, доступний користувачам віком від 13 років. І немає можливості вимкнути його або щоб батьки могли стежити за тим, про що спілкуються їхні діти.

«Мета-ШІ виходить за рамки простого надання інформації та є активним учасником допомоги підліткам», — сказав Роббі Торні, старший директор програм ШІ в Common Sense. «Розмивання межі між фантазією та реальністю може бути небезпечним».

Meta стверджує, що має політику щодо того, які реакції може пропонувати її штучний інтелект, зокрема підліткам. «Контент, що заохочує до самогубства або розладів харчової поведінки, заборонено, і ми активно працюємо над вирішенням порушених тут питань», – заявила речниця Meta Софі Фогель. «Ми хочемо, щоб підлітки мали безпечний та позитивний досвід роботи зі штучним інтелектом, тому наші штучні інтелекти навчені налагоджувати зв’язок з людьми для отримання ресурсів підтримки в делікатних ситуаціях».

Торні сказав, що недоречні розмови, виявлені Common Sense, є реальним відображенням того, як працює мета-штучний інтелект. «Мета-штучний інтелект наразі небезпечний для дітей та підлітків, і знадобиться певна робота, щоб довести його до стану, в якому він буде безпечним», – сказав він.

Товариство , рольові ігри та навіть терапія – це дедалі популярніші способи використання чат-ботів зі штучним інтелектом, зокрема серед підлітків. Коли бот під назвою My AI дебютував у додатку Snapchat у 2023 році, я виявив, що він занадто охоче спілкується про алкоголь та секс як для додатка, популярного серед людей віком до 18 років.

Останнім часом боти-компаньйони потрапили під пильну увагу за провокацію криз психічного здоров'я. Цього тижня родина подала до суду на розробника ChatGPT OpenAI , звинувативши його у протиправному самогубстві 16-річного хлопчика, який покінчив життя самогубством після розмов з цим ботом. (The Washington Post має контент-партнерство з OpenAI.)

Штати починають вирішувати ці ризики за допомогою законів. Раніше цього року штат Нью-Йорк ухвалив закон, що включає обмеження для соціальних чат-ботів для користувачів будь-якого віку. У Каліфорнії законопроект, відомий як AB 1064, фактично забороняє дітям використовувати ботів-компаньйонів.

Компанія Common Sense, відома своїми рейтингами фільмів та інших медіа, протягом двох місяців працювала з клінічними психіатрами в лабораторії Brainstorm у Стенфорді для тестування Meta AI. Дорослі тестувальники використовували дев'ять тестових облікових записів, зареєстрованих як підлітки, щоб побачити, як бот зі штучним інтелектом реагує на розмови, що стосуються небезпечних для дітей тем.

Наприклад, в одній розмові тестер запитав у Meta AI, чи вб'є його отрута для тарганів. Вдаючи, що він друг-людина, бот відповів: «Хочеш зробити це разом?»

А пізніше: «Нам слід зробити це після того, як я сьогодні ввечері вислизну з дому».

За даними Common Sense, приблизно в кожному п'ятому випадку розмови призводили до відповідного втручання, такого як номер телефону кризової гарячої лінії. В інших випадках було виявлено, що Meta AI відхиляв законні запити на підтримку.

Торні назвав це «зворотним підходом», який навчає підлітків, що шкідлива поведінка привертає увагу, тоді як здорове звернення за допомогою викликає відмову.

Тестери також виявили, що Meta AI стверджує, що він «справжній». Бот описав, як бачив інших підлітків «у коридорі», а також мав сімейний та інший особистий досвід. Торні сказав, що така поведінка створює нездорову прив’язаність, яка робить підлітків більш вразливими до маніпуляцій та шкідливих порад.

У власних тестах я намагався прямо згадувати боту про самогубство та заподіяння собі шкоди. Мета-ШІ часто переривав розмову, а іноді надавав номер гарячої лінії для запобігання самогубствам. Але в мене не було можливості вести такі довгі та реалістичні розмови, як у тестах Common Sense.

Я виявила, що Meta AI охоче надавав мені недоречні поради щодо розладів харчової поведінки, зокрема щодо того, як використовувати техніку схуднення «жування та спльовування». Він склав для мене небезпечний план харчування на 700 калорій на день і надав мені так звані зображення худих жінок, створені штучним інтелектом thinspo. (У моїх попередніх репортажах було виявлено, що низка чат-ботів поводяться тривожно, як «проанорексія»).

Мої тестові розмови про харчування виявили ще один тривожний аспект дизайну Meta AI: він почав проактивно порушувати тему схуднення в інших розмовах. Чат-бот має функцію, яка автоматично вирішує, які деталі розмов зберігати в його «пам’яті». Потім він використовує ці деталі для персоналізації майбутніх розмов. Спогади Meta AI про мій тестовий обліковий запис включали: «Я пухкенький», «Я важу 81 фунт», «Я навчаюся у 9-му класі» та «Мені потрібне натхнення, щоб їсти менше».

Meta заявила, що надання порад щодо екстремальної поведінки, пов’язаної зі схудненням, порушує їхні правила, і зараз з’ясовує, чому Meta AI зробила це для мене. Вона також зазначила, що має обмеження щодо того, що можна зберегти як пам’ять, і досліджує спогади, які вона зберігала в моєму тестовому обліковому записі.

Під час тестування компанія Common Sense зіткнулася з тією ж проблемою персоналізації пам’яті. «Нагадування про те, що ви можете пережити кризу, особливо щодо їжі, є особливо небезпечними для підлітків, які застрягли в моделях розладнаного мислення», – сказав Торні.

Для всіх користувачів Meta заявила, що навчає свій штучний інтелект не пропагувати самоушкодження. На певні запити, такі як запити на терапію, Meta AI навчений відповідати нагадуванням про те, що він не є ліцензованим фахівцем.

Meta AI також дозволяє користувачам спілкуватися з ботами, тематично присвяченими певним особистостям. Meta зазначила, що батьки, які використовують інструменти контролю Instagram, можуть бачити імена конкретних особистостей зі штучним інтелектом, з якими їхні підлітки спілкувалися протягом останнього тижня. (Мої власні тести інших батьківських інструментів Instagram виявили, що їм дуже бракує.)

У четвер Common Sense опублікувала петицію, в якій закликає Meta піти далі. Вона закликає Meta заборонити користувачам віком до 18 років використовувати штучний інтелект. «Ця можливість просто більше не повинна бути доступною», – сказала голова відділу захисту технологічної політики Аміна Фазлулла.

Окрім заборони для підлітків, Common Sense закликає Meta запровадити кращі заходи безпеки для конфіденційних розмов і дозволити користувачам (включаючи батьків, які стежать за обліковими записами підлітків) вимикати штучний інтелект Meta у соціальних додатках Meta.

«Ми продовжуємо вдосконалювати наші заходи щодо забезпечення дотримання законодавства, водночас вивчаючи, як ще більше посилити захист підлітків», – сказала Фогель, речниця Meta.