Character.AI блокує користувачів віком до 18 років після подання позову за самогубство дитини

Компанія чат-ботів Character.AI заборонить користувачам віком до 18 років спілкуватися зі своїми віртуальними співрозмовниками, починаючи з кінця листопада, після місяців юридичної перевірки.

Оголошена зміна відбулася після того, як компанія, яка дозволяє своїм користувачам створювати персонажів, з якими вони можуть вести відкриті розмови, зіткнулася зі складними питаннями щодо того, як ці штучні компаньйони можуть впливати на психічне здоров'я підлітків та загалом , включаючи позов щодо самогубства дитини та запропонований законопроєкт, який заборонить неповнолітнім спілкуватися зі штучними компаньйонами.

«Ми вносимо ці зміни до нашої платформи для осіб віком до 18 років у світлі зміни ситуації навколо штучного інтелекту та підлітків», – написала компанія у своєму оголошенні. «Ми бачили нещодавні новини, які викликали питання, та отримали питання від регуляторів щодо контенту, з яким підлітки можуть стикатися під час спілкування зі штучним інтелектом, а також про те, як відкритий чат зі штучним інтелектом загалом може вплинути на підлітків, навіть коли контроль контенту працює ідеально».

Минулого року на компанію подала до суду родина 14-річного Сьюелла Сетцера III, який покінчив життя самогубством після того, як нібито розвинув емоційну прив'язаність до персонажа, якого він створив на Character.AI. Його родина поклала провину за його смерть на Character.AI та стверджувала, що технологія була «небезпечною та неперевіреною». Відтоді ще більше сімей подали до суду на Character.AI та висунули аналогічні звинувачення. Раніше цього місяця Центр права соціальних мереж подав три нові позови проти компанії від імені дітей, які або померли внаслідок самогубства, або іншим чином нібито утворили залежні стосунки з її чат-ботами.

У рамках масштабних змін, які Character.AI планує впровадити до 25 листопада, компанія також запровадить «функцію перевірки віку», яка гарантуватиме, що «користувачі отримають належний досвід відповідно до свого віку».

«Ми не ставимося до цього кроку, скасувавши відкритий чат персонажів, легковажно, але ми вважаємо, що це правильно, враховуючи питання, які виникли щодо того, як підлітки взаємодіють і повинні взаємодіяти з цією новою технологією», – написала компанія у своїй заяві.

Character.AI — не єдина компанія, яка стикається з ретельною увагою щодо впливу її чат-ботів на психічне здоров'я користувачів, особливо молодших. Родина 16-річного Адама Рейна подала позов проти OpenAI про неправомірне вбивство, стверджуючи, що компанія надала пріоритет поглибленню взаємодії своїх користувачів з ChatGPT, а не їхній безпеці. У відповідь OpenAI запровадила нові рекомендації щодо безпеки для своїх підлітків. Тільки цього тижня OpenAI повідомила, що понад мільйон людей на тиждень виявляють суїцидальні наміри під час спілкування з ChatGPT, а сотні тисяч демонструють ознаки психозу.

Хоча використання чат-ботів на базі штучного інтелекту залишається значною мірою нерегульованим, у США на рівні штатів та федеральному рівні з'явилися нові зусилля з метою встановлення обмежень навколо цієї технології. Каліфорнія стала першим штатом, який ухвалив закон про штучний інтелект, що включає рекомендації щодо безпеки для неповнолітніх, у жовтні 2025 року, який має набути чинності на початку 2026 року. Цей захід забороняє сексуальний контент для осіб віком до 18 років та вимагає надсилати дітям нагадування про те, що вони розмовляють зі штучним інтелектом кожні три години. Деякі захисники безпеки дітей стверджують, що закон не зайшов достатньо далеко.

На національному рівні сенатори Джош Хоулі з Міссурі та Річард Блюменталь з Коннектикуту у вівторок оголосили про законопроєкт, який заборонить неповнолітнім використовувати штучного інтелекту-компаньйонів, таких як ті, що знайдені та створені на Character.AI, та вимагатиме від компаній впроваджувати процес перевірки віку.

«Понад 70% американських дітей зараз використовують ці продукти штучного інтелекту», – заявив Хоулі в інтерв’ю NBC News . «Чат-боти будують стосунки з дітьми, використовуючи фальшиву емпатію, та заохочують до самогубства. Ми в Конгресі маємо моральний обов’язок запровадити чіткі правила, щоб запобігти подальшій шкоді від цієї нової технології».