Оголені діти, YouTube і штучний інтелект: як “помилка” синів зруйнувала цифрове життя жінки — NYT

Google дотримується політики нульової толерантності до контенту, що містить насильство над дітьми. Процес сканування іноді може піти не так, як треба, і невинних людей можуть назвати кривдниками.

Коли Дженніфер Воткінс отримала повідомлення від YouTube про те, що її канал закривають, вона спочатку не занепокоїлася. Зрештою, вона не користувалася YouTube.

Однак її 7-річні сини-близнюки користувалися планшетом під її обліковим записом Google для перегляду дитячого контенту і знімали на YouTube відео, де вони танцювали дурні танці. Мало яке з цих відео набрало більше п'яти переглядів. Але відео, через яке Воткінс потрапила в халепу, зняте одним із синів, мало інший характер.

Про це йдеться в матеріалі The New York Times. 

“Очевидно, це було відео із зображенням його сідниць, — сказала Воткінс, яка ніколи відео не бачила. — Однокласник підмовив його знятися в оголеному вигляді”.

Штучний інтелект і його можливості

YouTube, що належить Google, має системи на основі штучного інтелекту, які щохвилини переглядають сотні годин відео, що завантажуються на сервіс. Процес сканування іноді може піти не так, як треба, і невинних людей можуть заплямувати як насильників над дітьми.

New York Times задокументували інші епізоди, коли цифрове життя батьків було перевернуте оголеними фотографіями та відео їхніх дітей, які були помічені системами штучного інтелекту Google і які люди-рецензенти визначили як незаконні. У результаті деякі батьки потрапили під слідство поліції.

“Оголене відео” у справі Воткінс, завантажене у вересні, за лічені хвилини було позначене як можлива сексуальна експлуатація дитини, що є порушенням умов надання послуг Google з дуже серйозними наслідками.

Заблокований обліковий запис

Воткінс, медична працівниця, яка мешкає в Новому Південному Уельсі, Австралія, незабаром виявила, що її заблокували не лише на YouTube, але й на всіх її акаунтах у Google. За її словами, вона втратила доступ до своїх фотографій, документів та електронної пошти, тобто не могла отримувати повідомлення про свій робочий графік, переглядати банківські виписки або “замовити густий коктейль” через додаток McDonald's, в який вона заходила за допомогою свого облікового запису Google.

Зрештою, її обліковий запис було видалено, про що їй було повідомлено на сторінці входу в Google, але вона могла оскаржити це рішення. Вона натиснула кнопку “Почати апеляцію” і написала в текстовому полі, що її 7-річні сини вважають, що “сідниці — це смішно”, і вони відповідальні за завантаження відео.

“Це завдає мені фінансової шкоди”, — додала вона.

Глобальний моніторинг

Захисники дітей і законодавці по всьому світу підштовхують технологічні компанії до того, щоб зупинити поширення образливих зображень в Інтернеті шляхом моніторингу таких матеріалів на своїх платформах.

Багато провайдерів зв'язку тепер сканують фотографії та відео, які зберігають і поширюють їхні користувачі, щоб знайти відомі зображення насильства, про які було повідомлено владі.

Google також хотів мати можливість відмічати ніколи раніше не бачений контент. Кілька років тому вони розробила алгоритм, навчений на відомих зображеннях, який намагається ідентифікувати нові експлуатаційні матеріали; Google зробив його доступним для інших компаній, включаючи Meta і TikTok.

Після того, як співробітник підтвердив, що відео, розміщене сином Воткінс, є проблемним, Google повідомив про це Національний центр допомоги зниклим та експлуатованим дітям, некомерційну організацію, яка діє як федеральний координаційний центр для позначеного контенту. Центр може додати відео до своєї бази даних відомих зображень і вирішити, чи повідомляти про нього місцевим правоохоронним органам.

Згідно зі статистикою національного центру, Google є одним з найбільших джерел повідомлень про “явну дитячу порнографію”. Минулого року Google подав понад два мільйони повідомлень, що набагато більше, ніж більшість цифрових комунікаційних компаній, але менше, ніж кількість повідомлень, поданих компанією Meta.

Сумнівні судження?

Експерти кажуть, що важко судити про серйозність проблеми насильства над дітьми, спираючись лише на цифри. В одному з досліджень невеликої вибірки користувачів, позначених за поширення неприйнятних зображень дітей, аналітики Facebook заявили, що понад 75 відсотків з них не мали злого наміру. Серед користувачів були підлітки, які перебувають у романтичних стосунках і ділилися своїми інтимними зображеннями, а також люди, які поділилися “мемом про те, як тварина кусає геніталії дитини, тому що вони думають, що це смішно”.

Apple не піддалася тиску з вимогою сканувати iCloud на наявність матеріалів, які можуть бути використані для експлуатації. Прессекретар вказав на лист, який компанія надіслала цього року до правозахисної групи, висловивши занепокоєння щодо “безпеки та конфіденційності наших користувачів” і повідомивши, що “невинні сторони потрапляють у похмурі тенета”.

Минулої осені керівник відділу довіри і безпеки Google Сьюзан Джаспер написала в блозі, що компанія планує оновити свій процес оскарження, щоб “покращити користувацький досвід” для людей, які “вважають, що ми прийняли неправильні рішення”.

Основна зміна полягає в тому, що тепер компанія надає більше інформації про причини призупинення дії облікового запису, а не загальне повідомлення про “серйозне порушення” політики компанії. Воткінс, наприклад, повідомили, що причиною її блокування стала експлуатація дітей.

Відновлення облікового запису

Незважаючи на це, неодноразові апеляції Воткінс були відхилені. Вона мала платний обліковий запис Google, який дозволяв їй та її чоловікові обмінюватися повідомленнями з агентами служби підтримки клієнтів. Але в електронному листуванні, з яким ознайомилася The Times, агенти заявили, що відео, навіть якщо це несвідомий вчинок дитини, все одно порушує політику компанії.

Драконівське покарання за одне безглузде відео здається несправедливим, сказала Воткінс. Вона дивується, чому Google не міг попередити її перед тим, як відрізати доступ до всіх її акаунтів і більш ніж 10 років цифрових спогадів.

Після більш ніж місяця безуспішних спроб переконати компанію змінити свою думку, Воткінс звернулася до The Times. Через день після того, як репортер поцікавився її справою, її обліковий запис Google було відновлено.

“Ми не хочемо, щоб наші платформи використовувалися для того, щоб наражати дітей на небезпеку або експлуатувати їх, і існує широка вимога, щоб інтернет-платформи вживали найрішучіших заходів для виявлення і запобігання сексуальному насильству над дітьми, — йдеться в заяві компанії. — У цьому випадку ми розуміємо, що контент, який порушує права дитини, не був завантажений зловмисно”.

Компанія не відповіла, як ще можна вплинути на відмову у задоволенні апеляції, окрім як надіслати електронного листа репортерові The Times.

“Дві сторони однієї медалі”

За словами Дейва Вілнера, співробітника Центру кіберполітики Стенфордського університету, який працював над питаннями довіри та безпеки у кількох великих технологічних компаніях, Google перебуває у складному становищі, намагаючись винести рішення за такими скаргами. Навіть якщо фото чи відео є невинними за своїм походженням, вони можуть бути поширені зі зловмисними намірами.

“Педофіли будуть ділитися зображеннями, які батьки зробили безневинно, або збирати їх у колекції, тому що вони просто хочуть бачити голих дітей”, — сказав Вілнер.

Іншою проблемою є величезний обсяг потенційно експлуататорського контенту, який позначає Google.

“Це просто дуже, дуже важко вирішувана проблема — регулювати оціночні судження в такому масштабі, — сказав Вілнер. — Вони приймають сотні тисяч або мільйони рішень на рік. Коли ви кидаєте кості стільки разів, у вас з'являються зміїні очі”.

Він сказав, що боротьба Воткінс після втрати доступу до Google була “хорошим аргументом на користь того, щоб розподілити своє цифрове життя” і не покладатися на одну компанію для отримання багатьох послуг.

Воткінс винесла з цього досвіду інший урок: батьки не повинні використовувати власний обліковий запис Google для інтернет-активності своїх дітей, а повинні створити спеціальний обліковий запис — вибір, який Google заохочує.

Вона ще не створила такий акаунт для своїх близнюків. Наразі їм заборонено користуватися інтернетом.