Распространение дезинформации и вредоносного контента может стать проблемой для запуска Метавселенной

Виртуальные миры будет еще сложнее контролировать, чем социальные сети

В своей версии метавселенной создатели стартапа Sensorium представляют себе веселую среду, в которой можно совершить виртуальное путешествие по заброшенному подводному миру, посмотреть прямой эфир концерта с французским ди-джеем Жаном-Мишелем Жарро или пообщаться с ботами. Например, Кейт в кожаной куртке, которая пьет белое вино со своими друзьями.

Однако на демонстрации этого виртуального мира на технической конференции в Лиссабоне в начале этого года все стало странно. Пока участники болтали с этими виртуальными персонажами, некоторых познакомили с лысым ботом по имени Дэвид, который, когда его просто спросили, что он думает о вакцинах, начал транслировать дезинформацию о здоровье. Вакцины, как он утверждал в одной из демонстраций, иногда более опасны, чем болезни, которые они пытаются предотвратить.

После неудобной демонстрации своего творения разработчики Дэвида из Sensorium заявили, что планируют добавить фильтры, чтобы ограничить то, что он может говорить по деликатным темам. Но тот момент продемонстрировал, насколько легко люди могут встретиться с оскорбительный или вводящий в заблуждение контентом в метавселенной - и как сложно будет контролировать это явление.

Такие компании, как Apple, Microsoft и материнская компания Facebook - Meta Platforms, стремятся создать метавселенную, иммерсивный цифровой мир, который, по словам идейных вдохновителей, со временем заменит некоторые личные взаимодействия. Технология находится в зачаточном состоянии, но отраслевые наблюдатели бьют тревогу по поводу того, могут ли кошмарные проблемы модерации контента, уже преследующие социальные сети, быть еще хуже в этих новых мирах, основанных на виртуальной и дополненной реальности.

В последние месяцы весьма мрачная репутация технологических компаний в области контроля за оскорбительным контентом стала предметом повышенного внимания после того, как бывший менеджер по продукту Facebook Фрэнсис Хауген предоставила регулирующим органам США тайник с тысячами внутренних документов Meta для регулирующих органов США. Документы, которые были предоставлены Конгрессу и получены новостными организациями в отредактированном виде, раскрыли новые подробности о том, как алгоритмы Меты распространяют вредоносную информацию, такую как теории заговора, ненавистные выражения и насилие, и привели к десяткам критических статей Wall Street Journal и консорциума новостных организаций. Эти отчеты, естественно, вызвали вопросы о том, как Мета и другие намерены модерировать развивающийся виртуальный мир на предмет оскорбительного поведения и вводящих в заблуждение материалов.

«Несмотря на изменение названия, Meta по-прежнему позволяет распространителям опасной дезинформации процветать в своих приложениях, - сказал Алекс Кадье, управляющий директор NewsGuard в Великобритании. - Если компания не сможет эффективно бороться с дезинформацией на более простых платформах, таких как Facebook и Instagram, кажется маловероятным, что они смогут это сделать в гораздо более сложной метавселенной».

Руководители Meta не остались в стороне от критики. Создавая шумиху вокруг метавселенной, они пообещали учитывать конфиденциальность и благополучие своих пользователей при разработке платформы. Компания также утверждает, что эти виртуальные миры нового поколения не будут принадлежать исключительно компании Meta, а будут созданы группой инженеров, создателей и технологических компаний, чьи среды и продукты работают совместно.

По словам руководителей, эти новаторы и регулирующие органы по всему миру могут начать обсуждать политику, которая будет поддерживать безопасность метавселенной, даже до того, как базовая технология будет полностью разработана.

«В прошлом скорость, с которой появлялись новые технологии, иногда заставляла политиков и регулирующие органы догонять», - сказал Ник Клегг, вице-президент по глобальным вопросам, в октябре на ежегодной конференции Meta Connect. «На этот раз этого не должно быть, потому что у нас есть годы, прежде чем метавселенная, которую мы представляем, будет полностью реализована».

Meta также заявляет, что планирует работать с правозащитными группами и правительственными экспертами над ответственным развитием виртуального мира и инвестирует на эти цели 50 миллионов долларов.

Научная фантастика становится реальностью

Для пользователей Метавселенной виртуальная и дополненная реальность откроют возможность познать мир способами, которые ранее существовали только в мечтах писателей-фантастов. Компании смогут проводить собрания в цифровых залах заседаний, где сотрудники, находящиеся в разных местах, могут чувствовать себя так, как будто они действительно вместе в одном месте. Друзья будут выбирать себе аватарки и вместе телепортироваться на концерты, занятия и 3D-видеоигры. Художники смогут проводить творческие мероприятия, адаптированные к географическим местам, в дополненной реальности для любого владельца устройства. Предприниматели создадут виртуальные магазины, где можно будет покупать цифровые и физические товары.

Но цифровые регуляторы говорят, что те же качества, которые делают метавселенную привлекательной инновацией, также могут еще шире открыть дверь для вредоносного контента. Реалистичное ощущение опыта, основанного на виртуальной реальности, может стать опасным оружием в руках злоумышленников, стремящихся разжечь ненависть, насилие и терроризм.

«Документы Facebook показали, что платформа может функционировать почти как система «под ключ» для вербовщиков-экстремистов, а метавселенная упростит совершение этого насилия», - сказала Карен Корнблу, директор Инициативы по цифровым инновациям и демократии Немецкого фонда Маршалла и бывший посол США в Организации экономического сотрудничества и развития.

Хотя далеко идущая взаимосвязанная метавселенная все еще остается теоретической, существующие виртуальные и игровые платформы позволяют увидеть, какие виды проблемного контента могут там процветать.

Документы Facebook показали, что у компании уже есть доказательства того, что оскорбительный контент, скорее всего, переместится из социального в виртуальный. В одном примере сотрудник Facebook описывает, как испытал приступ расизма во время игры в виртуальную реальность Rec Room на гарнитуре Oculus Quest.

После входа в один из самых популярных виртуальных миров в игре, сотрудника приветствовали «непрерывным пением: «N ***** N ***** N ***** »». Согласно документам, сотрудник написал на внутреннем дискуссионном форуме, что он или она пытался выяснить, кто кричал и как на них пожаловаться, но не смог. Rec Room заявила, что предоставляет несколько элементов управления для идентификации говорящих, даже когда этого человека не видно, и в этом случае заблокировала учетную запись нарушившего пользователя.

«В конце концов я сдался и покинул мир, чувствуя себя побежденным», - написал сотрудник, имя которого было отредактировано в документах.

Плохое поведение в виртуальной реальности

Злоупотребления уже затронули и другие VR-продукты. Люди в VRChat, платформе, где пользователи могут исследовать миры, одетые в разные аватары, описывают почти преобразующий опыт, когда они создали виртуальное сообщество, не имеющее аналогов в реальном мире. В ветке Reddit о VRChat они также описывают почти невыносимое количество расизма, гомофобии, трансфобии - и «не забывайте о тупых нацистах», как написал один пользователь VRChat. Игроки нередко ходят, повторяя N-слово, в то время как в некоторых виртуальных мирах совершаются набеги в аватарах Гитлера и Сталина.

VRChat писал в 2018 году, что он работает над уменьшением «процента пользователей, которые предпочитают вести себя неуважительно или вредно» с помощью группы модераторов, которая «постоянно отслеживает VRChat». Но спустя годы игроки по-прежнему сообщают о вредоносных пользователях и говорят, что «по-видимому, ничего не делается». Другие пытаются отключить или заблокировать голоса или аватары проблемных пользователей, но частота злоупотреблений может быть огромной.

Люди также описывают расизм в популярных видеоиграх, таких как Second Life и Fortnite; некоторые женщины рассказывали о сексуальных домогательствах или нападениях на платформах виртуальной реальности, а родители игроков выразили обеспокоенность по поводу того, что их детей воспитывают на, казалось бы, безобидной игровой платформе для детей Roblox.

Компании социальных сетей, такие как Meta, Twitter и YouTube, разработали подробные правила, запрещающие пользователям распространять оскорбительный или опасный контент. Чтобы модерировать свои сети, большинство из них в значительной степени полагается на системы искусственного интеллекта для сканирования изображений, текста и видео, которые выглядят так, как будто они могут нарушать правила, запрещающие разжигание ненависти или подстрекательство к насилию. Иногда эти системы автоматически удаляют оскорбительные сообщения. В других случаях платформы применяют специальные ярлыки к контенту или ограничивают его видимость.

Степень, в которой метавселенная останется безопасным пространством, будет частично зависеть от того, как компании обучают свои системы ИИ для модерирования платформ, сказал Андреа-Эмилио Риццоли, директор швейцарского института искусственного интеллекта Далле Молле. ИИ можно обучить обнаруживать и устранять разжигание ненависти и дезинформацию, а системы также могут непреднамеренно усиливать их.

Уровень проблемного контента в метавселенной также будет зависеть от того, проектируют ли технологические компании цифровую среду так, чтобы она функционировала как небольшие частные группы только по приглашениям или как широко открытые общественные площадки. Информатор Хауген открыто критиковала планы метавселенной Facebook, но недавно заявила европейским законодателям, что язык вражды и дезинформация в виртуальных мирах могут не распространяться так далеко и так быстро, как в социальных сетях, потому что большинство людей будут взаимодействовать в небольшом количестве.

Но также вполне вероятно, что Meta интегрирует свои текущие сети, включая Facebook, Instagram и WhatsApp, в метавселенную, сказал Брент Миттельштадт, научный сотрудник по этике данных из Оксфордского института Интернета.

«Если они сохранят те же инструменты, которые способствовали распространению дезинформации на их текущих платформах, трудно сказать, что метавселенная поможет», - сказал Миттельштадт, который также является членом группы по этике данных в Институте Алана Тьюринга.

Риццоли добавила, что с учетом того, что дезинформация и язык вражды могут возникать во время частных взаимодействий в метавселенной, платформы столкнутся с теми же дебатами по поводу свободы слова и цензуры при принятии решения об удалении вредоносного контента. Хотят ли платформы, чтобы виртуальные существа приближались к людям и говорили им, что их разговор не основан на фактах, или вообще мешали им разговаривать? «Это спорный вопрос, - говорит Риццоли, - тип контроля, которому вы будете подвергаться в этой новой метавселенной».

Определение подлинности в метавселенной также может стать более сложным. Технологические компании могут столкнуться с непростыми вопросами о свободе, которой люди должны обладать, чтобы изображать себя представителями другой расы или пола, сказал Эрик Рамирес, доцент Университета Санта-Клары. Дип фейки - видео или аудио, в которых используется искусственный интеллект, чтобы заставить кого-то делать или говорить то, чего он не делал, - могут развиться и стать еще более реалистичными и интерактивными в мире метавселенной.

«Здесь больше места для обмана», - сказал Рамирес, который недавно участвовал в дискуссии за круглым столом с Клеггом о политических последствиях метавселенной. Такой вид обмана «использует множество встроенных психологий о том, как мы взаимодействуем с людьми и как мы их идентифицируем».

Виртуальная конфиденциальность

По словам защитников и исследователей, метавселенная также может поставить под угрозу конфиденциальность пользователей. Например, люди, носящие очки с дополненной реальностью, которые в настоящее время разрабатываются Snap и Meta, могут в конечном итоге записывать информацию о других людях вокруг них без их ведома или согласия. Пользователи, исследующие чисто виртуальные миры, также могут столкнуться с цифровым преследованием или преследованием со стороны злоумышленников.

«В физическом мире вам часто приходится выполнять дополнительную работу, чтобы, например, отслеживать кого-то, но онлайн-мир значительно упрощает эту задачу», - сказал Нил Чилсон, старший научный сотрудник по технологиям и инновациям, придерживающийся правых взглядов. Институт Чарльза Коха, который также участвовал в круглом столе Мета.

Билл Стиллвелл, менеджер по продукту Meta по вопросам конфиденциальности и целостности виртуальной реальности, сказал в своем заявлении, что у разработчиков есть инструменты для управления опытом, который они создают на Oculus, но эти инструменты всегда можно улучшить. «Мы хотим, чтобы каждый чувствовал, что он контролирует свой опыт виртуальной реальности, и чувствовал себя в безопасности на нашей платформе».

Даже сторонники метавселенной, такие как Чилсон и Жарр, французские ди-джеи, которые скоро будут проводить концерты в виртуальной реальности, говорят, что регулирующим органам по всему миру придется разработать новые правила, касающиеся конфиденциальности, модерации контента и других вопросов, чтобы сделать эти цифровые пространства безопасными. Это может быть непростой задачей для правительств, которые годами изо всех сил пытались принять правила, регулирующие социальные сети.

«У каждой технологии есть темная сторона», - сказал Жарр. «Поэтому нам нужно срочно создать правила».

Джонатан Виктор, менеджер по продукту в Protocol Labs для разработчиков ПО с открытым исходным кодом, также видит потенциальную светлую сторону. Согласно его видению метавселенной, любой сможет владеть своей цифровой 3D-версией, обменивать криптовалюту или делать карьеру, продавая созданные им виртуальные товары.

«Есть невероятный потенциал для роста», - сказал Виктор. «Вопрос в том, как правильно это построить?»