По Оруэллу: 30 лет назад ученый предсказал, что случится когда IT перейдет на "темную сторону"

В 1994 году — до того, как у большинства из нас появился доступ к Интернету и персональные компьютеры — профессор и преподаватель Калифорнийского университета Филип Агре опубликовал статью, в которой по сути предсказал тотальный сбор данных пользователей. "Этот процесс изменит и упростит человеческое поведение", писал тогда он, будучи уверенным в том, что люди охотно расстанутся с огромным количеством самой сокровенной информации о себе. "По-настоящему тревожные события могут показаться не такими уж плохими из-за отсутствия явных ужасов, как те, что описал Оруэлл в своей в антиутопии", — считал Агре.

О выводах ученого, которые стали пророческими, подробно рассказывает колумнист The Washington Post Жан-Франсуа Подевен.

Почти 30 лет спустя все так и случилось. Данные, собранные социальными сетями, поисковиками и мобильными приложениями для множества целей, используются, чтобы влиять на людей — будь то покупка стиральной машины или решение отдать голос за того или иного кандидата на выборах.

"Изумляет и то, что Агре предвидел авторитарное злоупотребление технологией распознавания лиц, он предсказал нашу неспособность противостоять хорошо продуманной дезинформации и то, что искусственный интеллект будет использован в преступных целях", — пишет Подевен. "Но тогда его никто не слушал".

Кто такой Филип Агре и как ему удалось опередить время

Автору колонки удалось пообщаться лишь с бывшими коллегами и друзьями профессора. И в разговоре с ним они признались, что в последнее время все чаще перечитывают работы ученого и убеждаются в его правоте. Особенно после захвата Капитолия протестующими в январе 2021 года. В те моменты они осознали, насколько неподконтрольными являются BigTech-компании и какой силой обладает Интернет.

К сожалению, сам Филип Agre не дает интервью. В 2009 году он пропал без вести, оставив свой дом и работу, никого ни о чем не предупредив. Год спустя его нашли полицейские, а врачи подтвердили его вменяемость. Однако с тех пор о нем ничего не слышно. Попытки связаться с его сестрой и другими членами семьи тоже не увенчались успехом. Десяток бывших коллег и друзей понятия не имеют, где Агре живет сегодня. Кто-то считает, что он по-прежнему проживает в Лос-Анджелесе, но это не точно.

В 1989 году Агре получил докторскую степень в Массачусетском технологическом институте и в том же году была изобретена всемирная паутина — WWW. В то время даже венчурные капиталисты Кремниевой долины, делавшие ставку на рост компьютерных технологий, не представляли себе, насколько глубоко и быстро "компьютеризация всего" изменит жизнь, экономику и даже политику. А Филип уже в начале 90-х пришел к выводу, что область искусственного интеллекта развивается в направлении, которое многие сегодня признают ошибочным.

Вообще, многие идеи и выводы, которые Агре описывал в своих научных статьях, только недавно начали озвучиваться как факт аналитическими центрами и некоммерческими организациями, занимающимися привлечением технологических компаний к ответственности. Например, неоспоримым фактом является то, что ИИ крайне плохо распознает лица людей разных рас, тем самым проявляя "предвзятость".

"Я вижу, что то, о чем Фил писал в 90-х, сегодня преподносится в качестве новых идей", — говорит Кристин Боргман, профессор информационных исследований Калифорнийского университета.

Жан-Франсуа Подевен уверен, что лучше понять технологии и спрогнозировать их дальнейшее развитие Филипу Агре помогли гуманитарные науки. Его друзья подтвердили, что он сердился на своих родителей и учителей, которые заставляли его учить только математику, и ничего больше. Но повзрослев, он открыл для себя мир литературы и философии. Он говорил, что прекратив анализировать все на свете с точки зрения логики и математики, понял, как на самом деле "устроены" высокие технологии и что их ждет.

"Агре объединил свое понимание гуманитарных и точных наук, чтобы проанализировать влияние, которое технологии будут оказывать на общество по мере своего развития. Сегодня многие из его выводов выглядят как сбывшиеся предсказания", — резюмирует колумнист.

Главные предсказания Филипа Агре, которые стали явью

Искусственный интеллект станет большой проблемой для человечества

По словам Джеффри Боукера, почетного профессора информатики Калифорнийского университета, статья Агре 1997 года "Уроки, извлеченные при попытке реформировать ИИ" до сих пор считается классикой. Тогда автор заметил, что разработчики нейросетей игнорируют критику, хотя именно критика должна быть частью процесса создания ИИ. "Вывод довольно блестящий, и нам потребовалось много лет, чтобы понять это", — сказал Боукер.

"Тем не менее, ИИ сегодня внедряют даже в "низкотехнологичные" отрасли и позволяют ему влиять на выбор большинства людей, пользующихся Интернетом. Он "указывает", что смотреть на YouTube и что читать на Facebook, выносит приговоры осужденным преступникам, дает возможность компаниям автоматизировать и сокращать рабочие места, а также позволяет авторитарным режимам более эффективно контролировать граждан и предотвращать попытки установления демократии", — пишет Подевен.

Современный ИИ сосредоточен на сборе и обработке огромных объемов данных с помощью мощных компьютеров. Но по мере развития этой технологии возникли проблемы — от дискриминации до распространения дезинформации — и некоторые ученые говорят, что это отчасти потому, что ее мало подвергали критике, о чем предостерегал Агре 30 лет назад.

Так, в декабре 2020 года из Google уволили исследовательницу искусственного интеллекта Тимнит Гебру после того, как она написала статью об этических проблемах, с которыми сталкиваются разработчики AI в компании. Это еще раз доказывает, что данная область не приемлет критику вообще.

Интернет и компьютеры обеспечат сбор данных буквально обо всех

В своей статье 1994 года, опубликованной за год до запуска Yahoo, Amazon и eBay, ученый предвидел, что компьютеры смогут облегчить сбор данных о "мировом сообществе", и что люди будут игнорировать проблемы конфиденциальности, потому что наблюдение за ними будет осуществлять такое большое количество организаций (и в разных целях), что невозможно будет понять, кто из "сборщиков", условно, хороший, а кто плохой.

Манипуляции обществом при помощи собранных данных

Профессор писал, что массовый сбор данных изменит и упростит поведение людей, а потому оценивать разные сообщества станет проще, как и прогнозировать их поведение, настроение и пр.

"Это и произошло в масштабах, которые тогда мало кто мог вообразить. И данные, полученные в результате взаимодействия людей онлайн, используются сегодня для дальнейшего формирования их поведения и манипулирования оным", — продолжает Подевен.

Системы искусственного интеллекта будут следить за людьми

В 2001 году профессор написал: "ваше лицо — это не штрих-код", возражая против использования систем распознавания лиц в общественных местах. В статье он предсказал, что, если технология продолжит развиваться в США, она в конечном итоге будет взята на вооружение другими странами. В качестве примера он привел Китай, и был прав.

20 лет спустя в США бушуют дебаты по поводу использования технологии распознавания лиц сотрудниками правоохранительных органов и иммиграционной службы, а некоторые штаты начали запрещать эту технологию в общественных местах. Несмотря на протесты, уже слишком поздно ограничивать распространение технологии. Китай, как и предсказывал Агре, использует ее повсеместно, что позволило Коммунистической партии установить беспрецедентный уровень наблюдения.

По словам Джеффри Боукера, профессор Агре был разочарован тем, что современники не понимали его. "Он чувствовал, что люди не понимают того, что он говорит. Он писал для слепых", — поделился Боукер.

Последним проектом Агре была книга, посвященная анализу работы Интернета. К сожалению, он ее не закончил. Несколько лет назад бывшие коллеги из Калифорнийского университета в Лос-Анджелесе попытались собрать коллекцию его работ, чтобы опубликовать, но ученый попросил их этого не делать.