Як аналітики спецслужб набувають "суперсили передбачення" за методом гри

Про це йдеться у статті The Economist. Наводимо дещо адаптований для наших читачів переказ.

Щоранку впродовж останнього року група британських посадових осіб, дипломатів, поліцейських і шпигунів прокидалися, залогінювались на шикарному вебсайті та намагалися вгадати, наскільки це можливо, чи вторгнеться Китай у Тайвань до певної дати. Або чи відступлять льоди Арктики на певну відстань. Або наскільки впаде рівень захворюваності на Covid-19. Усі ці важко передбачувані речі - частина "Космічного базару", турніру з передбачення, створеного британським урядом для покращення розвідувальної анатілики.

Від запуску сайту Cosmic Bazaar у квітні 2020 року близько 1300 людей із 41 урядового підрозділу Британії та з кількох країн-союзників зробили понад 10000 передбачень. На сайті є близько 200 постійних "передбачувачів", які повинні на основі винятково доступної публічно інформації стежити за 30-40 постійно актуальними питаннями. Cosmic Bazaar представляє гейміфікацію розвідки - використання в ній математичних принципів гри. Вибудовується рейтинг користувачів на основі єдиного та брутально простого критерію - точності їхніх передбачень.

Турніри з передбачень, подібні до Cosmic Bazaar, ґрунтуються на невеликій кількості базових ідей. Однак з них - "мудрість груп", концепція, яку вперше продемонстрував у 1907 році фахівець зі статистики Френсіс Ґелтон. Він спостеріг, що під час змагання з оцінки, наприклад, ваги бика на ярмарку, середній здогад близько 800 людей наближається до справжньої цифри з точністю до 1%.

Зараз подібна ідея називається "краудсорсинг", і її доповнено більш недавніми дослідженням щодо того, чи роблять люди правильні оцінки та як вони їх роблять. Експерименти, які проводили Філім Тетлок з університету штату Пенсильванія та інші дослідники, показують, що передбачення експертів часто нічим не кращі за випадковість. Однак окремі люди, яких охрестили "суперпередбачувачі", часто таки роблять правильні прогнози, значною мірою через те, як саме вони формують думки - наприклад, послідовно переглядаючи попередні передбачення у світлі нових даних, а також розуміючи типові людські упередження та враховуючи їх.

окремі люди, яких охрестили "суперпередбачувачі", часто таки роблять правильні прогнози

Ідеї доктора Тетлока стали широко відомі в минулому році, коли Домінік Каммінгс, тодішній радник прем'єра Британії Бориса Джонсона, на основі книги Тетлока найняв на роботу в офіс прем'єра на Даунінг Стріт контроверсійного "суперпередбачувача".

Широка мережа розвідувального істеблішменту США першою почала застосовувати ці принципи. За останнє десятиліття розвідка США вела понад десяток проєктів з передбачення подій, включно з "ринком прогнозів", де люди можуть ставити гроші чи очки на певний результат, а також рейтингами передбачень, подібних до osmic Bazaar.

Найбільш визначним турніром була програма "агрегованих обумовлених оцінок ситуацій" (Aggregative Contingent Estimation - ACE, скорочення значить також "туз"), яку провадили розвідувально-аналітичні підрозділи розвідки США з 2010 по 2015 рік. При цьому команда суперпередбачувачів із Проєкту Тверезий Розум, яким керував доктор Тетлок, виявилася принаймні на третину точнішою за інші команди дослідників.

ACE та інші подібні програми й надихнули Британію на створення "Космічного базару". Одна з цілей програми - виокремити групу послідовно успішних передбачувачів, які під час кризи зможуть відповідати на складні запитання. Близько 20 топових учасників рейтингу "неймовірно точні", каже Чарлі Едвардс, тренер британських розвідувальних аналітиків.

Вони дуже переймаються своїми функціями Брієра - математичним показчиком точності в довготривалій перспективі, та, так само як і у випадку Проєкту Тверезий Розум, з ентузіазмом діляться джерелами даних та новинами. Єдина винагорода - віртуальні бейджі та брендовані нотатники. Проте для аналітиків, звиклих працювати з таємними службами, де успіх лишається в тіні, високі бали - та товари, що її доводять - це "почесна відзнака", каже Едвардс.

Гра у процесі

Але суть не лише в тому, щоб визначити зіркових гравців. Ідеться також про заохочення "когнітивного розмаїття", забезпечивши можливості для розвідки черпати талант не тільки з доволі маленького пулу британських аналітиків. При цьому анонімність Cosmic Bazaar створює рівне поле гри: молодший науковий співробітник може сміливо заперечувати прогнози посла-ветерана та його міркування - не зважаючи на ранги.

Сайт заохочує дебати й дискусії. Користувачі можуть голосувати за доречні коментарі інших, а конкретні питання доповнюються семінарами, які ведуть експерти. Більш того, оскільки система не є засекреченою (на відміну від більшості подібних американських програм), то посадові особи можуть залогінюватися хоч з дому, хоч з-за кордону.

Ця програма також призначення для того, щоб виявляти сліпі плями аналізу. Посадовці кажуть, що нині така кількість уваги уряду спрямована на Covid-19, що тліючі або більш віддалені питання часто випускаються з уваги. Наприклад, у жовтні Cosmic Bazaar поставив користувачам запитання щодо Мозамбіку, й відповіді показали, що ризик діяльності джихадистів там значно більший, ніж вважалося (пізніше цей прогноз здійснився), й це змусило інших ближче придивитися до проблеми.

Станом на тепер Cosmic Bazaar є найбільшим турніром з передбачень в Європі. Однак темою зацікавилися й інші. Британія сподівається залучити до змагання європейських союзників. Адам Сігель, співзасновник фірми, яка написала комп'ютерну програму для Cosmic Bazaar, каже, що нині Чехія використовує платформу його компанії для публічних турнірів, у яких беруть участь кілька державних агенцій, та що інша європейська країна використовує засекречену версію подібного програмного забезпечення. Регін Йозеф із консалтингової компанії Sibylink проводила подібні турніри з передбачень для уряду Нідерландів і для ОБСЄ.

Однак досвід США з прогнозами - історія-застереження. Незважаючи на увагу, яку привернула до себе програма АСЕ, американські турніри з передбачень та "ринки прогнозів" з великими труднощами залучають гроші та не прийняті в мейнстримі. Нині американські розвідувальні служби не мають активних турнірів з передбачень - хоча в Пентагоні та кількох інших місцях подібні зберігаються.

Однією з причин цього, відповідно до недавньої статті "Оцінювання: новий підхід до геополітичного прогнозування" від дослідницької групи університету штату Пенсильванія під назвою Perry World House, є те, що такі платформи погрожують становищу поганих аналітиків, а також підривають ієрархії в часто воєнізованих структурах. "Співробітники зі стажем можуть розглядати потенційний розлад, який вносить механізм, який діє краще за багатьох традиційних аналітиків, із відчуттям наближення апокаліпсису - подібно до того, як фабричний робітник може дивитися на роботизований конвеєр".

Втім, більш значуще питання може полягати просто в тому, що саме уможливлення точного прогнозування обмежує його шарм. Базова вимога для математичного оцінювання - це те, що питання повинні бути однозначними, так щоб після всього можна було однозначно сказати, хто мав рацію, а хто помилився. Це означає, що тут немає місця для того, що психологи назвали "яснобаченням", або ж для заяв по факту, що туманне пророцтво здійснилося.

Але ті, хто визначає політику, часто ставлять саме неоднозначні, більші та туманніші питання, відповідь на які важко оцінювати за системою рейтингу. Наприклад: "Чого хоче Росія?" Або: "Чи стане Китай більш агресивним?" Доктор Тетлок називає це "обміном строгості на значущість".

Одним зі способів підходу до цієї проблеми є застосування складної статистичної техніки, відомої як мережа Баєса, в якій застосовуються ймовірності за різних умов. Наприклад: прогнозистів можуть просити оцінити ймовірність захоплення Китаєм певного острова в Південно-Китайському морі до певної дати ЯКЩО він ставатиме агресивнішим - а також імовірність тієї ж дії, якщо він не ставатиме агресивнішим. Велике питання, яке важко піддається визначенню, таким чином можна розбити на кілька менших запитань, відповіді на які можна відстежувати - це відомо як "скупчення запитань Баєса". Foretell ("Передбачення"), проєкт Центру з безпеки та новітніх технологій університету Джорджтауна, застосовує цю методологію для прогнозів щодо технологічної конкуренції між Китаєм та США. Поки що неясно, чи матиме цей підхід успіх.

Наразі ж прогнозисти насолоджуються моментом на сонці. Так, у Британії думки, висловлені на Cosmic Bazaar, застосовуються в політиці, зокрема командами, які займаються Covid-19 і протидією тероризму. Тим часом у США президент Джо Байден наступного дня після інавгурації проголосив про наміри створити Національний центр з прогнозу епідемій та аналітики спалахів. У березні 2021 року його адміністрація найняла Джейсона Мейтні, колишнього керівника програм з передбачення, радником з технологій та національної безпеки.

Втім, довгострокова життєздатність прогнозування залежатиме не лише від точності передбачень, але й від можливості їх пояснювати. Недосить визначити, що існує 70% імовірності війни між конкретними двома країнами впродовж наступного року, а не 30% імовірності, як ви вважали. Необхідно зрозуміти, що призвело до цієї вищої оцінки. Статистична оцінка в сукупності з яскравим психологічним портретом Сі Цзиньпіна ймовірніше подіє на умовного прем'єра чи президента, ніж просто цифра з відсотками.

Аналітикам необхідно вибудувати довірчі стосунки з тими, хто приймає рішення. Поряд з цифрами слід викласти історію, що лежить за ними.

майбутнє технології ігри