Cloudflare запускає маркетплейс, який дозволяє вебсайтам стягувати плату з ботів зі штучним інтелектом за парсинг

Cloudflare, постачальник хмарної інфраструктури, який обслуговує 20% Інтернету, оголосив у вівторок про запуск нового торгового майданчика, який переосмислює відносини між власниками веб-сайтів та компаніями, що займаються штучним інтелектом, — в ідеалі надаючи видавцям більший контроль над своїм контентом.

Протягом минулого року Cloudflare запустила інструменти для видавців, щоб вирішити проблему стрімкого зростання кількості пошукових роботів зі штучним інтелектом, включаючи рішення для блокування всіх ботів зі штучним інтелектом одним кліком , а також панель інструментів для перегляду того, як пошукові роботи зі штучним інтелектом відвідують їхній сайт . В інтерв'ю 2024 року генеральний директор Cloudflare Метью Прінс розповів TechCrunch, що ці продукти закладають основу для нового типу ринку, на якому видавці могли б розповсюджувати свій контент серед компаній, що працюють зі штучним інтелектом, і отримувати за це компенсацію.

Тепер Cloudflare втілює цей ринок у життя.

Це називається «Оплата за сканування», і Cloudflare запускає «експеримент» у закритому бета-тестуванні у вівторок. Власники веб-сайтів, які беруть участь у експерименті, можуть дозволити сканерам зі штучним інтелектом індивідуально сканувати їхній сайт за встановленою ставкою — мікроплатежем за кожне «сканування». Крім того, власники веб-сайтів можуть дозволити сканерам зі штучним інтелектом сканувати їхній сайт безплатно або взагалі заблокувати їх. Cloudflare стверджує, що їхні інструменти дозволять власникам веб-сайтів бачити, чи сканери сканують їхній сайт для отримання даних для навчання ШІ, для появи у відповідях пошуку ШІ чи для інших цілей.

У масштабах, торговельний майданчик Cloudflare — це велика ідея, яка може запропонувати видавцям потенційну бізнес-модель для ери штучного інтелекту, і вона також ставить Cloudflare в центр усього цього. Запуск торговельного майданчика відбувається в той час, коли видавці новин стикаються з екзистенційними питаннями щодо того, як охопити читачів, оскільки трафік пошуку Google зменшується, а чат-боти зі штучним інтелектом набирають популярності.

Немає чіткої відповіді на питання, як видавці новин виживуть в еру штучного інтелекту. Деякі, такі як The New York Times, подали позови проти технологічних компаній за навчання своїх моделей ШІ на новинних статтях без дозволу. Тим часом інші видавці уклали багаторічні угоди на ліцензування свого контенту для навчання моделей ШІ та на появу їхнього контенту у відповідях чат-ботів ШІ.

Навіть попри це, лише великі видавці уклали ліцензійні угоди на штучний інтелект, і досі незрозуміло, чи забезпечують вони вагомі джерела доходу. Cloudflare прагне створити більш стійку систему, де видавці зможуть встановлювати ціни на власних умовах.

Компанія також оголосила у вівторок, що нові вебсайти, налаштовані за допомогою Cloudflare, тепер за замовчуванням блокуватимуть усі сканери зі штучним інтелектом. Власники сайтів повинні будуть надати певним сканерам зі штучним інтелектом дозвіл на доступ до свого сайту — ця зміна, за словами Cloudflare, надасть кожному новому домену «контроль за замовчуванням».

Кілька великих видавництв, включаючи Conde Nast, TIME, The Associated Press, The Atlantic, ADWEEK та Fortune, уклали угоду з Cloudflare про блокування сканерів зі штучним інтелектом за замовчуванням, підтримуючи ширшу мету компанії щодо «підходу до сканування на основі дозволів».

Бізнес-модель, на яку багато з цих видавців покладалися десятиліттями, поступово стає ненадійною. Історично онлайн-видавці дозволяли Google парсити їхні сайти в обмін на переходи в Пошуку Google, що призводило до трафіку на їхні сайти та, зрештою, доходу від реклами.

Однак, нові дані Cloudflare свідчать про те, що видавці можуть отримати гірші умови в еру штучного інтелекту, ніж в еру пошуку Google. Хоча деякі веб-сайти називають ChatGPT основним джерелом трафіку , загалом це не так.

У червні цього року Cloudflare стверджує, що пошуковий робот Google сканував вебсайти 14 разів для кожного наданого їм реферала. Тим часом пошуковий робот OpenAI сканував вебсайти 17 000 разів для кожного реферала, тоді як Anthropic сканував вебсайти 73 000 разів для кожного реферала.

Тим часом OpenAI та Google створюють агенти штучного інтелекту, призначені для відвідування веб-сайтів від імені користувачів , збору інформації та її безпосередньої доставки користувачам. Майбутнє, в якому ці інструменти стануть поширеними, матиме величезні наслідки для видавців, які покладаються на читачів, що відвідують їхні сайти.

Cloudflare зазначає, що «справжній потенціал» оплати за сканування може проявитися в «агентському» майбутньому.

«Що, якби агентський платний доступ міг працювати на межі мережі, повністю програмно? Уявіть, що ви просите свою улюблену програму глибоких досліджень допомогти вам синтезувати останні дослідження раку або юридичний бриф, або просто допомогти вам знайти найкращий ресторан у Сохо, а потім надаєте цьому агенту бюджет для отримання найкращого та найрелевантнішого контенту», – йдеться у блозі Cloudflare.

Щоб взяти участь в експериментальному ринку Cloudflare, компанії, що займаються штучним інтелектом, та видавці повинні мати облікові записи Cloudflare. У своїх облікових записах обидві сторони можуть встановлювати тарифи, за якими вони хотіли б купувати та продавати «сканування» контенту видавця. Cloudflare виступає посередником у цих транзакціях, стягуючи плату з компанії, що займається штучним інтелектом, та розподіляючи прибуток між видавцем.

Речник Cloudflare Ріплі Парк повідомила TechCrunch, що наразі в Pay per Crawl не задіяні стейблкоїни чи криптовалюта, хоча багато хто припускав, що цифрова валюта ідеально підійде для чогось подібного .

Маркетплейс Cloudflare виглядає як сміливе бачення майбутнього, яке вимагає залучення багатьох видавців та компаній, що займаються штучним інтелектом. З усім тим, немає гарантії, що видавці отримають вигідну угоду, і переконати компанії, що займаються штучним інтелектом, взяти участь може бути складно, враховуючи, що вони зараз збирають контент безплатно.

З усім тим, Cloudflare здається однією з небагатьох компаній, здатних створити такий маркетплейс.