Пошукові ШІ чат-боти опановують всесвітню мережу, витісняючи звичний пошук

Згідно з даними, ексклюзивно наданими The Washington Post, трафік від пошукових роботів зріс на 49 відсотків у першому кварталі 2025 року порівняно з четвертим кварталом 2024 року. Дані надані TollBit, нью-йоркським стартапом, який допомагає видавцям новин контролювати та заробляти гроші, коли компанії зі штучним інтелектом використовують їхній контент.

Звіт TollBit , заснований на даних 266 вебсайтів, половина з яких належить національним та місцевим новинним організаціям, свідчить про те, що зростання кількості ботів, які отримують інформацію, коли користувач запитує модель штучного інтелекту, має експоненціальну криву.

«Це починається з видавців, але це стосується всіх», – сказав в інтерв’ю Тошіт Паніграхі, генеральний директор і співзасновник TollBit.

Паніграхі сказав, що такий бот-трафік, який веб-сайтам може бути важко виявити, відображає зростаючий попит на контент, навіть попри те, що інструменти штучного інтелекту знищують трафік новинних сайтів та інших онлайн-платформ. «Кількість людей, які відвідують ваш сайт, зменшилася. Але ми вважаємо, що чистий обсяг доступу до контенту фундаментально зросте», – сказав він.

Речник OpenAI заявив, що реферальний трафік до видавців із пошукових запитів ChatGPT може бути меншим за кількістю, але він відображає сильніший намір користувача порівняно зі звичайним переглядом веб-сторінок.

Щоб скористатися цим зрушенням, вебсайтам доведеться переорієнтуватися на відвідувачів зі штучним інтелектом, а не на людей, сказав Паніграхі. Але він також визнав, що обмеження оплати за контент , коли компанії зі штучним інтелектом стверджують, що парсинг онлайн-даних є добросовісним використанням , буде важким завданням, особливо враховуючи, що провідні гравці роблять своїх нових відвідувачів зі штучним інтелектом ще складнішими для ідентифікації.

Дебати щодо використання онлайн-контенту індустрією штучного інтелекту зосередилися на гігантських обсягах тексту, необхідних для навчання моделей штучного інтелекту , що працюють на таких інструментах, як ChatGPT. Щоб отримати ці дані, технологічні компанії використовують ботів, які безкоштовно збирають дані з відкритого Інтернету, що призвело до низки позовів, у яких стверджується про крадіжку авторських прав з боку авторів книг та медіакомпаній, включаючи позов New York Times проти OpenAI. Інші видавці новин обрали ліцензійні угоди. (У квітні The Washington Post уклала угоду з OpenAI.)

За останні вісім місяців, оскільки чат-боти розвивалися та впроваджували такі функції, як веб-пошук та «міркування» для відповідей на складніші запити , трафік ботів для пошуку даних різко зріс. Згідно зі звітом TollBit, у період між четвертим кварталом 2024 року та першим кварталом 2025 року він зростав у 2,5 рази швидше, ніж трафік ботів, які збирають дані для навчання.

Паніграхі сказав, що дані TollBit можуть недооцінювати масштаби цієї зміни, оскільки вони не враховують ботів, яких компанії зі штучним інтелектом надсилають від імені «агентів» ШІ, які можуть виконувати завдання від імені користувача, наприклад, замовляти їжу на винос у DoorDash.

Висновки стартапу також додають вимір до зростаючої кількості доказів того, що сучасний інтернет, оптимізований для результатів пошуку Google та алгоритмів соціальних мереж, доведеться реструктуризувати зі зростанням популярності відповідей штучного інтелекту.

«Думати про це так, ніби «Ну, я оптимізую свій пошук для людей» — означає втрачати велику можливість», — сказав він.

Встановлення аналітичної платформи TollBit є безплатним для видавців новин, і компанія має понад 2000 клієнтів, багато з яких, згідно з даними звіту, стикаються з цими сейсмічними змінами.

Хоча видавці новин та інші вебсайти можуть впроваджувати блокувальники, щоб запобігти парсингу контенту різними ботами штучного інтелекту, TollBit виявив, що лише у березні понад 26 мільйонів парсингів за допомогою штучного інтелекту обійшли ці блокувальники. Деякі компанії, що займаються штучним інтелектом, стверджують, що боти для агентів штучного інтелекту не повинні дотримуватися інструкцій ботів, оскільки вони діють від імені користувача.

Марк Говард, головний операційний директор медіакомпанії Time, клієнта TollBit, сказав, що дані про трафік стартапу допомогли Time домовитися про ліцензування контенту з компаніями, що займаються штучним інтелектом, включаючи OpenAI та пошукову систему Perplexity.

Але ринок справедливої ​​компенсації видавцям ще далеко не сформований, сказав Говард. «Переважна більшість ботів зі штучним інтелектом абсолютно не знаходять контент через будь-який платний механізм. … Попереду ще дуже, дуже довгий шлях».