Інструменти штучного інтелекту не можуть впоратися з основними фінансовими завданнями - дослідження

«Люди роблять багато сміливих заяв про штучний інтелект, але це нереально, якщо про це повідомляють самі», — додав він. «У нас немає нічого схожого на експертну перевірку або сторонніх аудиторів або будь-яке регулювання».

Щоб оцінити моделі, Vals AI розробив власний набір даних із понад 500 запитань, написаних у співпраці з провідним банком, щоб оцінити такі навички, як дослідження ринку та прогнози.

Більшість моделей штучного інтелекту не справлялися зі звичайними завданнями, такими як пошук інформації в EDGAR, загальнодоступній базі даних Комісії з цінних паперів і бірж компаній — базовому ресурсі фінансових даних, який використовують аналітики, акціонери, журналісти та біржовики.

Останній випуск OpenAI, o3, модель «обґрунтування», призначена для спілкування сама з собою як спосіб генерації більш точних відповідей на складні запити, набрала в середньому 48,3 відсотка точності, але ціною в середньому 3,69 доларів США за запитання. Модель міркування Anthropic під назвою Claude 3.7 Sonnet (Thinking) отримала точність 44,1% за набагато нижчої ціни в 1,05 долара за запитання. Порівняно більш відкрита модель штучного інтелекту Meta, Llama, показала особливо погані результати: три версії показали в середньому менш як 10 відсотків точності.

Vals AI, стартап із Сан-Франциско, який стоїть за дослідженням, є частиною зростаючої ніші сторонніх фірм, які обіцяють тестувати, ранжувати або перевіряти моделі штучного інтелекту, оскільки промисловий ажіотаж стає дедалі складнішим для аналізу. Інші нові учасники цієї галузі включають Artificial Analysis і Chatbot Arena, популярний академічний дослідницький проект , який нещодавно став компанією, яка тепер називається LMArena.

Крішнан каже, що ретельне незалежне тестування того, як агенти штучного інтелекту виконують певні завдання, є життєво важливим для оцінки їх ефекту.

«Було таке бачення, що генеративний ШІ, ймовірно, матиме величезний вплив на економіку», — сказав він. «І все ж ми навіть не знаємо, в яких секторах економіки моделі можуть працювати добре і як насправді виглядатиме цей зрив».

За словами Крішнана, галузь надто довго покладалася на «оцінку за настроями» — окрему гру з моделлю та публікацію точкових прикладів на X. Підприємствам, які розглядають можливість придбання цих інструментів для збільшення або заміни працівників, потрібен більш суворий підхід.

Фірма нещодавно опублікувала серію подібних досліджень, в яких оцінювалися інструменти штучного інтелекту для юридичних завдань, розглядалися моделі штучного інтелекту загального призначення та агенти штучного інтелекту, створені для юристів, тестувались на запитах реального світу, розроблених спільно з юридичними фірмами. Оцінки були вищими для юриспруденції, ніж для фінансів, із середніми показниками точності в 70-му та 80-му процентилях для деяких із тих самих моделей.

Краща продуктивність, ймовірно, була тому, що Vals AI надав необхідні документи для більшості юридичних завдань, тоді як фінансове дослідження попросило моделей «провести власні дослідження у відкритому Інтернеті, щоб зробити контекст відповідним», — сказав Крішнан.

Meta відмовився коментувати звіт Vals AI. OpenAI та Anthropic не відповіли на запити про коментарі.

У своїй фінансовій оцінці Vals AI виявив, що моделі працювали набагато гірше, оскільки завдання ставали складнішими. Десять моделей отримали нуль балів за запитання, які просили модель визначити шаблон для однієї компанії в неодноразових деклараціях про цінні папери, як-от надання рекламного доходу YouTube у відсотках від доходу його материнської компанії Alphabet з 2021 по 2024 рік.

Згідно з аналізом Vals AI підрядників, яких попросили виконати ті самі завдання, моделі показали найкращі результати в простих завданнях пошуку кількісної та якісної інформації, які є легкими, але можуть потребувати багато часу для людей.

Зусилля стартапу порівняти ефективність виконання завдань, пов’язаних з фінансами, викликані зростаючим скептицизмом щодо претензій компанії, які часто руйнуються при найближчому розгляді.

В іншому випадку OpenAI повідомила про інші результати для своєї моделі o3 щодо математичних проблем, ніж сторонній аудитор. А під час оцінювання на Chatbot Arena, де користувачі голосують за свій вибір ШІ, Meta, як повідомляється, підіграла рейтингу своєї найновішої моделі Llama 4, опублікувавши версію, яка була «оптимізована для спілкування». Коментуючи це, представник Meta сказав: «Ми експериментуємо з усіма типами спеціальних варіантів».

Дослідження фінансового сектору, проведене Vals AI, по-іншому погляне на нещодавні заяви про те, що штучний інтелект знищує категорії робочих місць.

У лютому співзасновник Microsoft Білл Гейтс заявив, що ШІ замінить лікарів і вчителів протягом наступних 10 років. У нещодавньому інтерв’ю в подкасті Віктор Лазарте, генеральний партнер Benchmark, який підтримував Uber і WeWork, сказав, що розмови технологічних компаній про те, що штучний інтелект просто «доповнює» людей, вводять в оману, і що юристи та рекрутери повинні бути особливо стривожені.

Повідомлення від команди Vals AI передбачає більш скромну оцінку впливу штучного інтелекту на роботу багатьох білих комірців. Хоча системи постійно вдосконалюються, сказав Крішнан, ідея про те, що інструмент штучного інтелекту може виконувати чиюсь роботу наскрізно, все ще «досить химерна».