Наукова стаття, створена ШІ, вперше пройшла рецензування

Depositphotos

Японський стартап Sakana, який займається розробками штучного інтелекту, заявив про рецензування першої наукової статті, сгенерованої ШІ.

Однак заяву представників компанії необхідно сприймати з багатьма обмовками. Наразі чимала кількість дослідників вважають, що штучний інтелект не готовий працювати на рівні з науковцями у створенні дослідницьких матеріалів. Інші дотримуються думки, що у ШІ є відповідний потенціал та наразі ця сфера діяльності з боку штучного інтелекту перебуває на початковому рівні.

Розробники зі стартапу Sakana відносять себе до другого типу. У компанії заявили, що використали модель ШІ The AI Scientist-v2 для створення наукового матеріалу, який потім представили на семінарі ICLR у рамках авторитетної конференції з питань штучного інтелекту.

Представники Sakana стверджують, що організатори семінару та керівництво конференції ICLR погодились працювати з ними у рамках проведення експерименту з подвійного сліпого огляду рукописів, створених за допомогою ШІ.

У компанії запевняють, що співпрацювали з дослідниками з Університету Британської Колумбії та Оксфорду над тим, щоб представити три згенеровані ШІ документи на вищезгаданий семінар для рецензування. Модель AI Scientist-v2 повністю сгенерувала всі три наукові публікації, включно із науковими гіпотезами, експериментами, експериментальним кодом, аналізом даних, візуальним відображенням, текстом та заголовками.

«Ми генерували дослідні ідеї, надаючи ШІ анотацію та опис семінару. Це гарантувало, що згенеровані статті відповідали темі та були придатними для презентації», — зазначив науковий співробітник та засновник Sakana Роберт Ланге.

Один з цих трьох наукових матеріалів, а саме, стаття із критичним розглядом методів навчання моделей ШІ, була допущена до розгляду на семінарі. У Sakana заявили, що негайно відкликали матеріал до його публікації в інтересах прозорості та поваги до конвенцій ICLR.

Спецпроєкти

«Допущена стаття одночасно представляє новий багатообіцяючий метод навчання нейронних мереж і показує, що залишаються ще емпіричні проблеми. Вона надає цікаву точку даних, щоб підштовхнути до подальшого наукового дослідження», — підкреслив Роберт Ланге.

Однак у цій історії, яка здається дуже багатообіцяючою на перший погляд, існує велика кількість важливих нюансів. У Sakana визнали, що час від часу модель AI Scientist-v2 припускалась помилок під час посилань на інші супутні наукові матеріали. Наприклад, вона помилково приписала аналізований метод матеріалу від 2016 року замість оригінальної наукової статті від 1997 року.

Матеріал, сгенерований AI Scientist-v2, також не проходив настільки ж ретельну перевірку, як деякі інші рецензовані публікації. Оскільки компанія відкликала її після початкової рецензії, стаття не отримала додаткового «мета-рецензування», під час якого організатори семінару могли б теоретично відхилити її.

При цьому відсоток схвалення для конференц-семінарів, як правило, вищий за відсоток схвалення для основного заходу у рамках конференції, про що також згадують у своєму повідомленні представники Sakana. У компанії визнали, що не одна з наукових статей, сгенерованих ШІ, не пройшла внутрішнє рецензування для публікації у рамках основного заходу конференції.

«Співробітники Sakana вибрали статті з деякої кількості згенерованих, тобто вони керувались людським судженням щодо вибору результатів, які, на їхню думку, могли б потрапити. Я думаю, це показує, що люди плюс ШІ можуть бути ефективними, а не те, що ШІ самостійно може створювати наукові роботи», — зазначив дослідник штучного інтелекту та доцент Університету Альберти Метью Гуздіал.

Технічні недоліки штучного інтелекту, серед яких схильність фантазувати, змушують багатьох науковців уникати схвалення цього інструменту для серйозної наукової роботи.

У Sakana не стверджують, що їхня модель ШІ здатна створювати новаторські або принципово нові наукові роботи. Швидше, метою експерименту було вивчити якість досліджень авторства ШІ і наголосити на нагальній необхідності прийняття норм, які стосуватимуться наукових публікацій, створених штучним інтелектом.