/https%3A%2F%2Fs3.eu-central-1.amazonaws.com%2Fmedia.my.ua%2Ffeed%2F137%2F0bfa3d61c42cb5c24b5abfb22799eca8.jpg)
Научная статья, созданная ИИ, впервые прошла рецензирование
Японский стартап Sakana, который занимается разработками искусственного интеллекта, заявил о рецензировании первой научной статьи, сгенерированной ИИ.
Однако заявление представителей компании необходимо воспринимать со многими оговорками. Сейчас немалое количество исследователей считают, что искусственный интеллект не готов работать наравне с учеными в создании исследовательских материалов. Другие придерживаются мнения, что у ИИ есть соответствующий потенциал, но пока эта сфера деятельности со стороны искусственного интеллекта находится на начальном уровне.
Разработчики из стартапа Sakana относят себя ко второму типу. В компании заявили, что использовали модель ИИ The AI Scientist-v2 для создания научного материала, который затем представили на семинаре ICLR в рамках авторитетной конференции по вопросам искусственного интеллекта.
Представители Sakana утверждают, что организаторы семинара и руководство конференции ICLR согласились работать с ними в рамках проведения эксперимента по двойному слепому обзору рукописей, созданных с помощью ИИ.
В компании уверяют, что сотрудничали с исследователями из Университета Британской Колумбии и Оксфорда над тем, чтобы представить три сгенерированных ИИ документа на вышеупомянутый семинар для рецензирования. Модель AI Scientist-v2 полностью сгенерировала все три научные публикации, включая научные гипотезы, эксперименты, экспериментальный код, анализ данных, визуальное отображение, текст и заголовки.
«Мы генерировали исследовательские идеи, предоставляя ИИ аннотацию и описание семинара Это гарантировало, что сгенерированные статьи соответствовали теме и были пригодными для презентации», — отметил научный сотрудник и основатель Sakana Роберт Ланге.
Один из этих трех научных материалов, а именно, статья с критическим рассмотрением методов обучения моделей ИИ, была допущена к рассмотрению на семинаре. В Sakana заявили, что немедленно отозвали материал до его публикации в интересах прозрачности и уважения к конвенциям ICLR.
«Допущенная статья одновременно представляет новый многообещающий метод обучения нейронных сетей и показывает, что остаются еще эмпирические проблемы. Она предоставляет интересную точку зрения, чтобы подтолкнуть к дальнейшему научному исследованию», — подчеркнул Роберт Ланге.
Однако в этой истории, которая кажется очень многообещающей на первый взгляд, существует большое количество важных нюансов. В Sakana признали, что время от времени модель AI Scientist-v2 допускала ошибки, когда ссылалась на другие сопутствующие научные материалы. Например, она ошибочно приписала анализируемый метод материалу от 2016 года вместо оригинальной научной статьи от 1997 года.
Материал, сгенерированный AI Scientist-v2, также не проходил столь же тщательную проверку, как некоторые другие рецензируемые публикации. Поскольку компания отозвала статью после первоначальной рецензии, она не получила дополнительного «мета-рецензирования», во время которого организаторы семинара могли бы теоретически отклонить ее.
При этом процент одобрения для конференц-семинаров, как правило, выше процента одобрения для основного мероприятия в рамках конференции, о чем также упоминают в своем сообщении представители Sakana. В компании признали, что ни одна из научных статей, сгенерированных ИИ, не прошла внутреннее рецензирование для публикации в рамках основного мероприятия конференции.
«Сотрудники Sakana выбрали статьи из некоторого количества сгенерированных, то есть они руководствовались человеческим суждением при выборе результатов, которые, по их мнению, могли бы попасть. Я думаю, это показывает, что люди плюс ИИ могут быть эффективными, а не то, что ИИ самостоятельно может создавать научные работы», — отметил исследователь искусственного интеллекта и доцент Университета Альберты Мэтью Гуздиал.
Технические недостатки искусственного интеллекта, среди которых склонность фантазировать, заставляют многих ученых избегать одобрения этого инструмента для серьезной научной работы.
В Sakana не утверждают, что их модель ИИ способна создавать новаторские или принципиально новые научные работы. Скорее, целью эксперимента было изучить качество исследований авторства ИИ и подчеркнуть настоятельную необходимость принятия норм, которые будут касаться научных публикаций, созданных искусственным интеллектом.
Источник: TechCrunch