Исследование выявило ограниченность креативности ChatGPT по сравнению с людьми

Искусственный интеллект способен генерировать значительно больше креативных идей, чем любой человек, однако эти идеи оказываются слишком похожими друг на друга. Такие выводы содержит исследование, недавно опубликованное в авторитетном научном журнале Nature Human Behaviour.

Согласно данным Axios, эксперты обнаружили, что чат-боты производят более ограниченный спектр идей по сравнению с группой людей, несмотря на заявления производителей ИИ о том, что их инструменты "прекрасно подходят для мозгового штурма".

В рамках эксперимента участникам исследования предложили придумать идеи игрушки с использованием кирпича и вентилятора. Задание выполняли тремя способами: с помощью ChatGPT, собственными силами или сочетая собственные идеи с веб-поиском.

Результаты оказались показательными. 94% идей от тех, кто пользовался ChatGPT, имели "заурядные концепции". В то же время участники, которые использовали собственные мысли в сочетании с веб-поиском, создали наибольшее количество "уникальных концептов" - групп идей, не пересекающихся с другими вариантами.

Исследователи тестировали GPT-3.5 и GPT-4 и сообщили, что хотя GPT-4 генерирует более разнообразные идеи по сравнению с версией 3.5, он все равно "значительно уступает" людям по этому показателю.

Ярким примером стала ситуация, когда девять участников, используя ChatGPT независимо друг от друга, назвали свою игрушку одинаково - "Build-a-Breeze Castle".

Профессора Wharton Gideon Nave и Christian Terwiesch вместе с исследователем Lennart Meincke установили, что испытуемые создавали более широкий спектр креативных идей, когда полагались на собственные мысли и веб-поиск, а не на ChatGPT. Группы, использовавшие искусственный интеллект, тяготели к схожим концепциям, что уменьшало общее разнообразие идей.

"Мы говорим не о разнообразии в смысле DEI. Мы имеем в виду разнообразие в плане того, что идеи отличаются друг от друга... как в биологии, нам нужна разнообразная экосистема", - объяснил Terwiesch изданию Axios.

Похожие результаты получило исследование 2024 года, участникам которого предлагали писать короткие рассказы с ChatGPT и без него. Истории, созданные с помощью генеративного ИИ, оказались более похожими друг на друга по сравнению с текстами, написанными людьми.

В то же время ChatGPT может эффективно использоваться как часть процесса мозгового штурма. По словам Terwiesch, разнообразие идей достигается через использование ChatGPT для генерации вариантов в сочетании с собственными идеями и сбором оригинальных предложений от других.

Исследователь также рекомендует "цепное подталкивание мыслей" - метод, когда чат-бот просят сгенерировать несколько идей с обязательным требованием сделать их отличными друг от друга.

"Если я просто сижу и позволяю ChatGPT выполнять всю работу, я не использую в полной мере то, что может предложить этот инструмент. Я могу сделать лучше", - заявил Terwiesch изданию Axios.

Представитель OpenAI поделился лучшими практиками для работы с ChatGPT, советами писателей по использованию инструмента и студенческим руководством по написанию текстов с помощью ChatGPT.

Производители искусственного интеллекта утверждают, что их инструменты в конечном итоге станут такими же умными и креативными, как люди, однако результаты генеративного ИИ всегда останутся более узкими, чем человеческий мозговой штурм в группах.