Google Gemini vs OpenAI GPT-4 — Bard или ChatGPT? Демонстрация возможностей новой модели и несколько наглядных примеров

Вчера Google взята и довольно неожиданно анонсировала Gemini — комплексную систему моделей ИИ, которая, как надеются в Маунтин-Вью, сможет конкурировать с нынешним лидером GPT-4 и поможет разработчику чатбота Bard догнать OpenAI в текущей фазе гонки генеративного искусственного интеллекта.

В двух словах абзацах о Google Gemini

Предыдущие сообщения об отложении запуска Gemini оказались ложными – со вчерашнего дня технология доступна пользователям чатбота Bard и смартфонов Google Pixel 8. Gemini версии 1.0 – следующее поколение модели искусственного интеллекта и фактически дальнейшее эволюционное развитие технологии LaMDA в тандеме со всеми сопутствующими разработками звездного. В первую очередь: Google Gemini — с самого начала разрабатывалась как мультимодальная модель, которая способна анализировать текст, изображения, видео, аудио и код. Она представлена ​​в трех версиях под различные устройства и вычислительную мощность: Gemini Nano, Gemini Pro и Gemini Ultra.

Gemini Nano уже работает на смартфонах Google Pixel 8 – она запускается локально на самом устройстве и работает без подключения к интернету. Версия Gemini Pro уже можно опробовать в чате Bard — поддерживаются запросы на английском языке более чем в 170 странах, включая Украину. В 2024 году ее планируют ввести непосредственно в поиск Google. Самая мощная Gemini Ultra станет основой чата Bard Advance, который планируют запустить в начале 2024 года. В Google уверяют, что Gemini Ultra уже превосходит экспертов-людей в тестах по 57 предметам, включая математику, физику, историю, медицину, право и другие.

Google Gemini — OpenAI GPT-4. Демо и сравнение возможностей

Уже появились первые сравнения и тесты, позволяющие получить первое впечатление о возможностях новой модели и в целом свидетельствуют о преимуществе Google Gemini OpenAI GPT-4 практически во всех ключевых метриках. Ниже приведены результаты сравнительных тестов Google Gemini и OpenAI GPT-4 в различных бенчмарках и наиболее распространенных сценариях, включая математику и программирование.

Как можно видеть, Google Gemini превосходит OpenAI GPT-4 и демонстрирует более высокую точность во всех тестах, за исключением одного — HellaSwag для оценки способности искусственного интеллекта понимать контекст и логику событий в реальном мире. Иными словами, тест на здравый смысл.

Все мы помним конфуз на презентации Google Bard, когда ошибка чат-бота в рекламе очень дорого обошлась материнскому холдингу Alphabet — он быстро потерял $100 млрд рыночной стоимости.Но с тех пор много воды утекло и Google существенно подтянула Bard. Пожалуй, наиболее наглядной и потрясающей демонстрацией возможностей Google Gemini является вот это видео, которое уже стало вирусным и активно распространяется соцсетями.

В соцсетях уже есть первые впечатления – пользователи отмечают более высокую скорость оброка запросов и лучшую точность Google Gemini, сравнивая с OpenAI GPT-4. Но здесь следует учитывать, что все это — частные случаи и субъективные впечатления, поэтому воспринимать эти результаты нужно соответственно и не прибегать к абстрагированию и натягиванию совы на глобус.

И хотя эти демо, безусловно, выглядят убедительно, стоит помнить, это только первые тесты. И, как всегда, для лучшего понимания нужно больше независимых тестов на склонность к галлюцинациям , которой страдают все без исключения модели, от незаинтересованных сторон, свободных от эмоциональной предвзятости. И здесь лишь со временем, когда появится больше примеров, можно будет ответить, действительно ли Google наконец-то включился в гонку, а Gemini на практике выглядит так же достойно, как на бумаге. Кто в конце концов создаст тот самый полноценный AGI — Google, OpenAI или, возможно, это будет вообще кто-то — сейчас можно только догадываться. Зато мы о чем писать, а вы — что обсуждать. Надеемся, что Gemini поможет Google наконец-то создать нормальный украиноязычный поиск для украинцев и она перестанет беззастенчиво навязывать русскоязычный контент из русскоязычных источников.