Google Gemini vs OpenAI GPT-4 — Bard чи ChatGPT? Демонстрація можливостей нової моделі і кілька наочних прикладів

Вчора Google взята і досить несподівано анонсувала Gemini — комплексну систему моделей ШІ, яка, як сподіваються у Маунтін-В’ю, зможе конкурувати з теперішнім лідером GPT-4 та допоможе розробнику чатбота Bard наздогнати OpenAI у поточній фазі перегонів генеративного штучного інтелекту.

Стисло про Google Gemini

Попередні повідомлення щодо відкладання запуску Gemini виявилися хибними — відучора технологія доступна користувачам чатбота Bard та смартфонів Google Pixel 8. Gemini версії 1.0 — наступне покоління моделі штучного інтелекту та фактично подальший еволюційний розвиток технології LaMDA в тандемі з усіма супутніми розробками зіркового підрозділу Google DeepMind. Насамперед: Google Gemini — від самого початку розроблялася як мультимодальна модель, яка здатна аналізувати текст, зображення, відео, аудіо та код. Вона представлена у трьох версіях під різні пристрої та обчислювальної потужності: Gemini Nano, Gemini Pro та Gemini Ultra.

Gemini Nano вже працює на смартфонах Google Pixel 8 — вона запускається локально на самому пристрої та працює без підключення до інтернету. Версія Gemini Pro вже можна випробувати в чатботі Bard — підтримуються запити англійською мовою у понад 170 країнах, включно з Україною. У 2024 році її планують впровадити безпосередньо у пошук Google. Найпотужніша Gemini Ultra стане основою чатбота Bard Advance, який планують запустити на початку 2024 року. В Google запевняють, що Gemini Ultra вже перевершує експертів-людей у тестах з 57 предметів, включаючи математику, фізику, історію, медицину, право та інші.

Google Gemini vs OpenAI GPT-4. Демо та порівняння можливостей

Вже з’явилися перші порівняння та тести, які дозволяють отримати перше враження щодо можливостей нової моделі та загалом свідчать про перевагу Google Gemini над OpenAI GPT-4 практично в усіх ключових метриках. Ниже наведені результати порівняльних тестів Google Gemini та OpenAI GPT-4 в різних бенчмарках та найпоширеніших сценаріях, включно з математикою та програмуванням.

Як можна бачити, Google Gemini перевершує OpenAI GPT-4 та демонструє вищу точність у всіх без винятку тестах, за винятком одного — HellaSwag для оцінювання здатності штучного інтелекту розуміти контекст та логіку подій у реальному світі. Інакше кажучи, тест на здоровий глузд.

Всі ми пам’ятаємо конфуз на презентації Google Bard, коли помилку чат-бота в рекламі дуже дорого обійшлася материнському холдингу Alphabet — він швидко втратив $100 млрд ринкової вартості. Але відтоді багато води сплило і Google суттєво підтягнула Bard. Мабуть, найбільш наочною та приголомшливою демонстрацією можливостей Google Gemini наразі є ось це відео, яке вже стало вірусним і активно шириться соцмережами.

У соцмережах вже є перші враження — користувачі відзначають вищу швидкість оброки запитів та кращу точність Google Gemini, порівнюючи з OpenAI GPT-4. Але тут варто зважати, що все це — окремі випадки та суб’єктивні враження, тож сприймати ці результати потрібно відповідно і не вдаватися до абстрагування та натягування сови на глобус.

І хоча ці демо, безперечно, виглядають переконливо, варто пам’ятати, це лише перші тести. І, як завжди, для кращого розуміння потрібно більше незалежних тестів на схильність до галюцинацій, якою наразі страждають всі без винятку моделі, від незацікавлених сторін, вільних від емоційної упередженості. І тут лише з часом, коли з’явиться більше прикладів, можна буде відповісти, чи справді Google нарешті включився у перегони, а Gemini на практиці виглядає так само гідно, як на папері. Хто зрештою створить той самий повноцінний AGI — Google, OpenAI чи можливо це буде взагалі хтось інший — зараз можна лише здогадуватися. Зате ми маємо про що писати, а ви — що обговорювати. Сподіваємося, що Gemini допоможе Google нарешті створити нормальний україномовний пошук для українців і вона перестане безсоромно нав’язувати російськомовний контент з російськомовних джерел.