Українську LLM тренуватимуть на моделі Gemma від Google

Міністерство цифрової трансформації та компанія «Київстар» обрали відкриту модель Gemma 3 від Google  для того, щоб тренувати на ній національну велику мовну модель (LLM). Про це повідомила пресслужба Мінцифри.

Вибрану модель адаптують до української мови. Зокрема планується вдосконалити український токенайзер, що має зменшити помилки при створенні україномовних текстів та оптимізувати обчислювальні витрати при використанні моделі. 

Розробники також хочуть донавчити модель на унікальних україномовних текстах, які зараз збирають експерти, та створити бенчмарки (тести) для більш точного налаштування моделі для подальшого використання.

Gemma 3 підтримує понад 140 мов, включно з українською, має до 128 тисяч токенів, мультимодальні можливості (поєднання тексту і  зображення) та архітектуру, що дозволяє адаптувати її під різні завдання.

За словами директора з розробки диджитал-продуктів «Київстару» Михайла Нестора, вибір Gemma гарантує оптимальний баланс між продуктивністю та ресурсами, а також високу якість навчання української LLM.

Представник Google Cloud Кшиштоф Казьов сказав, що компанія продовжуватиме підтримувати проєкт створення національної української великої мовної моделі.

У Мінцифри додали, що Gemma вже стала базовою моделлю для MamayLM та Lapa LLM — перших і наразі найуспішніших українських LLM, а також для INSAIT BgGPT — сучасної болгарської LLM.

Нагадаємо, у липні цього року Мінцифри разом із «Київстаром» розпочали розробку національної великої мовної моделі — штучного інтелекту, що має стати українською відповіддю ChatGPT.

У серпні міністерство повідомило, що розробляє AI Factory — перший державний проєкт для запуску та масштабування продуктів зі штучним інтелектом в Україні. Михайло Федоров тоді казав, що ціль України — до 2030 року ввійти до трійки світових лідерів у сфері ШІ.

Нещодавно стало відомо, що Мінцифри спільно з Nvidia працюватимуть над розбудовою в Україні суверенного штучного інтелекту. Першим проєктом стане розробка мовної моделі Diia AI LLM.

Фото: Михайло Федоров / соцмережі