Єдина система. Стартап Gimlet Labs залучив $80 млн на технологію, що пришвидшує роботу ШІ

Стартап Gimlet Labs залучив $80 млн інвестицій у раунді Series A на розробку технології, яка усуває слабке місце в роботі ШІ та дозволяє запускати обчислення одночасно на різному обладнанні, підвищуючи ефективність у кілька разів.

Про це пише видання TechCrunch.

Раунд очолила компанія Menlo Ventures. Засновник стартапу — ад’юнкт-професор Стенфорда Зайн Асгар, який раніше вже створив і продав успішну компанію.

Gimlet Labs створив так звану «багаточипову хмару для інференсу». Це програмне забезпечення, яке дозволяє одній ШІ-системі працювати одразу на різних типах обладнання: звичайних процесорах, графічних процесорах і системах із великою пам’яттю.

Асгар пояснив, що система використовує будь-яке доступне обладнання. Один ШІ-агент виконує кілька етапів роботи, і кожен із них потребує різних ресурсів: одні залежать від обчислювальної потужності, інші — від пам’яті або мережі.

Інвестор Тім Туллі зазначає, що жоден чип поки не здатен виконувати всі ці завдання одночасно. Водночас у світі вже є багато різного обладнання, але бракує програмного рівня, який би об'єднав його в одну систему. Саме це, за його словами, і пропонує Gimlet Labs.

За оцінками McKinsey, якщо тенденція до збільшення обчислювальних потужностей збережеться, витрати на дата-центри до 2030 року можуть сягнути майже $7 трлн. Асгар каже, що нині існуюче обладнання використовується лише на 15−30%, тобто значна частина ресурсів простоює.

Він пояснив, що це означає втрату сотень мільярдів доларів через невикористані потужності. Мета компанії — зробити роботу ШІ щонайменше у 10 разів ефективнішою вже зараз.

Команда разом із співзасновниками Мішель Нгуєн, Омідом Азізі та Наталі Серріно створила програму, яка розподіляє навантаження між різними типами обладнання і дозволяє виконувати завдання паралельно.

У компанії стверджують, що їхнє рішення пришвидшує роботу ШІ у 3−10 разів без збільшення витрат і споживання енергії. Також система може розділяти саму модель і запускати її частини на різних архітектурах, використовуючи найкращий чип для кожного етапу.

Gimlet Labs уже співпрацює з виробниками чипів NVIDIA, AMD, Intel, ARM, Cerebras і d-Matrix.

Продукт доступний як програмне забезпечення або через API до власної хмари Gimlet Cloud. Він орієнтований не на звичайних розробників, а на великі лабораторії ШІ та дата-центри.

Компанія вийшла на публічний ринок у жовтні і одразу заявила про виручку понад $10 млн. За словами Асгара, за останні чотири місяці кількість клієнтів більш ніж подвоїлася. Серед них — великий розробник моделей і велика хмарна компанія, але їхні назви не розкривають.

Раніше засновники працювали разом у стартапі Pixie, який створив інструмент з відкритим кодом для Kubernetes. У 2020 році компанію придбала New Relic через два місяці після запуску.

Після знайомства Асгара з інвестором Тімом Туллі та отримання перших інвестицій від професорів Стенфорда венчурні фонди самі почали пропонувати фінансування. Після запуску стартап швидко отримав пропозиції і раунд був перепідписаний.

З урахуванням попередніх інвестицій загалом Gimlet Labs залучив $92 млн. Серед інвесторів — Білл Кофран із Sequoia, професор Стенфорда Нік МакКеон, колишній CEO VMware Рагу Рагурам і CEO Intel Ліп-Бу Тан. У компанії працює 30 людей.