Прискорювач обчислень Intel Gaudi 2 швидший за Nvidia H100 в Stable Diffusion

Компанія Nvidia є лідером на ринку обчислювального обладнання штучного інтелекту.

«Зелена» корпорація заробляє мільярди, а нові пристрої відвантажуються тоннами.

При цьому альтернативні рішення є як в AMD, так і в Intel.

Остання пропонує потужний прискорювач обчислень Gaudi 2, про який мало чутно в новинах, але він має високий потенціал.

Компанія Stability AI, яка розробляє відомий ШІ Stable Diffusion, поділилася своїми тестами Intel Gaudi 2 та Nvidia H100.

І раптово виявилося, що прискорювач Intel забезпечує кращі результати.

В обчисленнях для нової моделі Stable Diffusion 3 прискорювач Intel Gaudi 2 показав виняткові результати.

Для тестування запускалася модель із двома мільярдами параметрів на двох вузлах по 16 прискорювачів.

Виявилося, що конфігурація Gaudi 2 забезпечує обробку зображень на 56% швидше! А якщо порівнювати зі старішими Nvidia A100, то різниця у 2,4 раза!.

Також наведені результати обчислень моделі Stable Beluga 2.5 з 70 мільярдами параметрів на базі моделі LLaMA 2.

Без додаткових операцій та оптимізацій при управлінні Py.

Torch конфігурація з 256 прискорювачів Gaudi 2 забезпечує середню пропускну здатність 116777 токенів на секунду, що на 28% краще за A100.

Пристрій Intel Gaudi 2 базується на потужному чипі власної архітектури.

Відомо, що він орієнтований на гетерогенні обчислення, оснащений 24 великими тензорними ядрами, має 48 МБ SRAM та 96 гігабайтів пам'яті HBM2e, плюс 24 інтегрованих Gigabit Ethernet.

Великий обсяг пам'яті може бути одним із факторів, що визначили успіх Gaudi 2 у тестах.

Оригінальний прискорювач Nvidia H100 оснащений 80 гігабайтами, а цього вже замало для великих моделей ШІ.

Але треба пам'ятати, що зелений гігант уже анонсував H200 зі 141 ГБ пам'яті HBM3e.