AMD представила Instinct MI325X с 256 ГБ HBM3e и Instinct MI355X с 288 ГБ HBM3e для вычислений ИИ

В рамках презентации Advancing AI компания AMD официально анонсировала новый ускоритель вычислений искусственного интеллекта Instinct MI325X.

Он обеспечит качественный рост производительности и получит рекордный объем памяти HBM3e для работы с большими объемами данных.

Instinct MI325X является развитием существующей серии MI300X и использует процессор на актуальной архитектуре CDNA 3.

Основные изменения связаны с апгрейдом подсистемы памяти.

Новый графический чип получит 256 ГБ быстрой памяти HBM3e с пропускной способностью 6 ТБ/с.

Все это упаковано в чип, который насчитывает 153 миллиарда транзисторов.

Заявлена пиковая производительность 2,6 PFLOPS в вычислениях формата FP8 и 1,3 PFLOPS в вычислениях FP16.

Энергопотребление одного такого ускорителя более 750 Вт.

Серверы AI Instinct поддерживают конфигурации до 8 устройств MI325X с общей памятью HBM3e объемом 2 ТБ при пропускной способностью памяти 48 ТБ/с.

Обмен данными будет производиться по шине Infinity Fabric 896 ГБ/с.

Пиковая производительность такого сервера составит 20,8 PFLOPS в FP8 и 10,4 PFLOPS в FP16.

Поставки серверных решений с Instinct MI325X начнутся в четвертом квартале текущего года.

В компании AMD отмечают, что актуальные ускорители MI300X уже демонстрируют преимущество относительно решений Nvidia в определенных нагрузках.

Новые ускорители Instinct MI325X AI GPU должны быть на 40% быстрее, чем Nvidia H200 в обработке языковой модели Mixtral 8x7B, на 30% быстрее в Mistral 7B и на 20% быстрее в Meta Llama 3.1 70B LLM.

В следующем году компания выведет на рынок еще более производительный продукт для вычислений ИИ.

Это ускоритель Instinct MI355X, который получит невероятные 288 ГБ памяти HBM3e.

В основе его будет графический чип на новой архитектуре CDNA 4, которая предложит существенный скачок в производительности.

В CDNA 4 появится поддержка вычислений в форматах FP4/FP6, рост объема памяти и пропускной способности на 50%.

Обещан рост производительности в отдельных нагрузках ИИ до 7 раз.

Instinct MI355X получит 288 ГБ памяти HBM3e с пропускной способностью 8 ТБ/с.

Потенциал в FP8 оценивается в 4,6 PFLOPS, а в FP16 до 2,3 PFLOPS.

Относительно Instinct MI325X это рост быстродействия до 80%.

Чип будет производиться по технологии 3 нм.

Энергопотребление одного устройства будет на уровне киловатта.

Серверные системы из восьми Instinct MI355X предложат 2,3 ТБ памяти с пропускной способностью 64 ТБ/с при пиковой производительности 37 PFLOPS в FP8, 18,5 PFLOPS в FP16 и 74 PFLOPS в новых форматах FP4/FP6.