Чип Jalapeño от OpenAI превосходит флагманский NVIDIA GB300 мощностью 1400 Вт

Компания OpenAI в рамках конференции Hot Chips заявила, что её собственный чип для ИИ Jalapeño превосходит флагманскую систему NVIDIA GB300 мощностью 1400 Вт.

Отмечается, что чип Jalapeño для обработки данных ИИ, разработанный OpenAI совместно с Broadcom, продемонстрировал в 1,5–1,9 раза более высокую пропускную способность на кВт и в 1,7–3,6 раза меньшую сквозную задержку по сравнению со стоечными системами NVIDIA GB200 и 300 по результатам общедоступного набора тестов InferenceX от SemiAnalysis. 

Версия чипа мощностью 700 Вт сравнивалась с ускорителями NVIDIA мощностью 1200 и 1400 Вт соответственно. OpenAI планирует начать использовать собственный чип в ЦОД к концу текущего года.

В ходе тестов использовались 3 модели: — GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 от Moonshot AI с 1 трлн параметров. В OpenAI заявляют о максимальном преимуществе в режимах работы с низкой задержкой при увеличении пропускной способности на кВт в 8,6–104,3 раза при самых быстрых предварительных настройках интервала между токенами для GB300.

OpenAI скорректировала результаты в соответствии с опубликованным значением TDP каждого ускорителя, хотя и отметила, что во время тестирования измеренная длительная мощность Jalapeño оставалась на уровне 550 Вт или ниже. Сравнение, приведенное в приложении, в котором используется общая полезная мощность на один ускоритель (1,18 кВт для Jalapeño против 2,55 кВт для GB300), показывает меньшие разрывы; аналогичная ситуация наблюдается при сравнении Jalapeño с GB300, работающим в режиме прогнозирования с несколькими токенами, где пиковое преимущество в эффективности сокращается примерно в 1,5 раза.

Jalapeño не сравнивали с Vera Rubin. В ключевых сравнительных тестах прогнозирование на основе одного токена, реализованное в Jalapeño, сравнивалось с конфигурациями GB300, хотя в производственной среде NVIDIA обычно использует прогнозирование на основе нескольких токенов.

Компания SemiAnalysis, по словам инженеров OpenAI, проводившая тестирование InferenceX в лаборатории, охарактеризовала Jalapeño как чип, превосходящий все аналоги от NVIDIA, AMD и Google, которые удалось протестировать.

Каждый чип Jalapeño сочетает в себе вычислительный кристалл с шестью стеками HBM4 общим объемом 216 ГиБ со скоростью 15,4 ТБ/с. GB300 содержит 288 ГБ HBM3E при номинальной мощности 1400 Вт. Таким образом, на каждый ватт номинальной мощности чип OpenAI содержит примерно на 50% больше памяти.

В компании заявили, что самым проблемным моментом текущей архитектуры является обеспечение суммарной пропускной способности HBM, а не её увеличение. На данный момент этот тип памяти остаётся самым дефицитным товаром полупроводниковой индустрии. Samsung, SK hynix и Micron уже распродали производственные мощности по выпуску HBM до 2027 года.

Дефицит настолько серьёзен, что, по слухам, NVIDIA тестирует урезанные конфигурации Rubin Ultra объемом всего 192 ГБ. Генеральный директор SK Hynix Квак Но-джун уже предупредил, что 2027 год станет самым тяжелым из-за дефицита памяти.

По информации Bloomberg, второй этап разработки Jalapeño близится к завершению. Ожидается, что чип будет полностью готов уже через несколько месяцев. Кроме того, уже ведется работа над третьим поколением.

Источник: Tom’s Hardware