Стартап Panmnesia предлагает способ расширить память ИИ-ускорителей за счет DRAM или SSD

Современные ускорители ИИ ограничены встроенной памятью.

С увеличением объемов данных и потребностей в энергии, индустрия сосредотачивается на масштабировании количества графических процессоров, но такой подход не является рациональным в долгосрочной перспективе, если учесть затраты финансовых и производственных ресурсов.

Чтобы решить этот вопрос, Panmnesia, стартап KAIST (Корейского передового института науки и технологии), представила технологию IP CXL, которая позволяет графическим процессорам использовать память из DRAM или даже SSD, дополняя встроенную HBM.

Panmnesia разработала собственный CXL 3.1-совместимый чип, который имеет несколько портов, соединяющих графический процессор с внешней памятью через шину PCIe, а декодер HDM (Host-Managed Device Memory) выступает в роли моста между подключениями, управляя распределением памяти и трансляцией.

Традиционные ускорители ИИ не имеют необходимых подсистем для прямого подключения и использования CXL для расширения памяти, а такие решения, как UVM (Unified Virtual Memory — унифицированная виртуальная память), работают довольно медленно, что в первую очередь противоречит их цели.

Также Panmnesia решила сравнить свое решение (CXL-Opt) с прототипами, разработанными Samsung и Meta, которые они обозначили как «CXL-Proto».

Ожидаемо, CXL-Opt достигает значительно меньшей задержки в передаче данных от графического процессора к памяти и обратно.

Он показал двузначную наносекундную задержку, тогда как «CXL-Proto» имеет задержку 250 нс.

Решение Panmnesia может сильно повлиять на рынок.

Компания является одной из первых со своим инновационным CXL IP, и если он приобретет популярность, Panmnesia получит значительную выгоду.