Нові тести перевіряють швидкість роботи програм штучного інтелекту

Група зі штучного інтелекту MLCommons оприлюднила два нові тести, які, за її словами, можуть допомогти визначити, як швидко найсучасніше обладнання та програмне забезпечення можуть запускати програми ШІ.

З моменту запуску OpenAI's ChatGPT понад два роки тому компанії-виробники чіпів почали зосереджуватися на створенні апаратного забезпечення, яке може ефективно виконувати код, що дозволяє мільйонам людей використовувати інструменти ШІ. Оскільки базові моделі повинні відповідати на набагато більше запитів для роботи додатків ШІ, таких як чат-боти та пошукові системи, MLCommons розробив дві нові версії своїх тестів MLPerf для вимірювання швидкості.

Один із нових тестів базується на софті Meta - так звана модель штучного інтелекту Llama 3.1 із 405 мільярдами параметрів, а тест націлений на загальні відповіді на запитання, математику та генерацію коду. Новий формат перевіряє здатність системи обробляти великі запити та синтезувати дані з багатьох джерел.

Nvidia представила кілька своїх чіпів для тестування, а також розробники систем, такі як Dell Technologies.

Для нового тесту останнє покоління серверів штучного інтелекту від Nvidia під назвою Grace Blackwell, які містять 72 графічні процесори (GPU) Nvidia, виявилося в 2,8-3,4 рази швидшим, ніж попереднє покоління, навіть якщо використовувати лише вісім графічних процесорів у новому сервері для прямого порівняння зі старшою моделлю, повідомила компанія на брифінгу у вівторок.

Nvidia працює над прискоренням підключення чіпів усередині своїх серверів, що важливо для роботи ШІ, коли чат-бот працює на кількох чіпах одночасно.

Другий тест також базується на моделі штучного інтелекту з відкритим вихідним кодом, створеній Meta, і мета тесту — точніше імітувати очікувану продуктивність, встановлену споживчими програмами штучного інтелекту, такими як ChatGPT.

Мета полягає в тому, щоб зменшити час відгуку для еталонного тесту та наблизити його до миттєвого відгуку.