Ютубер создал кластер из пяти Apple Mac mini M4 — насколько он эффективен?

Видеоблогер продемонстрировал вычислительный кластер из новых Apple Mac mini на процессоре M4. Иногда это лучше, чем мощная видеокарта.

Многие считают, что получить более мощный компьютер означает приобрести одно дорогое устройство. Но существуют другие способы выполнить большое количество вычислений. Концепция кластеров позволяет использовать много компьютеров или, по крайней мере, вычислительных блоков. Совместная работа для параллельного выполнения задач приводит к значительному сокращению времени обработки.

На видео в YouTube энтузиаст Алекс Зискинд (Alex Ziskind) демонстрирует настройку кластерных вычислений с помощью пяти M4 Mac mini. Кластер получает задачи, которые распределяются между всеми машинами. Типичные небольшие кластеры полагаются на сеть Ethernet для связи между узлами, но ютубер использовал потенциал соединения Thunderbolt с помощью Thunderbolt Bridge. Это значительно ускоряет связь между узлами, а также позволяет отправлять более крупные пакеты данных.

Ethernet может работать со скоростью 1 Гбит/с в обычных условиях или до 10 Гбит/с, при наличии соответствующих компьютеров с поддержкой этой скорости. Зато Thunderbolt Bridge достигает скорости до 40 Гбит/с для портов Thunderbolt 4 или 80 Гбит/с для Thunderbolt 5 в двустороннем режиме в моделях с чипами M4 Pro и M4 Max.

Зискинд отмечает, что использование Apple Silicon для кластерных вычислений может быть выгоднее, чем ПК с мощной видеокартой. Обработка данных с помощью GPU зависит от наличия значительного объема доступной видеопамяти. На графической карте это может быть, например, 8 ГБ, что не так уж и много даже для игр. Использование унифицированной памяти на Apple Silicon меньше ограничивает конфигурацию и позволяет пользоваться большими объемами — фактически графический процессор Apple Silicon имеет доступ к гораздо большему количеству памяти, особенно в случае Mac с 32 ГБ ОЗУ.

Кроме того, видеокарты потребляют много энергии. Значительное потребление означает более высокие текущие эксплуатационные расходы. Оказалось, что компьютеры Mac mini потребляют очень мало — кластер из пяти компьютеров Mac min потребляет меньше, чем одна высокопроизводительная видеокарта.

Чтобы запустить кластер, Алекс Зискинд использует MLX, проект Apple с открытым исходным кодом, описанный как «структура массива, предназначенная для эффективных и гибких исследований машинного обучения на Apple Silicon». MLX использует для работы стандартную методологию распределенных вычислений MPI. В рамках проекта можно запустить несколько компьютеров Mac различной производительности, без значительных затрат на технику. Среди прочего MLX оптимизирован для небольших кластеров.

Эффективен, но не всегда

Хотя объединение производительности нескольких Mac mini в кластер кажется привлекательным, от этого выиграет не каждая задача. Практически нет преимуществ для обычного использования Mac — запуска приложения, игр и т. Д. Технология предназначена для обработки больших массивов данных или для задач высокой интенсивности, которые выигрывают от параллельной обработки. Это делает кластер идеальным для работы с искусственным интеллектом, в частности, языковыми моделями (LLM).

Также это не самый простой способ использования компьютера для обычного пользователя Mac. Во время тестов Зискинд обнаружил, что покупка Mac с M4 Pro обеспечивает большую производительность LLM, чем два компьютера M4 в кластере. Такой кластер может пригодиться, когда требуется большая производительность, чем можно получить от одного мощного Mac. Если модель слишком велика для работы на одном Mac, например из-за ограничений памяти, кластер может предложить больше.

Энтузиаст утверждает, что на данном этапе высококлассный Mac с M4 Max и большим объемом памяти эффективнее, чем кластер менее производительных машин. Но если требования задачи каким-то образом выходят за пределы самой высокой конфигурации Mac, кластер может помочь.

Однако есть еще некоторые ограничения, которые следует учесть. Экспериментатору пришлось прибегнуть к использованию концентратора Thunderbolt для подключения узлов к хосту, что уменьшило доступную пропускную способность. Прямое соединение компьютеров решило проблему, но этот способ ограничивает количество доступных портов и возможность масштабирования. Также следует учитывать температуру — главный Mac mini в конфигурации был чрезвычайно горячим. Алекс Зискинд признал эксперимент Mac mini cluster tower интересным, но не собирается использовать его долгосрочно.

Источник: Apple Insider