Mind опубликовала результаты нового исследования по обучению искусственного интеллекта.
В этом отчете представлен новый метод обучения JEST (Joint Example Selection), который в 13 раз быстрее и в 10 раз энергоэффективнее обычных методов обучения ИИ.
Типичные методы обучения фокусируются на отдельных точках данных для обучения, JEST обучается на основе целых пакетов данных.
Затем он сравнивает эту оценку с крупным набором более низкого качества.
Малая модель JEST определяет пакеты, подходящие для обучения, а затем на основе результатов меньшей модели обучается большая модель.
Этот метод превосходит все современные модели обучения по эффективности и требует в 10 раз меньше энергозатрат.
Это очень актуально на фоне серьезного роста энергопотребления у современных вычислительных центров.
Но есть нюанс.
JEST полагается на высокое качество отобранных входных данных и определенную сортировку, произведенную человеком.
Поэтому метод очень чувствителен к точности исходной информации.
Это может потребовать привлечения специалистов и экспертов высокого уровня на начальном этапе, что усложняет задачу для простых разработчиков и любителей.
Пока не известно, возьмут ли на вооружение новый метод разработчики крупных ИИ.
Но на фоне роста финансовых затрат, которые связаны с обучением передовых моделей ИИ, поиск вариантов для оптимизации и экономии ресурсов является вполне логичным.
По итогам 2023 года общее энергопотребление вычислительных центров ИИ превысило 4,3 ГВт, что сопоставимо энергопотреблением Кипра.
И согласно прогнозам в ближайшие пару лет оно превысит 13 ГВт.
Tom's Hardware.