Вчені скоротили обсяг пам’яті ШІ на 90% без втрати якості

Вчені з Університету Бар-Ілан розробили методику скорочення використання пам’яті штучного інтелекту на 90% без втрати ефективності.

Прорив у ефективності штучного інтелекту

Глибоке навчання та штучний інтелект (ШІ) активно використовуються для автоматизації складних обчислювальних завдань, включаючи розпізнавання образів та природну мову. Проте такі моделі потребують значних ресурсів пам’яті через мільярди параметрів, які вони містять. Вчені з Університету Бар-Ілан продемонстрували, що можливо зменшити кількість параметрів у нейронних мережах на 90%, не погіршуючи їх продуктивність. Дослідження очолив професор Ідо Кантер, який зазначає: «Чим більше ми розуміємо механізми навчання, тим ефективнішими стають технології, які ми створюємо».

Механізми обрізки параметрів

Обрізка параметрів нейронних мереж – це систематичне видалення надлишкових елементів, які не впливають суттєво на роботу моделі. Існує два основних види обрізання: структуроване (видалення цілих нейронів або каналів) та неструктуроване (видалення окремих параметрів). Після обрізки модель проходить точне налаштування, щоб зберегти первісну точність. Дослідники застосували ці підходи, виявивши, що до 90% параметрів можна безпечно вилучити у певних шарах без погіршення якості роботи.

Переваги методу від Університету Бар-Ілан

Метод, запропонований дослідниками, дозволяє значно скоротити витрати пам’яті та обчислювальні ресурси, зберігаючи при цьому точність моделі. Як зазначає аспірант Ярден Цах: «Наш підхід дозволяє скоротити використання пам’яті і обчислювальні навантаження без втрати ефективності». Ця технологія може істотно зменшити енергоспоживання систем ШІ та зробити їх доступнішими для широкого використання.

Потенційні ризики та майбутні дослідження

Незважаючи на очевидні переваги, неправильна або надмірна обрізка може видалити важливі для конкретних завдань параметри, знижуючи ефективність моделей у реальних умовах. Тому вчені наголошують на необхідності ретельного балансу між скороченням параметрів і збереженням точності роботи систем. Майбутні дослідження будуть спрямовані на уточнення цих меж та подальше вдосконалення методик оптимізації. Результати дослідження опубліковані в журналі Physical Review E.