MY.UAНовини
Мала модель штучного інтелекту Microsoft виявилася розумнішою та ефективнішою, ніж великі
Мала модель штучного інтелекту Microsoft виявилася розумнішою та ефективнішою, ніж великі

Мала модель штучного інтелекту Microsoft виявилася розумнішою та ефективнішою, ніж великі

Компанія каже, що на прикладі Orca 2 їй вдалося показати, що поліпшені методи навчання можуть забезпечити кращі результати меншим моделям і допомогти їм досягнути "вищих розумових здібностей, які зазвичай присутні тільки у більших мовних моделях".

Деталі

Microsoft уже відкрила доступ до обох розробок, щоб перші тестувальники могли їх оцінити та досліджувати їхні можливості. Для підприємств з обмеженими ресурсами такі системи можуть виявитися найкращим рішенням.

Для того, щоб навчити невелику модель міркувати так само добре, як велика, розробники вирішили налаштувати базову Llama 2 від Meta за допомогою спеціальним чином зібраного набору даних. Замість того щоб навчати її повторювати поведінку більш здібних моделей — метод імітації — дослідники змушували її обирати інші стратегії вирішення завдань. Наприклад, щоб відповісти на комплексне запитання, малій мовній моделі зручніше спочатку розбити його на складові частини, а не відповідати безпосередньо, як це робить GPT-4.

У випробуваннях на 15 еталонних тестах, що охоплюють завдання на розуміння мови, здоровий глузд, багатоетапне міркування, розв'язування математичних задач, розуміння прочитаного, узагальнення та правдивість, обидві моделі Orca 2 показали чудові результати – кращі, або мінімум не гірші, ніж моделі, розмір яких більший у 5-10 разів.

У середньому за результатами всіх тестів Orca 2 перевершила Llama-2-Chat з 13 і 70 мільярдами параметрів, а також WizardLM з 13 і 70 мільярдами параметрів. Лише в задачах на математику WizardLM з 70 мільярдами параметрів виявився значно кращим.

За словами розробників, метод, який вони використовували для навчання Llama-2, можна застосовувати і для поліпшення інших базових моделей.

Попри те, що Orca 2 має ряд обмежень, потенціал для майбутніх удосконалень очевидний, особливо в покращенні міркувань, спеціалізації, контролю та безпеки менших моделей. Використання ретельно відфільтрованих синтетичних даних для посттренування стає ключовою стратегією в цих удосконаленнях. Оскільки більші моделі продовжують удосконалюватися, наша робота з Orca 2 знаменує собою значний крок у диверсифікації застосувань і варіантів розгортання мовних моделей,
– написала дослідницька група.

З випуском моделей Orca 2 з відкритим вихідним кодом і постійними дослідженнями в цьому напрямку можна з упевненістю сказати, що в найближчому майбутньому з'явиться більше високопродуктивних малих мовних моделей.

Теги за темою
Microsoft
Поділитися
Поділитися сюжетом
Джерело матеріала
«Срочно покидать города»: что известно о предполагаемой мести России за «Паутину»
Comments UA
2025-06-04T12:09:24Z
Часики тикают: почему у Украины осталось времени всего до конца июня
Comments UA
2025-06-04T12:42:14Z
Илон Маск отреагировал на удары по аэродромам в РФ
Корреспондент
2025-06-01T20:27:08Z
Отец Илона Маска приехал в Москву и сделал заявление о Путине
Comments UA
2025-06-09T13:12:21Z
"Украина в состоянии войны больше 10 лет. А что вы сделали?" – Хегсету в Конгрессе задали два важных вопроса. ВИДЕО
Новости Украины
2025-06-11T21:00:25Z
В Болгарии категорически высказались об ультиматуме Путина Украине и упомянули о преступлениях СССР
Comments UA
2025-06-11T20:45:38Z
Полный разворот от Украины, какое решение приняли у Трампа, помимо пропуска Рамштайна
Comments UA
2025-06-04T12:30:15Z
Появилась реакция НАТО на удары Украины по аэродромам РФ и Крымскому мосту
Comments UA
2025-06-04T12:33:35Z
Кремль впервые отреагировал на операцию Паутина
Корреспондент
2025-06-03T11:18:55Z
4 категории мужчин исключат из воинского учета: их не мобилизуют
UAToday
2025-06-04T13:03:41Z
RMF 24: в Польше на границе с Украиной нашли брошенные системы ЗРК, предназначенные Киеву
Лига
2025-06-04T12:21:34Z
Отправят на заслуженный отдых: ряд украинцев смогут уйти на пенсию на 10 лет раньше
Знай
2025-06-09T03:21:54Z
Что нельзя делать на Троицу 2025: полный список запретов
Факти ICTV
2025-06-08T04:42:04Z
Во Львове появится первый в Украине жилой комплекс с комнатами-укрытиями в квартирах
ZN UA
2025-06-11T21:12:40Z
Путин приказал "кратно" усилить сухопутные войска
Корреспондент
2025-06-11T20:36:30Z
8 июня - сегодня День святой Троицы, что нельзя делать, все об этом дне
Комсомольская правда
2025-06-08T02:34:32Z
Бесплатные продукты для ВПЛ: украинцам раздают пищу, что важно знать о такой помощи
Политека
2025-06-05T13:31:59Z
Теперь не до шуток: Буданов рассказал, почему угроза от ракет KN-23 выросла в разы
Comments UA
2025-06-10T12:04:13Z
Как прогнать всех насекомых из дома без "химии": один запах заставит их сбежать навсегда
UAToday
2025-06-03T14:15:46Z
Россия уничтожает уникальное "розовое" озеро в Украине: его называют аналогом Мертвого моря
Telegraf
2025-06-07T15:33:19Z
Салат "Летний Оливье": хрустящий, свежий и очень вкусный
TSN
2025-06-04T12:36:31Z
Оккупанты превратили его в грязную лужу: в Украине исчезает уникальное Чистое озеро
Telegraf
2025-06-04T13:03:16Z
ТОП-30 найбільших сталевиробників світу: лідери галузі у 2024 році
AgroNews
2025-06-11T17:36:51Z
Скоро Петров пост: рецептперловки с морковью по всем правилам, чтоб ничего н нарушать
Знай
2025-06-11T15:51:42Z
"Клубніка, суниця чи полуниця": как правильно называть первую ягоду летнего сезона
Gazeta UA
2025-06-08T12:24:34Z
Пять самых грязных вещей в спальне
Gazeta UA
2025-06-08T17:54:02Z
Пять фруктов, которые созревают после того, как их сорвали
Gazeta UA
2025-06-08T13:36:56Z
Украинский трейлер фильма «Долгая прогулка»
Кино-Театр
2025-06-11T16:18:47Z
Лилия Ребрик восхитила романтикой с мужем на вокзале и показалась сразу с тремя дочерьми
TSN
2025-06-04T12:36:19Z
54-летняя Наоми Кэмпбелл снялась для глянца в откровенных образах
Gazeta UA
2025-06-04T12:03:15Z
Рада стать бабушкой: Волочкова заговорила о пополнении
GlavRed
2025-06-04T11:51:55Z
Путинист Дима Билан прокомментировал слухи про ВИЧ: "Кишки все доставать не буду"
Знай
2025-06-11T16:51:22Z
Юль Мессиан из Испании победил в конкурсе Man of the World 2025
Корреспондент
2025-06-11T16:21:57Z
Киркоров вызверился на Малахова и оскорбил его
GlavRed
2025-06-04T19:42:05Z
Олена Тополя рассказала о пластической операции
Корреспондент
2025-06-03T08:57:59Z
Победительницей конкурса Мисс Мира стала 21-летняя представительница Таилан
Корреспондент
2025-06-02T09:18:21Z
Эвакуация из города Сумы: что известно
Comments UA
2025-06-08T20:39:14Z
Российский военный расстрелял жилой дом из гранатомета в Курской области
Comments UA
2025-06-10T07:51:59Z
Срыв обмена пленными и телами погибших: что заявили в РФ
Comments UA
2025-06-07T18:15:21Z
В Сумской области не эвакуируются из-за ТЦК: что известно
Comments UA
2025-06-08T13:18:36Z
Россия без пороха. Удар по заводу
Корреспондент
2025-06-11T21:00:20Z
Россияне отправили штурмовиков в Kill-зону на админгранице Днепропетровщины, - ЦПД
Новости Украины
2025-06-11T20:24:45Z
Синоптики обновили прогноз на понедельник
Gazeta UA
2025-06-09T03:18:57Z
Буданов: Обмен телами погибших запланирован на следующую неделю
Лига
2025-06-08T12:30:52Z
В Украине станет прохладнее: синоптик порадовала прогнозом на понедельник
Gazeta UA
2025-06-08T13:21:49Z
Последствия сильных взрывов в Киеве: куда попали россияне
Comments UA
2025-06-06T03:45:35Z
В Киеве 14-летний мальчик упал с канатного аттракциона, его госпитализировали
Комсомольская правда
2025-06-08T14:24:19Z
Трагический инцидент на отдыхе: девушка погибла во время полета на парасейлинге
Comments UA
2025-06-04T12:27:23Z
В России группа врачей продавала детей за границу
Корреспондент
2025-05-31T18:33:20Z
В Харькове загорелся ТЦК: что известно
ZN UA
2025-06-11T20:54:54Z
Суд оставил в силе приговор жителю Киевщины за попытку изнасилования
Корреспондент
2025-06-11T20:00:34Z
В Киеве на американца упал балкон у подъезда многоэтажки
VGorode
2025-05-29T12:57:14Z
В российской Казани вспыхнул сильный пожар
Корреспондент
2025-06-09T09:03:06Z
Россияне сбросили бомбы на Харьков: есть погибшие и раненые
Telegraf
2025-06-07T23:21:05Z
Škoda Favorit 1987 года переосмыслили как электрокар для нового поколения
Корреспондент
2025-05-29T18:15:23Z
Важно проверить эту вещь в вашем авто, чтобы двигатель не закипел
Знай
2025-06-11T20:51:28Z
Следующий Suzuki Cross будет базироваться на Toyota RAV4
Корреспондент
2025-06-11T18:51:57Z
Поэтому водители получат большой штраф и лишат прав: о чем стоит знать
Знай
2025-06-11T18:51:03Z
Xiaomi SU7 Ultra установил рекорд Нюрбургринга среди серийных электрокаров
Корреспондент
2025-06-11T16:45:06Z
Toyota выпустила электрический купе-кроссовер bZ5 в Китае
Корреспондент
2025-06-11T16:03:27Z
Стролл вернется на трассу домашнего Гран-при
Корреспондент
2025-06-11T15:42:11Z
Быстрее Porsche и Tesla: спортивный электрокар Xiaomi отметился рекордом
Фокус
2025-06-11T13:57:03Z
В Украине резко возрос спрос на подержанные электромобили
Хвиля
2025-06-11T12:42:12Z
Делает пищу смертельно опасной: врачи назвали частую ошибку при употреблении популярного продукта
Знай
2025-06-07T10:51:21Z
Шесть продуктов, которые уберегут от обезвоживания летом
Gazeta UA
2025-06-08T16:00:43Z
Что происходит с давлением, когда вы пьете чай с шоколадом
UAToday
2025-06-07T09:03:19Z
Влияет на щитовидку и вызывает аллергию: врачи назвали самый вредный для здоровья чай
Знай
2025-06-07T16:51:36Z
Это невозможно контролировать: почему во время сна внезапно останавливается дыхание
Comments UA
2025-06-11T16:42:26Z
Первый в области ИИ для эндоскопии: Валерий Дубиль и БФ молодежной инициативы Надежда передали современное оборудование на Харьковщину
Знай
2025-06-11T14:54:58Z
То, что ты ешь, может сделать тебя несчастным: учёные бьют тревогу
Знай
2025-06-04T12:51:48Z
Игнорируя этот симптом, можно потерять мужскую силу: о каких болезнях сигнализирует боль в яичках
Comments UA
2025-06-11T14:18:48Z
Суп с фрикадельками и сельдереем: сохраняйте идею обеда от победительницы "Взвешенные и счастливые"
Gazeta UA
2025-06-11T13:18:48Z
Тарифы выросли на 50% за выходные: Попенко объяснил, кто завышает цены на свет для украинцев
Хвиля
2025-06-08T12:15:11Z
Российские акции обвалились после ударов СБУ по аэродромам
Корреспондент
2025-06-01T17:42:33Z
Из-за 10-секундного опоздания самолет не пустили на посадку в Мюнхене - пассажиры провели в пути еще 12 часов
Апостроф
2025-06-04T11:57:13Z
Курс валют на выходные, 31 мая и 1 июня: сколько стоят доллар, евро и злотый
TSN
2025-05-31T06:51:29Z
Бессент сделал заявление по поводу экономики Украины
Корреспондент
2025-06-11T20:51:51Z
Новые ценники заставят стать вегетарианцами: цены на яйца и куриное мясо полезут вверх – когда ждать подорожания
Знай
2025-06-11T20:12:05Z
Швеция ослабляет 100-летнюю жесткую монополию на продажу алкоголя
Европейская правда
2025-05-31T21:00:54Z
Курс валют на 5 июня: сколько будут стоить доллар, евро и злотый
TSN
2025-06-04T12:48:57Z
В Украине появится линия по выпуску 155-мм снарядов при участии чешской CSG, — Милитарный
Фокус
2025-06-04T12:36:13Z
ГУР "выключил" сервисы российской железной дороги
Корреспондент
2025-06-08T15:36:08Z
Связь будет даже при блэкаутах: как продлить заряд батареи на смартфоне
Знай
2025-06-04T18:51:04Z
Pornhub остановил показ порно в одной из стран Европы: какая причина
Comments UA
2025-06-04T12:57:24Z
В Украине могут начаться отключение мобильной связи: причины и продолжительность
Знай
2025-06-06T04:36:53Z
Бесплатные игры для подписчиков PS Plus Premium и PS Plus Extra на июнь 2025 года раскрыты: Чем порадует Sony
GameMag
2025-06-11T21:03:42Z
Директор OpenAI Альтман рассказал, как искусственный интеллект повлияет на будущее
Gazeta UA
2025-06-11T20:03:15Z
В Warface стартовал летний сезон "Опасный аттракцион" — игроков ждут переработанная PvP-карта и легендарные пушки
GameMag
2025-06-11T19:55:47Z
Грейс Эшкрофт против жуткой Карги — появились новые детали и скриншоты хоррора Resident Evil Requiem от Capcom
GameMag
2025-06-11T19:54:46Z
Пять причин полюбить новую линейку зарядных устройств Baseus PicoGo
GameMag
2025-06-11T19:54:15Z
Впервые за 28 лет: украинка стала чемпионкой Европы по художественной гимнастике
Апостроф
2025-06-08T13:43:28Z
Главный тренер львовского Руха уходит с должности досрочно
Корреспондент
2025-06-04T14:03:40Z
Гарсия перед провальным боем травмировался: Была операция
Корреспондент
2025-05-28T21:30:01Z
Составлена символическая сборная команда Лиги чемпионов
Корреспондент
2025-06-01T17:24:06Z
Новички-украинцы входят в волейбольную Лигу наций с внушительной победой
Корреспондент
2025-06-11T20:33:40Z
Мельгоса: Европейское первенство для U-21 - сложнейшая миссия, но есть цель
Корреспондент
2025-06-11T19:21:28Z
Яремчук: Готовность к играм на ЧМ проверяется квалификацией. И верой
Корреспондент
2025-06-11T18:45:19Z
Голкипер Лунин в составе: Реал на Клубный чемпионат мира-2025 взял украинца
Корреспондент
2025-06-11T18:09:02Z
Известны бои, которые предварят основной поединок Усик-Дюбуа 19 июля
Корреспондент
2025-06-11T17:18:12Z