Інженери OpenAI: «Для навчання GPT-4 тепер вистачить 5-10 людей»

За словами інженерів OpenAI, наразі для перенавчання моделі GPT-4 з нуля необхідно усього від 5 до 10 спеціалістів.

Варто зазначити, що у створенні цієї моделі, випущеної у березні 2023 року, брали участь сотні людей, були підключені майже всі ресурси OpenAI. У відповідь на запитання гендиректора компанії Сема Альтмана інженери відповіли, що наразі для перенавчання GPT-4 з нуля необхідно не більше 5-10 людей.

За словами одного зі співробітників OpenAI, який керував процесом попереднього машинного навчання для найпотужнішої на сьогодняшній день моделі ШІ компанії GPT-4.5, Алекса Пайно, у перенавчанні моделей GPT-4o та GPT-4 використовувалось багато того ж матеріалу, що і під час навчання GPT-4.5. Деніел Селсам, дослідник OpenAI, який працює над ефективністю даних та алгоритмами, згоден, що перебудувати GPT-4 тепер буде набагато простіше.

За словами Сема Альтмана, випущена у лютому нова модель GPT-4.5 стала першою, яка викликає враження спілкування з вдумливою людиною. Як зазначає Пайно, GPT-4.5 була розроблена у 10 разі інтелектуальнішою за GPT-4. У той же час Альтман заявив, що OpenAI більше не відчуває обмежень щодо обчислювальних потужностей для навчання ШІ, і це те, чого світ ще остаточно не усвідомив.

Великі технологічні компанії вкладають мільярди в інфраструктуру штучного інтелекту. Очікується, що цього року сукупні капітальні витрати Microsoft, Amazon, Google та Meta складуть $320 млрд для розширення можливостей у сфері штучного інтелекту.

У березні компанія OpenAI оголосила про закриття найбільшого в історії раунду приватного технологічного фінансування, що включає $30 млрд від SoftBank і $10 млрд від інших інвесторів, в результаті чого оцінка компанії досягла $300 млрд. У заяві компанії йдеться про те, що новий капітал допоможе OpenAI ще більше розширити свої обчислювальні потужності.

Альтман зазначає, що наразі в OpenAI зосереджуються на ефективності даних, на яких навчається ШІ. Моделі GPT є дуже ефективними при обробці інформації, але існує межа того, наскільки глибоко вони можуть зрозуміти дані.

Він пояснив, що із зростанням обчислювальних потужностей обсяг інформації починає зростати повільніше. Для вирішення цієї проблеми необхідні алгоритмичні іновації, що дозволять отримати більше користі з того ж самого обсягу інформації.

Джерело: Business Insider