MY.UAСтатьи
Большая история ChatGPT: как его хотели сделать «нетоксичным», и какую роль в его создании сыграли Илон Маск и форум Reddit
Большая история ChatGPT: как его хотели сделать «нетоксичным», и какую роль в его создании сыграли Илон Маск и форум Reddit

Большая история ChatGPT: как его хотели сделать «нетоксичным», и какую роль в его создании сыграли Илон Маск и форум Reddit

Жаркие споры вокруг ChatGPT не затихают с момента его запуска в ноябре 2022 года. Пессимисты переживают, что чат-бот на основе ИИ заменит людей и отберет у них работу. Оптимисты, наоборот, видят в этой технологии шанс поднять продуктивность работы на более высокий уровень.

Новости технологий, IT и бизнеса. Полезные и вдохновляющие истории.

Каждый день в нашем Telegram-канале. Подписывайтесь! 🙂

При этом обе стороны соглашаются, что в ближайшем будущем GPT-ассистенты изменят правила игры в самых разных сферах человеческой деятельности. А выиграют в ней только те, кто начнет использовать преимущества новых инструментов на основе искусственного интеллекта раньше других. 

Редакция MC.today выяснила, что такое ChatGPT, как его хотели сделать «нетоксичным», и какую роль во всей этой истории сыграли языковые модели, Microsoft, Т9, Илон Маск и Reddit.

Что такое ChatGPT

ChatGPT – это текстовый чат-бот на основе искусственного интеллекта, при создании которого компания OpenAI использовала новейшую языковую модель GPT-3,5. Его релиз состоялся в ноябре 2022 года, а уже в феврале сервис собрал аудиторию в 100 млн. активных пользователей.

ChatGPT — это чат-бот с искусственным интеллектом

Обучение чат-бота проходило с помощью массива текстов, который содержит более 8 млн документов, включая статьи из Википедии, новостные статьи, книги и блоги. После этого его дополнительно настроили с помощью оценки ответов экспертами.

Благодаря этому ChatGPT может общаться живым разговорным языком и обладает способностью выполнять самые разные задания – давать советы, объяснять сложные термины и генерировать тексты, которые непросто отличить от написанных человеком.

Кому принадлежит ChatGPT

В 2015 году Илон Маск (куда без него), бывший президент бизнес-инкубатора Y Combinator Сэм Альтман и соучредитель платежной компании Stripe Грег Брокман основали компанию OpenAI. 

CEO OpenAI Сэм Альтман и соучредитель OpenAI Илон Маск

Стартап задумали как неприбыльную исследовательскую лабораторию. А его основатели пообещали выделить $1 млрд. на поддержку развития безопасных для человечества систем искусственного интеллекта. Еще одной целью было заявлено противостояние крупным корпорациям.

В 2018 году Маск вышел из совета директоров OpenAI, но остался донором и сторонником компании. В официальном блоге компании говорится, что генеральный директор Tesla подал в отставку, чтобы «устранить потенциальный конфликт интересов».

А еще через год закончились донорские вливания, и фирму пришлось преобразовать в гибрид коммерческой и некоммерческой, – чтобы можно было принимать инвестиции. В блоге компания объявила, что стала корпорацией с «ограниченной прибылью».

Первым инвестором компании по иронии судьбы стала крупнейшая корпорация, против которой когда-то собирались бороться. В 2019 году Microsoft выделила OpenAI $1 млрд и получила право быть привилегированным партнером, когда дело дойдет до внедрения новых разработок.

Но самое главное, корпорация стала обладателем эксклюзивной лицензии на алгоритм генерации текста GPT-3. После этого один из пользователей Twitter пошутил, что OpenAI теперь впору переименовать в «ClosedAI». А Маск согласился, что это протиоположность открытости и OpenAI по сути захвачена Microsoft.

23 января 2023 года Microsoft и OpenAI заключили еще одну сделку на $10 млрд. По условиям контракта Microsoft будет получать 75% прибыли компании, пока не возместит свои инвестиции.

В чем разница между ChatGPT и обычными поисковыми системами

Поисковые системы, такие как Google или Bing, работают на основе алгоритмов поиска, которые обрабатывают запросы пользователей, анализируют множество сайтов и страниц в Интернете, чтобы предоставить список результатов, максимально релевантных запросу. 

Обычно эти результаты состоят из заголовков, описаний и ссылок на страницы, где может содержаться нужная информация. Чтобы добыть ее, пользователю приходится открывать и самостоятельно изучать несколько станиц.

ChatGPT лишен доступа в Интернет и опирается только на информацию из своей базы данных. Но зато предоставляет вам не список ссылок, а непосредственный ответ на вопрос, что экономит кучу времени.

В то же время данные в памяти ChatGPT ограничены 2021 годом, когда проводилось обучение модели. Поэтому узнать с его помощью, например, прогноз погоды на завтра в Киеве – не получится. Кроме того, преимущество поисковых систем в том, что они  могут находить не только текст, но изображения, видео и другие файлы, а ChatGPT этого сделать не может.

Эволюция языковых моделей: от Т9 до ChatGPT

Сравнение ChatGPT с Т9 из вашего телефона может показаться странным. Но на самом деле у них очень много общего. Обе эти технологии основаны на языковых моделях и созданы, чтобы предсказывать, какое слово должно следовать за уже введенным текстом.

Оригинальная предугадывающая система Т9 позволяла набирать текст на клавиатурах телефонов, которые состоят только из цифр. Кстати, название Т9 так и расшифровывается: Text on 9 keys, то есть набор текста на 9 кнопках.

Те самые 9 кнопок с цифрами и буквами

В конце 90-х годов прошлого века Т9 ускоряла набор текущих слов, но еще не могла предсказывать следующие слова. Но с 2010 года предиктивная технология совершила скачок. Теперь она учитывала контекст и в зависимости от предыдущих слов могла предлагать на выбор наиболее уместные варианты последующих.

Система Т9 предсказывает следующее слово

К примеру, вы печатаете в сообщении другу: «скинь мне номер». И тут в работу включается Т9. Каким-то образом система знает, что из сотен тысяч слов подойдет не «стола» или «яблока», а именно «телефона». Но как она предсказывает, какие слова нужно предлагать?

Как нейросети делают предсказания

Попробуем понять принципы работы простейших нейросетей и то, как они предсказывают зависимость одних параметров от других. Предположим, вы хотите, чтобы компьютер предсказывал доход компании в зависимости от расходов на рекламу.

Поставьте себя на место программиста. Для начала вам нужно собрать статистические данные, потом найти в них закономерности и сформировать некую математическую модель, которая их описывает. 

Если принять, что Y – это доход, а Х – расходы на рекламу, то модель примет вид известного нам со школы линейного уравнения. 

Y = k * X + b

Остается только найти коэффициенты, или параметры, уравнения k и b, чтобы получившаяся модель максимально соответствовала нашему набору данных. Если сильно упростить, то языковые модели – это набор множества подобных уравнений, которые предсказывают следующие слово Y в зависимости от слов Х в запросе.

Может показаться, что эта схема описывает толькоТ9. Ведь ChatGPT бодро выдает целые страницы текста. Но алгоритм тут один и тот же. Просто ChatGPT после каждого слова заново прогоняет через себя весь текст вместе с последним дополнением, чтобы получить еще одно слово и так до самого конца, пока не напишет связный текст.

Понятно, что в уравнениях языковых нейросетей параметров намного больше двух, как в нашем примере. Поэтому их так и называют – Large Language Models, или большие языковые модели. Например, в модели GPT-2 было полтора миллиарда коэффициентов, а в последующей GPT-3, сложно себе представить, 175 миллиардов!

2018: GPT-1

Знаменитый ChatGPT не появился на пустом месте. Он является самым последним поколением семейства GPT. Аббревиатура расшифровывается, как Generative Pre-trained Transformer – предварительно обученный трансформер для генерации текста.

Трансформер тут – не название фантастического робота, а архитектура нейронной сети, которую в 2017 году разработали исследователи Google. Именно изобретение Трансформера вывело разработку ИИ из состояния застоя.

Главная особенность новой архитектуры в ее гибкости, масштабируемости и способности к параллельной обработке данных. Это поняли инженеры из OpenAI и первыми доказали, что Трансформер можно использовать для генерации текстов. 

Их языковая модель GPT-1 легко превзошла всех своих предшественников в умении работать с большими объемами данных. Поэтому логично было развивать успех дальше. Для этого решили существенно увеличить набор тренировочных данных и количество параметров.

2019: GPT-2

Для обучения GPT-2 требовалось огромное количество текстов. И в OpenAI нашли остроумное решение: скачали все сообщения с англоязычного форума Reddit. Всего получилось около 40 Гб данных. Количество параметров тоже увеличили в 10 раз по сравнению с GPT-1 и довели до полутора миллиардов.

Дальше случилось то, что сильно удивило даже сотрудников OpenAI. Количественный рост неожиданно привел к качественным изменениям. В результате модель приобрела совершенно новые навыки: научилась писать длинные эссе с логичной структурой и решать логические задачки.

2020: GPT-3

Если количественный рост модели открывает такие возможности, то логично продолжать работу в том же направлении. Поэтому в OpenAI решили не изобретать велосипед и увеличили количество параметров по сравнению с GPT-2 сразу в 116 раз.

Количество данных увеличили не так сильно – примерно в 10 раз, до 420 Гб. Вдобавок к текстам с Reddit добавили всю Википедию и множество других интернет-сайтов. И тут разработчиков снова ждали сюрпризы. 

GPT-3 сделала качественный скачок: научилась переводить с других языков, решать математические примеры, получила возможность к пошаговым рассуждениям. Более того, в процессе обучения нейросеть сгенерировала новые взаимосвязи внутри тренировочных данных. 

Это позволяет ей успешно создавать типы текстов, которые при обучении не встречались вовсе. Теперь модель уже не нужно каждый раз учить решать конкретную задачу. Вместо этого достаточно описать проблему словами, а решение GPT-3 найдет самостоятельно.

Январь 2022: InstructGPT

При тестировании GPT-3 быстро выяснилось, что некоторые требования к языковой модели противоречат друг другу. Так, точность ответов часто несовместима с безобидностью и соответствием общепринятой морали.

Безопасность прежде всего

Например, что ИИ должен отвечать на вопрос «как сделать бомбу»? И как соблюсти баланс между нетоксичностью и желанием помочь? Сформулировать какие-то общие правила на все случаи жизни практически невозможно. Поэтому модели нужно было рассказать «что такое хорошо и что такое плохо».

Эту идею воплотили в InstructGPT, или GPT-3,5. По сути, это тот же GPT-3, который дополнительно обучили с помощью реакции людей на его ответы. Получается, что работу модели теперь можно условно разбить на две фазы: генерация ответа и изменение его таким образом, чтобы он получил высокую оценку от человека.

Ноябрь 2022: ChatGPT

Всего за пару месяцев умный бот стал темой тысяч статей, побил рекорды роста аудитории, успел вызвать нешуточный переполох в Google и заслужить титул самой важной инновации XXI века от Билла Гейтса.

100 млн. активных пользователей за 2 месяца

Причем технически он ничем кардинально не отличается от GPT-3.5, доступ к которому через API-интерфейс был возможен с января 2022 года, но особого хайпа на протяжении 10 месяцев не вызывал.

Вероятно, главный секрет ChatGPT в открытом для всех доступе и удобном интерфейсе. Но подобный интерфейс мог сделать кто угодно. Поэтому Сэм Альтман удивлен, что никто не построил на основе GPT-3,5 чат-бот до того, как это сделала OpenAI.

В чём причина популярности ChatGPT

ChatGPT – далеко не первое приложение на основе ИИ. К примеру, каждый из нас наверняка хоть однажды пользовался интеллектуальными помощниками наподобие Siri, Google Assistant или Alexa от Amazon.

Но так уж сложилось, что известной становится не первая технология на рынке, а та, что раньше становится массовой и доступной. В этом отношении запуск ChatGPT можно сравнить с появлением в продаже первого iPhone, который подарил миллионам людей совершенно новый пользовательский опыт. 

  • С помощью бота от OpenAI технология ИИ стала доступна широкому кругу людей, а не только программистам и специалистам в области машинного обучения, как было раньше. В плане доступности ChatGPT также намного обходит своего ближайшего конкурента – ИИ LaMDA от Google, пользоваться которым может только ограниченный круг людей.
  • Интерфейс приложения максимально простой, а значит задавать вопросы без труда может любой желающий. 
  • Скриншотами бесед с ChatGPT удобно делиться в мессенджерах и соцсетях. Поэтому наиболее впечатляющие примеры его возможностей быстро приобрели вирусную популярность. Люди охотно делятся удачными запросами, смеются над ошибками чат-бота и дружно негодуют, когда его ответы противоречат их убеждениям.
  • Chat GPT действительно универсальный. Он может делать всё что угодно: от составления рецептов и разработки маркетинговых стратегий до написания эссе и программного кода. 

На этом фоне интеграция Chat GPT в различные сервисы и приложения стала трендом 2023 года. Так, только 1 марта об использовании новейшего движка OpenAI в своих продуктах сообщили Snapchat, учебная платформа Quizlet и потребительское приложение Shopify. 

Сколько стоит технология и можно ли ей пользоваться бесплатно

В Украине, как и в других странах, базовой версией ChatGPT можно пользоваться совершенно бесплатно. Однако по некоторым оценкам OpenAI тратит около $3 млн в месяц, чтобы поддерживать работу оборудования. Поэтому компания вынуждена искать каналы монетизации.

Решить проблему призвана платная подписка ChatGPT Plus, о запуске которой команда OpenAI объявила 1 февраля 2022 года. За $20 ее подписчики получат

  • Доступ к ChatGPT в часы пик, из-за чего простые пользователи не могут пользоваться чатом
  • Более быстрое время отклика
  • Приоритетный доступ к новым функциям

Создатели OpenAI подчеркивают, что платная подписка обеспечивает доступ к чату для как можно большего количества бесплатных пользователей. Перейти на ChatGPT Plus можно, нажав кнопку «Обновить до Плюс» в левой части экрана. 

Чем отличаются ChatGPT, Davinci, Ada и Curie

Сегодня языковая модель GPT-3,5, на которой основан ChatGPT, является самой мощной на рынке. Однако для точной настройки доступны только разновидности прошлого семейства GPT-3 – Davinci, Curie и Ada.

Каждая из них имеет свою специализацию, отличается скоростью обработки данных, максимальной длиной запроса, стоимостью использования и другими параметрами. Напомним, что подробнее о настройках языковых моделей мы уже писали ранее.

  • text-davinci-003 – рекомендуемая по умолчанию модель с лучшим уровнем результатов. Хорошо описывает сложные взаимосвязи, решает логические задачи, делает обобщения. Максимальная длина запроса – 4000 токенов. 
  • text-curie-001 – быстрее и дешевле, чем Davinci. Может выполнять многие задачи из тех же, что и Davinci, но за меньший период времени. Модели Кюри хорошо удаются переводы, анализ тональности текста. Максимальная длина запроса – 2048 токенов.
  • text-ada-001 – самая быстрая и дешевая модель, способная выполнять простые задачи. Хороша, например, в нахождении ключевых слов. Максимальная длина запроса – 2048 токенов.
  • code-davinci-002 – отличается тем, что может понимать и генерировать программный код. Максимальная длина запроса – 8000 токенов.

По информации OpenAI, языковая модель GPT 4 будет иметь от 175 до 280 миллиардов параметров. Ожидают, что ее отличительной особенностью станет встроенная технология распознавания лиц для анализа эмоций клиентов и соответствующей корректировки разговора.

Во время интервью Youtube-каналу StrictlyVC основатель OpenAI заявил, что GPT-4 выйдет тогда, когда «разработчики будут уверены в том, что сделают все безопасно и ответственно». Но The New York Times предполагает, что это может произойти уже в первой половине 2023 года.

 

Поделиться
Поделиться сюжетом
Источник материала
Святковий wishlist популярних українських візажисток
Elle
2024-12-23T15:03:48Z
Образ дня: Мадонна показує, як носити трендову шубу від українського бренду
Elle
2024-12-23T14:51:58Z
Таню Муіньо підкорює світ
Elle
2024-12-23T12:36:41Z
Хто такий Рафал Лемкін та чому його імʼям назвали вулицю у Львові
Photo Lviv
2024-12-23T06:04:06Z
Чому варто завітати до київського ресторану БАВОВНА
Elle
2024-12-22T10:01:04Z
Валерій Залужний написав свою першу книгу мемуарів - видання вже побачило світ
Ukraine Art News
2024-12-20T19:09:38Z
Директорку музичного лейбла підозрюють у несплаті 1,5 млн грн роялті. За даними ЗМІ, потерпіла - вдова Кузьми Скрябіна
Ukraine Art News
2024-12-20T14:09:41Z
Нові обрії: «ELLE Україна» презентує новий номер з Таню Муіньо на обкладинці
Elle
2024-12-18T09:48:45Z
СолоХа обурилась, що не пройшла на Нацвідбір, і заявила, що треба заборонити артистам брати участь удруге
Ukraine Art News
2024-12-16T11:45:51Z
Виставка Сипняка відкрилась у Львівській філармонії
Photo Lviv
2024-12-25T06:07:03Z
Вибір ELLE: небанальні подарунки для оселі й дозвілля
Elle
2024-12-24T11:51:53Z
Різдво та Новий рік 2025 в Києві: гід найцікавішими заходами
Хмарочос
2024-12-24T11:31:12Z
У Києві проведуть благодійну Маланку
Хмарочос
2024-12-24T11:25:02Z
Українські книжки передали Національній бібліотеці Азербайджану
Ukraine Art News
2024-12-24T11:22:06Z
Подорож у минуле: історія металевої сумки Paco Rabanne 1969
Elle
2024-12-24T10:12:59Z
В Івано-Франківську провели конкурс на найкращий підлітковий урбан-проєкт. Перемогли школярі з Вінниці
Хмарочос
2024-12-24T10:10:36Z
Харківський оркестр Prime Orchestra розпочав турне Туреччиною
Ukraine Art News
2024-12-24T10:10:20Z
Фонд Нормана Фостера оголосив результати конкурсу на відновлення будівлі Харківської ОДА. Що з ними не так?
Хмарочос
2024-12-24T09:37:12Z
Твій watch-list на канікули, подарунки на Титрі і добра справа на свята
Cineast
2024-12-25T00:40:10Z
Як ми осмислювали «10 років триденної війни, яка триває три сторіччя»: підсумки 21 Мандрівного Docudays UA
Cineast
2024-12-25T00:32:25Z
Доктор, леді Віслдаун та динозаври зустрічаються у фрагменті різдвяної серії «Доктора Кто»
KinoFilms
2024-12-24T12:42:29Z
Вийшов трейлер серіалу "Нульовий день", в якому Роберт Де Ніро грає експрезидента США
Ukraine Art News
2024-12-24T12:30:47Z
Убивство українки Гатчінс: прокуратура припинила кримінальну справу Алека Болдвіна
Ukraine Art News
2024-12-24T11:45:56Z
Universal Pictures розкрила подробиці про новий фільм Нолана
Ukraine Art News
2024-12-24T10:30:48Z
🌟RIBBON та Decentralized Pictures оголошують Повний Короткий: конкурс проєктів короткометражних фільмів для підтримки українських кінематографістів!
Cineast
2024-12-24T00:42:51Z
Режисерка фільму «Все, що ми уявляємо як світло» Паял Кападія задонатила свій грошовий приз на потреби організації «Бульдозер», що доправляє загиблих військових додому
Cineast
2024-12-24T00:31:19Z
Пітчинг Української Кіношколи: молоді кінематографісти представили відомим продюсерам свої проєкти
Cineast
2024-12-24T00:28:05Z
Лісовий будинок із вініловим програвачем і бібліотека з гамаками: під Києвом будують глемпінг на 100 номерів
Хмарочос
2024-12-23T09:46:55Z
Реконструкція Орбана: Будапешт зводить репліки на місці втрачених історичних будівель
Хмарочос
2024-12-23T06:34:01Z
На ВДНГ відкрили теплу спортивну локацію
Хмарочос
2024-12-22T10:51:44Z
В Парижі зменшили швидкість на кільцевій з 70 до 50 км/год. Тепер в місті менше аварій, заторів, шуму та забруднення
Хмарочос
2024-12-19T13:57:49Z
Як саудівський мегапроєкт у пустелі витісняє місцевих жителів: їх виганяють під дулами автоматів
Хмарочос
2024-12-19T07:04:38Z
Місто, засноване попри логіку
Photo Lviv
2024-12-19T06:12:26Z
У Канаді відкрили нову «Українську книжкову поличку»
Ukraine Art News
2024-12-18T11:54:53Z
Польща допоможе з відновленням унікальної вілли у Львові після вересневого обстрілу
Хмарочос
2024-12-18T08:21:48Z
Площа у місті Лодзь отримала звання кращого громадського простору Польщі 2024 року
Хмарочос
2024-12-17T12:39:50Z
До студії каналу Еспресо принесли Вифлеємський вогонь миру
Ukraine Art News
2024-12-25T06:15:58Z
Як святкували Різдво у Львові з часів заснування міста
Photo Lviv
2024-12-25T06:12:45Z
В області вшановували пам’ять членів ОУН Василя Біласа та Дмитра Данилишина
Photo Lviv
2024-12-25T06:00:46Z
Чому сонцезахисний крем необхідний щодня?
Photo Lviv
2024-12-25T05:57:31Z
Уряд пропонує позбавити державного захисту російську та білоруську мови
Ukraine Art News
2024-12-24T20:31:00Z
15 beauty-подарунків на будь-який бюджет до Нового року — 2025
Elle
2024-12-24T20:15:44Z
Неформат, або "Дєвочкі на культурку"
Ukraine Art News
2024-12-24T19:01:04Z
Із ходою й колядою: у Львові встановили традиційний чотириметровий дідух
Ukraine Art News
2024-12-24T17:15:41Z
Різдвяно-новорічний wishlist українських захисниць
Elle
2024-12-24T17:15:40Z
Огляд слота Tiki Reward
Cineast
2024-12-25T00:47:46Z
Чого старше покоління може повчитися в «тупих дітей»
Ukraine Art News
2024-12-22T17:00:53Z
«Еталон» зробив перший електробус на основі дизельної моделі
Хмарочос
2024-12-21T08:48:59Z
Ілон Маск заявив, що може сполучити США та Британію тунелем під океаном
Хмарочос
2024-12-20T10:25:09Z
Де купувати книжки: сервіс MEGOGO запускає онлайн-книгарню
Elle
2024-12-17T13:33:50Z
«Укрзалізниця» відремонтує два «Тарпани» за 245 мільйони гривень
Хмарочос
2024-12-17T08:40:09Z
В Україні створять національну мережу зарядних станцій для електромобілів
Хмарочос
2024-12-15T10:24:53Z
Одещина отримала новий візуальний стиль. Депутати спершу нічого не зрозуміли
Хмарочос
2024-12-14T07:13:05Z
Рецепт ідеального узвару: корисний для імунітету напій, без якого неможливо уявити різдвяну вечерю
Elle
2024-12-24T10:45:44Z
Різдвяне меню: штолен, який виходить у всіх
Elle
2024-12-20T20:24:35Z
Королівський пляцок-пиріг: смачно через віки
Ukraine Art News
2024-11-15T09:30:48Z
Секрети приготування смачного бургера в домашніх умовах
Photo Lviv
2024-10-24T04:57:29Z
Дуже смачна лазанья з козячим сиром
Elle
2024-09-23T13:39:47Z
Сезонний десерт: хрустка та ароматна сливова галета
Elle
2024-09-19T07:32:19Z
Ідеальний соус до будь-яких страв: чатні з помідорів
Elle
2024-09-17T16:04:06Z
Від Бенедикта до шакшуки: 7 смачних способів приготування яєць
Elle
2024-09-13T11:13:30Z
Фетучіні зі шпинатом і сиром горгондзола
Elle
2024-08-30T13:09:44Z