Разработчик OpenAI: «Мы рассматриваем возможность интеграции ИИ в клиенте Dota 2»

Команда разработчиков искусственного интеллекта для Dota 2, OpenAI — одна из самых инновационных вещей, которые мы могли наблюдать в последний год.

Еще на TI7 бот без проблем одолел Даниила Dendi Ишутина в очном поединке, а в начале августа 2018 года оперативно расправился с командой из англоязычных комментаторов и аналитиков в которую вошли Merlini, Blitz, Fogged, Capitalist и Moonmeander.

На главном турнире года, The International 2018, OpenAI выступил против PaiN Gaming и сборной команды китайских легенд Доты.

Несмотря на то, что в обоих случаях бот потерпел поражение, матчи смотрелись с интригой до 25-30 минуты.

Один из разработчиков ИИ, Шимон Сидор дал интервью VPEsports, в котором детальнее рассказал о создании бота.

Он также заверил, что над пресечением апокалипсиса в духе «Терминатора» или «Матрицы» работает целая группа людей.

— Привет, Шимон! Спасибо, что нашли время поговорить с нами.

Какую позицию вы занимаете в OpenAI?.

— Я возглавляю команду разработчиков ИИ по Dota 2.

— О, интересно! Начнем с самого начала.

Как появилась сама концепция команды разработчиков OpenAI или героя? На TI7 вы представили бота Shadow Fiend, который победил много профессиональных игроков.

В этом году вы представили целую команду OpenAI на TI.

Почему вы решили сделать это?.

— Было много независимых друг от друга причин, которые продолжали накапливаться.

Первоначально мы просто хотели узнать, сможем ли мы достичь хорошего результата в любой популярной видеоигре.

Я думаю, что в то время Лига Легенд была в топе, а Dota 2 была второй.

Но в Dota 2 проще интегрировать данные, проще работать с программным обеспечением.

Поэтому мы решили начать с Доты! После принятия такого решения мы нашли еще много причин в его поддержку.

Valve – компания с хорошим именем, с которой можно сотрудничать, также люди говорят, что в Dota 2 стратегический аспект более выражен, чем в Лиге Легенд.

— Легкость в работе с Valve была основной причиной, по которой вы выбрали Dota 2, а не Лигу Легенд?.

— Это была главная причина, из-за которой мы зашли так далеко в этом проекте.

Я уверен, что игры от Riot Games были бы очень полезны для нашей работы, но мы так и не пошли к ним.

— Вы сами сказали, что Dota 2 более стратегически развитая игра, чем League of Legends.

Учитывая, что вы впервые делали это в жизни, разве не легче было бы тогда начать именно с LoL? Или команда OpenAI Dota 2 хотела сразу взяться за крепкий орешек?.

— Потенциально, с LoL, возможно, было бы проще работать.

Но мы были более амбициозными, и хотели, чтобы задача была более сложной.

Причина, по которой мы выбрали Доту, заключалась в том, что не было очевидного способа выполнить нашу задачу.

Поэтому в начале проекта мы понятия не имели, как решить поставленную проблему.

— Кто-нибудь из команды OpenAI до этого проекта играл в Dota 2 раньше, или вы начали уже после того, как проект был запущен?.

— Да, Якуб, который был со мной в студии на TI8, играл как в Dota 2, так и в League of Legends.

У многих других в компании наиграны тысячи часов в Dota 2.

Я начал играть уже после старта проекта и тоже наиграл около тысячи часов.

И я не горжусь этим! Но я чувствую, что много узнал об игре, наблюдая за ботами.

— Разве мы такие плохие? Я помню, как команда OpenAI заявила, что боты учатся на своих предыдущих ошибках и исправляются.

Чему вы их научили перед самой первой встречей?.

— На самом деле, нет.

Используемая технология — это обучение подкреплениям.

Он основан на наблюдениях, действиях и вознаграждениях.

Боты должны что-то увидеть, предпринять некие действия из определённого списка, а затем они получают «вознаграждение» за хорошее поведение.

Первоначально, когда они только начинали играть, они случайным образом выбирали действия из базы данных.

Вот они видят крипов на линии, добивают их, за что получают награду в виде золота.

Поэтому они будут «счастливы» и сделают это снова.

Но иногда бот может зайти слишком далеко, умереть от вражеской башни и таким образом научится дистанцироваться от вышек.

Вот так боты медленно эволюционируют.

Но начало совершенно случайно.

Никакой первоначальной загрузки не происходит.

— Но вы же должны указать боту на его конечную цель? В 1х1, цель состоит в том, чтобы уничтожить башню.

В 5х5 цель состоит в том, чтобы разрушить вражеский Трон….

— Да, конечно.

Это награда.

Мы указываем ботам, что если вы выиграете игру, это положительный результат.

Мы также задаем им некоторые другие данные, вроде добивания крипов.

Но как именно добивать крипов, мы не рассказываем.

Нужно, чтобы они сами это выяснили.

Если им удастся это сделать, это хорошо!.

— Очень интересно.

Я не могу представить, какие усилия и мыслительный процесс идут за этим.

За год OpenAI развилась из дуэлей на миду в целую команду OpenAI, которая в состоянии сражаться с профессиональными игроками по Dota 2.

Насколько это было сложно?.

— Это было очень сложно.

Это потребовало много новых инноваций.

Существует длинный список вещей, которые нужно было учесть.

Чтобы привести пример, существует индикатор командного духа, о котором мы рассказали в студии на TI8.

Первоначально мы учим ботов быть эгоистичными, как в типичном пабе! В конце концов, мы делаем их все больше и больше похожими на товарищей по команде, пока в самом конце они не станут абсолютно бескорыстны.

В прошлом году ИИ победил Dendi на TI7.

— Должен быть вы в процессе.

Сколько героев может контролировать программа OpenAI сейчас? Порядок покупки предметов заранее задан у героев?.

— На данный момент OpenAI может выбирать между 18 героями.

Да, порядок покупки предметов заранее определен, но мы работаем над тем, чтобы выбор артефактов зависел от позиции и игровой ситуации.

— Ранее вы говорили, что всё это делается ради исследования.

Кто является инвесторами OpenAI?.

— У нас много вкладчиков и инвесторов.

Одним из первых вкладчиков является Илон Маск ….

— В этом году команда OpenAI заставила Pain Gaming вспотеть.

Возможно, в следующем году они смогут уже победить Pain Gaming.

Таким образом, боты будут продолжать улучшаться.

Те знания и тот прогресс, который вы заработаете в Dota 2, реализуете ли вы их в любой другой отрасли?.

— О да, мы уже используем эту технологию в других местах.

Одной из вещей, которые мы сделали на основе программного кода в Доте, стала манипуляция роботами.

— Теперь важный вопрос с точки зрения сообщества: будет ли программное обеспечение OpenAI доступным для сообщества, чтобы играть против ботов?.

— Мы рассматриваем возможность интеграции OpenAI в клиенте Dota 2.

Но это сложная задача, которая потребует постоянного обслуживания.

Мы не уверены, что у нас будут ресурсы, поэтому мы не даем никаких обещаний.

Если мы продолжим работать в этом направлении, то хорошим нюансом является то, что мы сможем регулировать сложность OpenAI, чтобы боты ощущались как настоящие люди по ту сторону экрана.

Таким образом, даже 2k-3k MMR-игроки смогут попробовать свои силы против ботов.

— Считаете ли вы, что работа, выполняемая с ИИ, может повлечь последствия как в фильме «Матрица»? Возможно не сразу, но через несколько лет развития ИИ возьмёт под контроль человечество, или будет обладать достаточной силой для этого?.

— У искусственного интеллекта есть много рискованных исходов.

Сценарий, который вы описали, считается наиболее вероятным.

Нам также нужно беспокоиться о пользователях со злыми намерениями.

Существует несколько вещей, о которых стоит беспокоиться, и, как вы сказали, срочных опасностей нет.

В случае с OpenAI у нас есть специальная команда по безопасности, где мы рассматриваем эти проблемы.

Читать на языке оригинала здесь.