Dota 2

Тимлид OpenAI: «Сначала мы хотели интегрироваться в LoL, но в Dota 2 более важна стратегия»
Тимлид Open AI Шимон Сидор рассказал, как они смотрели твич, чуть не выбрали League of Legends и выдавали награды ботам за добивание крипов. А также Шимон рассказал про единственную преграду перед интеграцией Open AI в Доту.

Почему Dota 2

Независимые разработчики заявляют — в Доте важна стратегия, в LoL это не так важно.

«Было много независимых причин. Изначально мы просто хотели понять, сможем ли появиться в любой популярной игре. Мы просматривали стримы на Twitch, чтобы найти самую популярную игру. Думаю, в то время League of Legends была на первом месте, а Dota 2 – на втором.

Но доту проще интегрировать, проще работать с программным обеспечением. Так что мы решили выбрать доту! После принятия решения мы обнаружили еще больше причин в пользу работы с дотой. Valve – очень хорошая компания для сотрудничества, к тому же, в доте более важна стратегия, чем в LoL».

Как учатся боты Open AI

Всё, как в самой популярной книге — сначала не было ничего. Ботов тренируют, как собак — выдают награды и говорят, что нужно делать, но не объясняют как.

«Мы используем технологию обучения с подкреплением. Она основывается на наблюдении, действиях и наградах. Ботам нужно что-то увидеть, они могут выбрать действия из определенного перечня и получить награду за хорошее поведение. Когда они только начинают, они передвигаются по базе случайным образом. Потом они могут подойти ближе к линии и добить крипа, за это они будут награждены золотом. Они будут довольны и повторят действие снова.

Но бот может зайти слишком далеко, умереть от башни – так он научится держать дистанцию, таким образом боты развиваются. Но все начинается с полного рандома, нет никаких настроек для первой игры.

Мы сообщаем ботам, что победа – это хорошо. Мы также устанавливаем другие индикаторы вроде того, что добивать крипов – хорошо. Но мы не говорим ботам, как нужно добивать крипов. Им нужно выяснить это самостоятельно. Если они справятся с этим, это здорово!»

Что дальше

Единственная преграда перед интеграцией в Доту — разработчики не уверенны, что смогут поддерживать свою разработку.

«Мы рассматриваем интеграцию OpenAI в клиент доты. Но это сложная задача, которая потребует постоянного обслуживания. Мы не уверены, будут ли у нас необходимые ресурсы, так что не даем никаких обещаний. Если мы сможем осуществить это, то сможем установить различные уровни OpenAI, при которых будет казаться, что вы играете с человеком. Таким образом, даже игроки с 2-3 тысячами рейтинга смогут насладиться игрой против ботов».

Lol OpenAI