Компьютер освоил тактику StarCraft

Последние разработки в области искусственного интеллекта позволили создать алгоритмы, которые способны превосходить человека в различных играх. Так, ранее программа AlphaGo победила одного из сильнейших игроков мира в го. В январе 2017 года программа Libratus впервые одолела четырех профессиональных игроков в покер в рамках 20-дневного турнира Brains Vs. Artificial Intelligence: Upping the Ante. Однако в некоторых играх с неполной информацией, в частности в StarCraft, машины по-прежнему уступают человеку.

В новой статье сотрудники китайской компании Alibaba Group и Университетского колледжа Лондона описали прогресс программы, которая использует для обучения двунаправленно-скоординированную сеть (BiCNet) на базе рекуррентных нейросетей. По мнению исследователей, алгоритм оптимально подходит для взаимодействия и тренировки с несколькими агентами.

Представленная программа самостоятельно освоила микроконтроль юнитов во время ведения боя в StarCraft. На этапе обучения авторы использовали тестовые сражения: например, с тремя пехотинцами против зерлинга с большим запасом здоровья. В первых матчах пехотинцы, убегая от противника, сталкивались друг с другом, но спустя более чем 40 тысяч шагов и 50 сессий они научились эффективно разбегаться. Помимо относительно свободного перемещения агентов в ситуации столкновения с врагом программа также научилась разным тактикам ведения боя. Например, она освоила тактику «Ударил-убежал», которая заключается в дистанционной атаке противника с удержанием условно безопасного расстояния. Кроме того, компьютер начал использовать более сложный маневр — атаку прикрывающим огнем, когда юниты временно придерживаются тактики «Ударил-убежал», но продолжают вести сосредоточенный огонь после того, как противник выбрал одного из них в качестве основной мишени.

Также разработчики показали, что программа научилась сосредоточенному огню по отдельным целям малыми группами, что повышает эффективность уничтожения юнитов противника. Компьютерный игрок освоил и ведение боя с поправкой на возможности разных классов агентов: так, он использовал десантные корабли, чтобы скрыть танки от ультралисков и рассредоточил своих юнитов во время боя с муталисками — это снизило риск поражения снарядами-симбионтами сразу нескольких юнитов. Между тем отмечается, что активный микроконтроль повышает вероятность победы в бою, однако помимо этого StarCraft предполагает принятие стратегических решений, в том числе об оборудовании баз и распределении ресурсов. Более широко оценить успехи программы можно будет после испытаний на специальных соревнованиях Starcraft AI Competition.

Исследование опубликовано на сервере препринтов arXiv.org.

Ранее психологи определили критерии, которые отличают опытных игроков в StarCraft. Кроме освоения горячих клавиш с мастерством оказались связаны скорость действий и уникальный стиль игры.