Искусственный интеллект DeepMind победил людей в кооперативной игре Quake III Arena
Агенты нейросети тренировались на тысячах игр одновременно, проведя около 450 тысяч матчей.
Сотрудники британской компании DeepMind, которая с 2014 года принадлежит Google, опубликовали статью в журнале Science, посвященную успехам их искусственного интеллекта. На этот раз они смогли натренировать алгоритм на командную игру в режиме «Захват флага» мультиплеерного шутера Quake III Arena. Команда из агентов ИИ в подавляющем количестве игр победила команду людей.
Для тренировки агентов специалисты использовали обучение с подкреплением — метод машинного обучения, при котором система учится, взаимодействуя со средой. Авторы статьи пишут, что этот метод успешно зарекомендовал себя в обучении одного агента, но они хотели узнать, насколько он успешен при командной работе.
В качестве платформы они выбрали мультиплеерный шутер от первого лица Quake III Arena, но задали свои условия игры. Во-первых, карты каждый раз генерируются случайно. Во-вторых, в матче принимают участие только четыре игрока: по два с каждой стороны. Соревнование проходит только в одном режиме — «Захват флага»: каждая из команд должна одновременно защитить свой флаг, захватить флаг оппонентов и принести на свою базу. Реакцию системы снизили до средних показателей человека.
Авторы тренировали 30 агентов. Тренировка происходила благодаря многотысячным параллельным партиям, которые отыгрывали агенты. При этом каждый агент представлял собой индивидуальную единицу, которая действует самостоятельно, исходя из обучения с подкреплением. Специалисты также демонстрируют филогенетическое дерево, которое строится в ходе этого обучения.
После тренировок алгоритмы сыграли несколько партий с командой людей. Обе команды играли на неизвестных для них картах. Пара агентов за игру в среднем захватывала на 16 флагов больше, чем пара людей. Только когда человек играл в партнерстве с искусственным интеллектом, ему удавалось выиграть у объединения алгоритмов (5% вероятности победы).
Профессор Технологического колледжа Джорджии Марк Ридл (Mark Riedl) раскритиковал такой подход британской фирмы, сказав, что агенты не обмениваются сообщениями, а лишь реагируют на те события, которые происходят в игре. Однако представитель DeepMind Макс Джадерберг (Max Jaderberg) возразил:
«[В нашей симуляции] один из агентов сидит в лагере противника, ожидая, когда вновь появится флаг, это возможно только потому, что он полагается на своего партнера по команде».
Джадерберг говорит об одной из тактик искусственного интеллекта, выработанной тем в ходе обучения, которая предполагает ожидание появления нового флага в лагере оппонента. Ее часто используют и люди.
В январе DeepMind сообщила, что ее искусственный интеллект AlphaStar одолел двух профессиональных игроков в стратегию StarCraft II, проходящую в реальном времени.
Многие считают зимнее купание «церковным обычаем». Однако на деле Церковь всегда выступала против него, считая нехристианским, и вредным для здоровья. При всей внешней разумности этой позиции, на самом деле, такие купания могут быть даже полезны — но не для всех. Выясняем, как именно и почему.
Возраст планеты, на которой мы живем, – примерно 4,54 миллиарда лет. И большую часть этого времени она была совершенно не похожа на ту Землю, которую мы знаем. Даже самые экзотические планеты за пределами Солнечной системы, возможно, не столь интересны, как наша родная в некоторые моменты ее истории. Наденем скафандр, сядем в машину времени – и представим себя инопланетными путешественниками, посетившими нашу систему в ее ранние времена.
Очевидно, Россия ведет разработку новой легкой авиационной ракеты, которую можно будет применять для поражения широкого спектра морских и наземных целей.
Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.
Многие считают зимнее купание «церковным обычаем». Однако на деле Церковь всегда выступала против него, считая нехристианским, и вредным для здоровья. При всей внешней разумности этой позиции, на самом деле, такие купания могут быть даже полезны — но не для всех. Выясняем, как именно и почему.
Старший научный сотрудник лаборатории «Гербарий» БИ ТГУ Вера Костикова совместно с новосибирскими коллегами выявила ценные лекарственные свойства у спиреи – кустарника, используемого в озеленении городов и дачных участков. Фитохимическое исследование показало, что растение обладает противовирусной и антиоксидантной активностью, что делает его перспективным для использования в медицине.
ТГУ Исследователей в очередной раз удивили привычки кошек: как оказалось, они не прочь питаться одним человеческим трупом на протяжении месяца, несмотря на наличие других тел.
Многие считают зимнее купание «церковным обычаем». Однако на деле Церковь всегда выступала против него, считая нехристианским, и вредным для здоровья. При всей внешней разумности этой позиции, на самом деле, такие купания могут быть даже полезны — но не для всех. Выясняем, как именно и почему.
Вашингтон и Тегеран близки к войне как никогда за последние годы. Но, скорее всего, США не пойдут дальше ограниченных ударов. Слишком уж неприятные последствия имели предшествующие силовые операции Штатов в Иране. Попробуем разобраться, что именно их остановит на этот раз.
Комментарии
Планетарий №1 
Правое полушарие интроверта 
МГУ имени М. В. Ломоносова 
Человек наук 
IT-Events 
Наука и образование ON-LINE 
Парк науки ННГУ 
Инфофорум 
TEDxPokrovkaSt 
Фонд развития цифровой экономики 
Комитет по туризму города Москвы 
Теплица социальных технологий 
Олимпиада НТИ 
Gamedev Events NSK 
Гарант Групп 
ЦВК «Экспоцентр» 
Уральский федеральный университет 
ООО «ОМГ»