15.06.2017
Редакция Naked Science

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 09:23
Сергей Васильев

Биологи обнаружили, что обширные скопления пластика позволяют прибрежным животным осваивать открытое море, прежде для них недоступное, и распространяться по всем уголкам океана.

2 декабря
Илья Ведмеденко

ВВС Китайской Республики (Тайваня) получили первый учебно-боевой самолет Т-5 Brave Eagle. Машину разработали на основе легкого истребителя F-СК-1 Ching-kuo.

2 декабря
Василий Парфенов

Пару недель назад Международная космическая станция разменяла 23-й год своего существования на орбите. И хотя далеко не все ее модули насчитывают и десяти лет эксплуатации, конструкция в целом давно вызывает опасения в надежности. В числе прочего американскую сторону особо волнуют недавние неполадки в российском сегменте. Их считают предвестником серьезного препятствия человеческой экспансии в космос — когда мы лишимся важнейшего форпоста на орбите Земли, а замены ему еще не появится.

29 ноября
Василий Парфенов

Польские ученые-полярники засняли редкое событие — охоту полярного медведя не на морскую добычу, а наземную. Правда, молниеносная атака все равно произошла в воде. Подобное поведение северного хищника впервые удалось запечатлеть на видео.

30 ноября
Сергей Васильев

Ультрагорячий юпитер TOI-2109b находится в 20 раз ближе к своей звезде, чем Меркурий – к Солнцу, и на его дневной стороне легко расплавится и железо, и сталь.

29 ноября
Мария Азарова

Всемирная организация здравоохранения предупредила о серьезных последствиях, если возникнет очередная масштабная вспышка Covid-19, и посоветовала властям усилить ограничительные меры из-за распространения нового штамма коронавируса с большим числом мутаций.

12 ноября
Мария Азарова

Кошки оказывались сбиты с толку, когда их человек, как им казалось, «телепортировался» в новое, неожиданное место. Однако они не реагировали таким же образом на чужих людей или других животных.

25 ноября
НИУ ВШЭ

Мобильные ученые публикуются в индексируемых журналах в два раза чаще. К такому выводу пришли исследователи из НИУ ВШЭ.

18 ноября
Ольга Иванова

Группа исследователей из Китая и США выявила дополнительный фактор, который мог способствовать самому крупному вымиранию на планете.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: