Гибридная нейросеть превзошла человека в Ms. Pac-Man
5 минут
Редакция

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
9 часов назад
2 минуты
Илья Ведмеденко

В США впервые с момента вывода из эксплуатации челнока Space Shuttle выполнили запуск пилотируемого космического корабля. Сейчас Crew Dragon от компании SpaceX находится на пути к Международной космической станции.

Вчера, 15:36
33 минуты
Александр Березин

Александр Мясников, глава Информационного центра по мониторингу ситуации с коронавирусом, заявил, что «вирус как бы фильтруется через наши иммунные силы, <...> каждый раз, попадая в очередной организм, дальше идет немного ослабленный». В связи с этим он ожидает отступления волны заражения «самой по себе». Однако целый ряд научных исследований — да и опыт пандемии «испанки» — указывают на другой, менее благостный сценарий. Попробуем разобраться, что считает наука по поводу некоторого спада в числе зараженных в России: почему он идет и когда ситуация может развернуться вспять.

Позавчера, 18:07
10 минут
София Жаботинская

Таковы итоги первой фазы клинических испытаний, проведенных исследователями из Китая. Ученые уже развернули вторую фазу тестов, результаты которой станут известны через шесть месяцев.

26 мая
2 минуты
Илья Ведмеденко

По словам источников в ОПК, российские авиастроители приступили к производству опытного стратегического бомбардировщика-«невидимки».

26 мая
8 минут
Мария Азарова

Тесты решили приостановить для проверки безопасности этих двух препаратов в контексте использования их в лечении пациентов с коронавирусной инфекцией. Поводом послужило исследование в журнале The Lancet, авторы которого заявили, что больные Covid-19, принимавшие гидроксихлорохин и хлорохин, оказались подвержены более высокому риску смерти и проблем с сердцем, чем контрольная группа.

26 мая
5 минут
Илья Ведмеденко

По словам источника в оборонно-промышленном комплексе, первый запуск новой российской ядерной торпеды состоится осенью 2020-го.

14 мая
6 минут
София Жаботинская

Две-три чашки кофе в день обеспечивают уменьшение как подкожного, так и висцерального жира у женщин — по сравнению с теми, кто пьет кофе реже или не пьет совсем.

18 мая
47 минут
Александр Березин

«Новая газета» обратила внимание, что в статистике столицы — эпицентра коронавирусной эпидемии в России — в апреле 2020 года виден аномальный всплеск смертей. Он в разы превышает официальные цифры гибели людей от Covid-19. Власти опять скрывают? Naked Science внимательно присмотрелся к ситуации и обнаружил, что дело совсем в другом факторе, никак не связанном с новой болезнью. Рассказываем, о чем речь.

2 мая
40 минут
Александр Березин

Криптовалюты защищены от инфляции, обесценивающей даже доллар всемеро за полвека. Их второе поколение – пока состоящее из одного только дуровского грама – еще и сможет быть повседневным средством платежей, что недоступно для биткойна. Вроде бы, все хорошо, но на самом деле внедрение конкретно этой новой технологии обещает большие потрясения всем экономикам мира. Если, конечно, Штаты не остановят этот чрезмерно амбициозный проект. Попробуем разобраться, какой из этих вариантов вероятнее.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: