Гибридная нейросеть превзошла человека в Ms. Pac-Man — Naked Science
5 минут
Редакция

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 18:44
47 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

11 часов назад
6 минут
Мария Азарова

Как оказалось, для позитивного настроя достаточно одних лишь движений мышц, задействованных в момент улыбки.

Вчера, 15:30
6 минут
Мария Азарова

Автор нового исследования выдвинул гипотезу о том, как SARS-CoV-2 распространяется через сеть белок-белковых взаимодействий субдиффузионным способом и поэтому поражает только определенные органы.

Вчера, 18:44
47 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

Позавчера, 11:44
11 минут
Мария Азарова

Президент подчеркнул, что препарат, созданный российскими специалистами, успешно прошел все этапы испытаний и доказал свою эффективность в борьбе с вирусом.

10 августа
9 минут
Мария Азарова

Будут ли в России осенью вновь вводить ограничения по Covid-19? Есть ли люди, перенесшие коронавирус, но организм которых почему-то не выработал антитела? На эти и многие другие вопросы попытался ответить российский ученый-медик Арег Тотолян.

22 июля
66 минут
Александр Березин

С 2064 года численность людей начнет сокращаться — и этот процесс может быть необратим. Один из авторов соответствующей научной работы прямо указывает: если ничего не изменится, через несколько веков человечество вымрет. Однако есть вещи и похуже вымирания. Куда вероятнее иной сценарий: мир будет заселен теми, кто сможет размножаться в новых культурных условиях. К сожалению, значительная часть современных европейцев, американцев и, возможно, других народов будут вытеснены с первых страниц истории. Вдобавок те, кто победят в этой непростой борьбе, нам, сегодняшнему населению Земли, могут сильно не понравиться. Попробуем разобраться почему.

31 июля
9 минут
Sergei Sobol

Сейчас, когда многие вокруг задумываются, а не попробовать ли что-то новое и не сменить ли профессию, программирование точно одно из тех направлений, к которому стоит присмотреться. Может, вы об этом уже думали?

6 августа
31 минута
Николай Цыгикало

Трагическая новость о взрыве огромной силы в Бейруте, занявшая первые строчки новостных ресурсов, вызывает естественные вопросы: как это могло произойти, что там взорвалось, в силу каких факторов возможны подобные происшествия? Чтобы разобраться, взглянем пристальнее на свойства аммиачной селитры и связанные с ней опасные моменты.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: