• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
15.06.2017, 13:00
Редакция Naked Science
447

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia / Автор: Milonia Larcius

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

6 декабря, 17:02
Максим Абдулаев

Зоологи из Университета Нового Южного Уэльса выяснили, что слоны Ботсваны реагируют на жужжание пчел гораздо спокойнее, чем их сородичи в Восточной Африке. Это открытие осложняет внедрение экологичных методов защиты урожая: то, что пугает животных в Кении, здесь может не сработать.

8 декабря, 13:38
Александр Березин

Новые материалы позволяют построить атомные реакторы и для полетов в космос, и для получения зеленой и более дешевой электроэнергии на Земле. Технологии, лежащие в основе их создания, помогают даже выращивать биологические ткани для замены поврежденных. Мы поговорили обо всем этом с научным руководителем направления «Материалы и технологии» Госкорпорации «Росатом», первым заместителем директора частного учреждения «Наука и инновации» Алексеем Дубом.

8 декабря, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

6 декабря, 17:02
Максим Абдулаев

Зоологи из Университета Нового Южного Уэльса выяснили, что слоны Ботсваны реагируют на жужжание пчел гораздо спокойнее, чем их сородичи в Восточной Африке. Это открытие осложняет внедрение экологичных методов защиты урожая: то, что пугает животных в Кении, здесь может не сработать.

8 декабря, 13:38
Александр Березин

Новые материалы позволяют построить атомные реакторы и для полетов в космос, и для получения зеленой и более дешевой электроэнергии на Земле. Технологии, лежащие в основе их создания, помогают даже выращивать биологические ткани для замены поврежденных. Мы поговорили обо всем этом с научным руководителем направления «Материалы и технологии» Госкорпорации «Росатом», первым заместителем директора частного учреждения «Наука и инновации» Алексеем Дубом.

29 ноября, 12:42
Александр Березин

Позавчера, 27 ноября 2025 года, при запуске космонавтов к МКС на стартовую площадку № 31 упала кабина обслуживания стартового комплекса. Это означает, что новые пуски оттуда до починки невозможны. К сожалению, в 2010-х годах, в рамках «оптимизации» расходов, резервную площадку (с которой летал Юрий Гагарин) упразднили. Поэтому случилось беспрецедентное: в XXI веке страна с пилотируемой космической программой осталась без средств запуска людей на орбиту. Пока ремонт не закончится, проблема сохранится. Чем это может грозить?

27 ноября, 20:20
Максим Абдулаев

Японские биологи повторили античную технологию производства вина из изюма, чтобы выяснить механизм его брожения. Исследователи показали, что сушеный виноград, в отличие от свежего, накапливает на поверхности дикие дрожжи и способен превращать воду в алкоголь без внесения дополнительных заквасок.

20 ноября, 13:12
Полина Меньшова

Человеческие языки разнообразны, но это разнообразие ограничивается повторяющимися закономерностями. Пытаясь описать правила, которым подчиняются различия в грамматике, лингвисты сформулировали ряд так называемых грамматических универсалий — утверждений, предположительно верных для всех или большинства языков мира. Международная команда ученых провела статистический анализ на материале 2430 языков и обнаружила, что соответствующими действительности можно считать около трети таких утверждений.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно