• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
15.06.2017
Редакция Naked Science
375

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 15:48
Ольга Иванова

Исследование американских нейробиологов на грызунах показало, что повышенный уровень тестостерона способствует не только агрессивному, но и просоциальному поведению.

Позавчера, 16:56
Василий Парфенов

В конце июля многие СМИ опубликовали новости с заголовками вида «Земля стала вращаться быстрее — и ученые не знают почему». К концу первой недели августа тема добралась и до русскоязычного сегмента Сети. На поверку этот инфоповод пусть и без негативных последствий, но демонстрирует основные пороки современной (не только научно-популярной) журналистики. Рассказываем, как в действительности изменяется скорость вращения нашей планеты, насколько хорошо известны причины таких осцилляций, а также почему ученые никогда ничего не знают наверняка (и это нормально).

Позавчера, 10:57
Сергей Васильев

Напряженная мыслительная деятельность приводит к накоплению нейромедиаторов в синапсах префронтальной коры. Это усложняет их работу и может повреждать нейроны, заставляя мозг сигнализировать об опасности.

Позавчера, 15:48
Ольга Иванова

Исследование американских нейробиологов на грызунах показало, что повышенный уровень тестостерона способствует не только агрессивному, но и просоциальному поведению.

Позавчера, 16:56
Василий Парфенов

В конце июля многие СМИ опубликовали новости с заголовками вида «Земля стала вращаться быстрее — и ученые не знают почему». К концу первой недели августа тема добралась и до русскоязычного сегмента Сети. На поверку этот инфоповод пусть и без негативных последствий, но демонстрирует основные пороки современной (не только научно-популярной) журналистики. Рассказываем, как в действительности изменяется скорость вращения нашей планеты, насколько хорошо известны причины таких осцилляций, а также почему ученые никогда ничего не знают наверняка (и это нормально).

Позавчера, 10:57
Сергей Васильев

Напряженная мыслительная деятельность приводит к накоплению нейромедиаторов в синапсах префронтальной коры. Это усложняет их работу и может повреждать нейроны, заставляя мозг сигнализировать об опасности.

2 августа
Александр Березин

Если западным странам удастся «лишить Кремль нефтяных доходов», то мир ждет геополитическое землетрясение. Только не обязательно в ту сторону, о которой вы сейчас подумали. На фоне того, что последует за «лишением», шок 1973 года может показаться детской игрой. Naked Science попробует оценить размах «потолочного катаклизма» заранее.

31 июля
Александр Березин

Саудовский принц одобрил строительство гигантского «лежачего небоскреба», который должен стать крупнейшим зданием в истории. Причем еще и самым экологичным в мире. Пресса и соцсети полны возмущенных оценок: «это антиутопия!», «проект сырой!» и тому подобным. Однако чисто технически это не так: «Зеркальную линию» на пять миллионов жителей вполне можно построить. И такое здание в самом деле будет энергоэффективным (и формально безуглеродным). Но у проекта есть другие слабые места, лежащие скорее в сфере науки, нежели техники. Naked Science попробовал разобраться в деталях.

27 июля
Алиса Гаджиева

Новое исследование показало, что появившаяся у человека способность переваривать молочный сахар никак не сказалась на распространенности потребления продуктов молочного животноводства.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: