Гибридная нейросеть превзошла человека в Ms. Pac-Man — Naked Science
5 минут
Редакция

Гибридная нейросеть превзошла человека в Ms. Pac-Man

Канадская компания Maluuba разработала компьютерный алгоритм, который установил новый рекорд в аркадной игре Ms. Pac-Man.

317161236_d9a9bcee04_o
©Wikipedia

Развитие технологий машинного обучения вызывает интерес к выявлению предела «когнитивных» способностей существующих компьютерных алгоритмов. С этой целью нередко используются виртуальные игры. Так, в апреле международная группа ученых представила искусственную нейронную сеть, которая самостоятельно освоила тактики игры в StarCraft, характерные для профессиональных геймеров. Значительно чаще в тренировках машин задействуются видеоприставки, например Atari 2600. Несмотря на сравнительно простой интерфейс и, как правило, линейность процесса, такие игры могут предполагать сложную механику.

 

В рамках новой работы специалисты из Maluuba (принадлежит Microsoft) испытали новый алгоритм на игре Mr. Pac-Man для Atari 2600. После выпуска в 1982 году она получила широкое распространение в американских аркадных автоматах. В отличие от оригинального Pac-Man, вышедшего двумя годами ранее, главным героем Mr. Pac-Man выступало существо женского пола. Помимо звуковых и визуальных нововведений новая версия предусматривала изменения игровой механики, например отныне поведение призраков, которых необходимо избегать, было более спонтанным, а фрукты, пополняющие очки, двигались по лабиринту.

 

Вместо одной искусственной нейросети на этапе тренировок исследователи использовали более 150 агентов, каждый из которых осваивал эффективное решение одного типа задач, в частности захват определенных точек или уклонение от призраков. Затем авторы создали главный алгоритм, интегрировавший информацию от агентов. В ходе испытаний последний оценивал число агентов, ориентированных в том или ином направлении лабиринта, и их вес. Так, если большинство агентов предпочитали траекторию, которая позволяла съесть точки, а меньшинство стремилось избежать призраков, система предпочитала второе.

 

В результате тестов новый алгоритм сумел набрать 999 990 очков, что является максимально возможным значением и превышает предыдущий рекорд. По информации портала High Score, до сих пор лидерство по этому показателю сохранял пользователь под ником oyamafamily: в 2015 году он набрал в Ms. Pac-Man 266 330 очков. На этапе тренировок ученые применяли обучение с подкреплением — классический метод машинного обучения, предусматривающий воздействие на агентов откликов среды по типу обратной связи. Подход, предложенный Maluuba, получил название «гибридной системы подкрепления» (Hybrid Reward Architecture, HRA).

 

По мнению разработчиков, описанная техника может использоваться при создании алгоритмов, способных принимать решения для выполнения сложных работ. В будущем это может ускорить автоматизацию всех сфер жизни. О том, когда искусственный интеллект заменит человека, читайте в нашем материале.

 

О результатах испытаний сообщается в блоге Microsoft.

 

Ранее студенты Стэнфордского университета успешно обучили искусственную нейросеть игре «Месть Монтесумы» с помощью языковых инструкций.

 

Принцип работы нейросети / ©Microsoft

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 12:21
4 минуты
Ольга Иванова

Международная группа ученых сделала рентгеновские снимки грудного отдела тела муравьев, проанализировав их мышцы и внутренний скелет. В результате исследователи выяснили, что сила этих насекомых связана с потерей способности летать.

Вчера, 15:51
5 минут
Илья Ведмеденко

Появилось первое весомое подтверждение существования в Китае условного аналога российской ракеты «Кинжал», которую иногда называют «гиперзвуковой».

11 часов назад
7 минут
Мария Азарова

Бутылочки из полипропилена, заполонившие онлайн-магазины по всему миру, под действием температуры и при встряхивании деформируются. В итоге в организм ребенка со смесью попадает огромное количество микроскопических синтетических частиц.

Вчера, 12:21
4 минуты
Ольга Иванова

Международная группа ученых сделала рентгеновские снимки грудного отдела тела муравьев, проанализировав их мышцы и внутренний скелет. В результате исследователи выяснили, что сила этих насекомых связана с потерей способности летать.

16 октября
6 минут
Василий Парфенов

Несмотря на устоявшееся мнение, согласно которому газотурбинные двигатели (ГТД) почти достигли технологического совершенства и прироста характеристик более чем на единицы процентов в новых моделях ждать не стоит, инженеры продолжают искать способы радикально их улучшить. Компания GE Aviation уже до конца 2020 года собирается представить предсерийные экземпляры своих революционных силовых установок, которые должны быть на 20% долговечнее, на 35% экономичнее и будут иметь улучшенную на 80% энерговооруженность, чем предыдущие аналогичные модели.

Позавчера, 18:46
4 минуты
Денис Гордеев

Исследователи рассказали, где безопаснее всего сидеть и что может снизить вероятность заражения при встрече с друзьями.

28 сентября
29 минут
Александр Березин

Сентябрь 2020 года принес в Закавказье войну — столкновение Азербайджана и Нагорного Карабаха получило большой размах, общее число жертв, судя по всему, уже перевалило за сотню, а Ереван и Баку объявили мобилизацию (в Азербайджане — частичную). Объективного смысла в войне для самих участников нет. Баку не победит, но и Армения от конфликта ничего не выиграет. Пользу конфликт, однако, объективно принесет Турции, а также тем, кто поставляет в Азербайджан оружие. Возникает вопрос: почему война оказалась возможна, несмотря на дружественную позицию России к Армении, и зачем на нее пошли в Баку? И есть ли у Еревана разумный выход из назревающей бойни?

16 октября
6 минут
Денис Гордеев

Люди со второй и четвертой группами крови с большей вероятностью переболеют Covid-19 в тяжелой форме.

1 октября
39 минут
Александр Березин

После советской эпохи атомные реакторы перестали запускать в космос, но сегодня все постепенно меняется. К атомной энергетике для марсианских колоний примеривается Илон Маск, проекты лунных АЭС прорабатываются в России — и все несмотря на то, что в космосе условия для солнечной энергетики лучше, чем на нашей планете. Что заставляет космическую отрасль все чаще думать об атомных реакторах? Как ни странно, дело в том, что и ядерная энергетика в космосе становится еще важнее, чем на Земле. Попробуем разобраться почему.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: