• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
26.04.2017
Редакция Naked Science
353

Нейросеть освоила видеоигру по языковому гайду

Студенты Стэнфордского университета разработали компьютерный алгоритм, который обучили проходить видеоигру посредством простых команд на английском языке.

maxresdefault
©Wikipedia

В большинстве случаев при обучении искусственных нейросетей прохождению видеоигр используются алгоритмы с подкреплением — этот метод предполагает получение компьютером внешней обратной связи о своих действиях, например в виде зарабатывания очков. В процессе тренировок система совершает произвольные действия до получения вознаграждения, после чего стремится повторить «выгодный» шаблон. Авторы новой работы при обучении нейросети применили альтернативный подход, позволивший ей освоить одну из сложнейших видеоигр для приставки Atari 2600 — «Месть Монтесумы» (Montezuma’s Revenge). Из-за специфики геймплея она не впервые участвует в экспериментах с искусственным интеллектом: в этой игре редко встречаются положительные и доступные для оценки стимулы, такие как ключ для отпирания двери.

 

Чтобы упростить тренировку нейросети при прохождении игры с недостатком источников подкрепления, на первом этапе студенты обучили систему распознаванию команд на естественном языке, при этом фразы сопровождались скриншотом целевого действия игрового персонажа. Затем они передали алгоритму набор команд для прохождения каждой локации и позволили самостоятельно практиковаться. В рамках демонстрации авторы описали прохождение нейросетью комнаты с последовательностью команд типа «поднимись по лестнице» без доступа к данным о прошлых этапах обучения — это имитировало ситуацию первичного ознакомления с комнатой. Результаты показали, что искусственный интеллект верно интерпретировал команды и даже игнорировал некоторые из них при условии, что существует более оптимальная стратегия прохождения.

 

Пример последовательности языковых команд / ©Russell Kaplan et al., arXiv.org, 2017

 

Эффективность предложенного подхода студенты оценили с помощью платформы для проектирования и сравнения алгоритмов обучения с подкреплением OpenAI Gym. Согласно сопоставлению, представленная нейросеть за время прохождения Montezuma’s Revenge набрала 3500 очков, тогда как показатель ближайшего конкурента составил 2500 очков. Тем не менее, максимальное значение по-прежнему остается за алгоритмом Google DeepMind — 6600 очков, — хотя обучение последнего потребовало двое больше времени. В последующем авторы статьи намерены сократить количество инструкций на естественном языке, необходимых для освоения нейросетями видеоигр, с тем чтобы сделать их более независимыми.

 

Подробности работы представлены на сервере препринтов arXiv.org.

 

Ранее международная группа исследователей представила компьютерную программу, которая самостоятельно научилась сложным тактикам игры в StarCraft. Так, система освоила тактику «Ударил-убежал», атаку прикрывающим огнем и сосредоточенный огонь по отдельным целям малыми группами. По мнению исследователей, алгоритм оптимально подходит для взаимодействия и тренировки с несколькими агентами.

 

Видеозапись прохождения / ©Christopher Sauer

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 10:00
РНФ

Группа ученых из России и Германии математически описала ситуацию, когда происходит самоостановка света — явление, при котором скорость световых импульсов падает в миллионы раз, вплоть до нуля. Оказалось, что в определенных условиях излучение в резонансно поглощающей среде создает для себя «потенциальную яму», из которой затем не может выйти. Это происходит за счет обволакивания материей безмассовых фотонов, и в результате они могут остановиться.

Позавчера, 10:02
Сергей Васильев

Распространяясь в популяциях крупных жвачных животных, паразиты незаметно оказывают мощное влияние на целые экосистемы, позволяя растительности спокойно развиваться и процветать.

Вчера, 16:09
Сергей Янкин

При помощи численного моделирования электромагнитных, механических и акустических процессов компания Tectonic Audio Labs создала современный динамик со сбалансированным излучателем (технология balanced mode radiator, или BMR). Динамик был использован в гарнитуре виртуальной реальности (VR) для корпорации Valve и теперь считается золотым стандартом для VR-аудио.

20 мая
Мария Азарова

Ученые предупреждают: поскольку вес современных комбайнов и прочей сельхозтехники сегодня приближается к весу самых крупных животных, когда-либо бродивших по Земле, возникает парадокс уплотнения грунта.

Вчера, 10:00
РНФ

Группа ученых из России и Германии математически описала ситуацию, когда происходит самоостановка света — явление, при котором скорость световых импульсов падает в миллионы раз, вплоть до нуля. Оказалось, что в определенных условиях излучение в резонансно поглощающей среде создает для себя «потенциальную яму», из которой затем не может выйти. Это происходит за счет обволакивания материей безмассовых фотонов, и в результате они могут остановиться.

Позавчера, 10:02
Сергей Васильев

Распространяясь в популяциях крупных жвачных животных, паразиты незаметно оказывают мощное влияние на целые экосистемы, позволяя растительности спокойно развиваться и процветать.

26 апреля
Василий Парфенов

Крупнейшие патентные ведомства мира десятилетиями или веками принципиально игнорируют любые конструкции, нарушающие начала термодинамики. С точки зрения здравого смысла это хорошо, но конспирологи и гении-самоучки считают иначе. По их мнению, такая политика стала результатом заговора (подставьте сюда любое вымышленное или не очень секретное общество либо лобби). Что ж, похоже, Роспатент встал на их сторону.

27 апреля
Александра Медведева

С помощью GPS-трекинга ученые проследили за перемещениями целой популяции домашних кошек в небольшом норвежском городке. Оказалось, питомцы редко уходят от дома далее 50 метров и почти не совершают длительных прогулок.

28 апреля
Мария Азарова

Авторы нового исследования составили таблицу ожидаемой продолжительностью жизни для собак 18 чистокровных пород и метисов. Кроме того, они узнали, кто живет дольше — суки или кобели, кастрированные или нет.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: