Нейросеть освоила видеоигру по языковому гайду — Naked Science
Редакция

Нейросеть освоила видеоигру по языковому гайду

Студенты Стэнфордского университета разработали компьютерный алгоритм, который обучили проходить видеоигру посредством простых команд на английском языке.

maxresdefault
©Wikipedia

В большинстве случаев при обучении искусственных нейросетей прохождению видеоигр используются алгоритмы с подкреплением — этот метод предполагает получение компьютером внешней обратной связи о своих действиях, например в виде зарабатывания очков. В процессе тренировок система совершает произвольные действия до получения вознаграждения, после чего стремится повторить «выгодный» шаблон. Авторы новой работы при обучении нейросети применили альтернативный подход, позволивший ей освоить одну из сложнейших видеоигр для приставки Atari 2600 — «Месть Монтесумы» (Montezuma’s Revenge). Из-за специфики геймплея она не впервые участвует в экспериментах с искусственным интеллектом: в этой игре редко встречаются положительные и доступные для оценки стимулы, такие как ключ для отпирания двери.

 

Чтобы упростить тренировку нейросети при прохождении игры с недостатком источников подкрепления, на первом этапе студенты обучили систему распознаванию команд на естественном языке, при этом фразы сопровождались скриншотом целевого действия игрового персонажа. Затем они передали алгоритму набор команд для прохождения каждой локации и позволили самостоятельно практиковаться. В рамках демонстрации авторы описали прохождение нейросетью комнаты с последовательностью команд типа «поднимись по лестнице» без доступа к данным о прошлых этапах обучения — это имитировало ситуацию первичного ознакомления с комнатой. Результаты показали, что искусственный интеллект верно интерпретировал команды и даже игнорировал некоторые из них при условии, что существует более оптимальная стратегия прохождения.

 

Пример последовательности языковых команд / ©Russell Kaplan et al., arXiv.org, 2017

 

Эффективность предложенного подхода студенты оценили с помощью платформы для проектирования и сравнения алгоритмов обучения с подкреплением OpenAI Gym. Согласно сопоставлению, представленная нейросеть за время прохождения Montezuma’s Revenge набрала 3500 очков, тогда как показатель ближайшего конкурента составил 2500 очков. Тем не менее, максимальное значение по-прежнему остается за алгоритмом Google DeepMind — 6600 очков, — хотя обучение последнего потребовало двое больше времени. В последующем авторы статьи намерены сократить количество инструкций на естественном языке, необходимых для освоения нейросетями видеоигр, с тем чтобы сделать их более независимыми.

 

Подробности работы представлены на сервере препринтов arXiv.org.

 

Ранее международная группа исследователей представила компьютерную программу, которая самостоятельно научилась сложным тактикам игры в StarCraft. Так, система освоила тактику «Ударил-убежал», атаку прикрывающим огнем и сосредоточенный огонь по отдельным целям малыми группами. По мнению исследователей, алгоритм оптимально подходит для взаимодействия и тренировки с несколькими агентами.

 

Видеозапись прохождения / ©Christopher Sauer

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

Сегодня, 09:28
Сергей Васильев

Окаменелости возрастом более 3,4 миллиарда лет могут быть остатками микробов-архей, живших и выделявших метан у гидротермальных источников на дне ископаемого моря.

Вчера, 18:35
Илья Ведмеденко

Египтяне провели учения, на которых французский истребитель Rafale одолел российский Су-35. Оба самолета принадлежат к четвертому поколению.

Позавчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

Позавчера, 21:04
Мария Азарова

Ученые подтвердили связь между коронавирусной инфекцией и снижением когнитивных способностей на основе анализа данных более чем 81 тысячи человек.

Сегодня, 09:28
Сергей Васильев

Окаменелости возрастом более 3,4 миллиарда лет могут быть остатками микробов-архей, живших и выделявших метан у гидротермальных источников на дне ископаемого моря.

Позавчера, 11:04
Александр Березин

До массовой термоядерной энергетики 20 лет — и всегда будет 20 лет. Это незатейливая шутка сама стала старой еще 20 лет назад. Общество расстраивается от того, что термояд все никак не могут вывести на промышленный уровень. И лишь Илон Маск считает, что термоядерный реактор вовсе не нужен. Внимательный анализ показывает, что он прав. Даже если все технические проблемы термоядерной энергетики чудесным образом разрешатся, у нее не будет шансов вытеснить конкурентов. Как так вышло, и что тогда спасет человечество от энергетического кризиса?

13 июля
Ольга Иванова

Международная команда ученых идентифицировала ДНК из почвы в грузинской пещере. Благодаря этому исследователям удалось восстановить геном человека возрастом 25 тысяч лет, не имея никаких скелетных останков.

8 июля
Василий Парфенов

Подросток из бельгийского города Остенде стал вторым самым юным обладателем высшего образования в обозримой истории. Он с отличием окончил курс физики в Антверпенском университете и теперь собирается защитить магистерскую степень, а затем и докторскую диссертацию в этой области. Цель у него простая и понятная: увеличение продолжительности жизни человека вплоть до полного бессмертия за счет замены частей тела и органов механическими или искусственными.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: