Искусственную нейросеть научили взвешивать виртуальные объекты

Последние достижения в области машинного обучения позволяют искусственным нейросетям соревноваться с человеком в разных приложениях, например в распознавании устной речи или лиц. Однако компьютеры остаются неспособны идентифицировать свойства объектов. В частности, для того, чтобы научиться перемещать манипулятор к дверной ручке, роботу, которым управляет нейросеть, необходимо около двух часов.

Ученые из Google DeepMind, Калифорнийского университета в Беркли и других учреждений разработали систему на базе рекуррентной LTSM-сети. Для ее обучения авторы использовали два различных виртуальных мира, в которых компьютер мог взаимодействовать с окружающими предметами. В первом мире находилось четыре одинаковых по размеру куба, масса которых была произвольной в каждой сессии эксперимента. Во втором мире находилось пять кубов, сложенных в башню.

Задачей компьютера в первом мире было найти наиболее тяжелый куб. Для этого он мог двигать объекты по вертикали (напрямую), прикладывая определенную силу. При успешном выполнении задания ИИ получал условное вознаграждение, в случае неудачи — штраф. Спустя около 100 тысяч повторений компьютер «понял», что для выявления самого тяжелого куба необходимо предварительно взвесить все кубы, после чего дать ответ.

Во втором мире алгоритм должен был выяснить количество находящихся перед ним объектов. Часть кубов в этом случае располагалась друг на друге, формируя единый блок. Компьютер также мог взаимодействовать с кубами, после чего получал положительную или отрицательную обратную связь. Со временем он разработал оптимальную стратегию выполнения задачи: сперва башня разрушалась, после чего оценивалось количество ее элементов.

По словам ученых, потенциально метод можно использовать для роботов, которым, например, будет необходимо перемещаться по пересеченной местности. Кроме того, система может быть актуальна для сервисных роботов, в задачи которых войдет целенаправленное взаимодействие с окружающими объектами, в частности роботов-космонавтов. Система обучения, которую применяли авторы, сейчас используется для обучения игрового искусственного интеллекта.