Робот из MIT «видит» и ловко берет предметы любой формы

Группа инженеров из Лаборатории кибернетики Массачусетского технологического института разработала систему Dense Object Nets (DON), которая позволяет роботам оценивать форму предметов достаточно точно для того, чтобы захватывать их, удерживать и производить простые манипуляции без предварительного обучения на конкретном типе объектов.

Чтобы система составила трехмерную карту объекта, рука-манипулятор поворачивает закрепленные на ней камеры под разными углами; нейросеть распознает изображения, поступающие с камеры, и определяет точные координаты каждой из множества точек, на которые раскладывается объект.

Обработав эти координаты, система классифицирует объекты и их части и анализирует пространственные отношения между ними. Чтобы продемонстрировать это, создатели DON сняли видео, на котором управляемый системой манипулятор сортирует ботинки по цветам и по команде поднимает их указанным способом — за язычок, — даже если никогда раньше не сталкивался с ботинком конкретного типа. В этом он похож на робота DexNet от инженеров из Калифорнийского университета в Беркли, хотя между управляющими ими алгоритмами есть большое различие: DexNet умеет только хватать предметы, но не умеет брать их в заданном месте и не различает типы объектов.

«Системы, использующие другие подходы к идентификации объектов, испытывают сложности, когда предмет ориентирован по отношению к роботу необычным способом. Для большинства поднять чашку за ручку — невыполнимая задача именно потому, что кружка может, например, лежать на боку или стоять вверх дном», — поясняет Лукас Мануэлли (Lucas Manuelli), один из разработчиков DON.

Роботами, умеющими различать, сортировать предметы и правильно с ними обращаться, могут найти применение на складах; создатели DON рассчитывают, что их разработка привлечет внимание крупных ретейлеров, таких как Amazon и Walmart. Кроме того, роботы, которые хорошо ориентируются в мире вещей, могут пригодиться дома — как помощники по хозяйству.

Существует два популярных подхода к обучению машин манипуляциям с физическими объектами. Первый подразумевает узкоспециальное обучение на конкретных примерах, второй — создание универсального алгоритма захвата. В первом случае машина будет справляться только с ограниченным набором заданий — скажем, сможет поднимать мячи, — но не справится с кубиком, пока ее не обучат брать кубики. Универсальные способы хватать вещи редко бывают эффективными, а кроме того, с захваченным «универсальным» способом предметом трудно производить точные манипуляции: например, поставить на заданное место. DON справляется даже с незнакомыми объектами и позволяет точно предсказывать, в какой точке окажутся их конкретные точки после перемещения.

Создатели DON выступят с докладом на конференции по обучению роботов в Цюрихе в октябре; кратко о разработке рассказывает портал Массачусетского технологического института. Ранее инженеры из MIT разработали робота, умеющего захватывать свободно висящие объекты.