В современной робототехнике существует проблема сортировки объектов, хаотично расположенных в рабочей зоне манипулятора. Один предмет может полностью или частично закрывать другой, и тогда роботу будет сложно захватить нужный из них, не затронув другие или не повредив захватное устройство. В МТУСИ предложили алгоритм, основанный на нейронной сети и RGB-D сенсоре, позволяющий определить объект захвата с применением промышленного манипулятора.
Робот-манипулятор / © Siaopan, en.wikipedia.org
Для решения проблемы захвата объектов применяются интеллектуальные алгоритмы, основанные на компьютерном зрении, которые могли бы определять положение и ориентацию таких предметов. Первый этап при решении этой проблемы — поиск нужных объектов в видеопотоке.
Никита Белов, старший преподаватель кафедры ИСУиА МТУСИ, предложил алгоритм, основанный на нейронной сети и RGB-D сенсоре, позволяющий определить предмет захвата в технологическом процессе сортировки объектов с применением промышленного манипулятора.
«В ходе эксперимента использовался робот-манипулятор KUKA KR4 R600. Для достижения высокой точности определения объектов применялись нейросетевой алгоритм YOLOv8 и камера Intel RealSense D415i, которая использовалась для определения расстояния до объекта по вертикальной оси. Далее производится выделения контуров распознанных объектов на черно-белых изображениях с помощью метода FindContours. Одним из важнейших этапов работы алгоритма стал расчет индекса Жаккара, который позволил выявить перекрывающиеся ограничивающие рамки распознанных объектов. В результате получился массив данных, который включал все пересекающиеся объекты и отклонения их отношений периметра к площади от эталонных значений», — пояснил Никита Белов.
Выяснилось, что при определении объекта только по расстоянию по оси Z, которое вычисляется с помощью RGB-D сенсора Intel RealSense D415i, есть вероятность неправильного выбора из-за перекрытия объектов. Для решения этой проблемы учитывалось взаимное перекрытие предметов. В случае нахождения пересечения выбирается объект, соотношение периметра к площади которого имеет наименьшее отклонение от эталонного значения.
Созданный алгоритм показал отличные результаты в точности и выборе наилучшего объекта захвата при сортировке в условиях хаотичного расположения объектов в накопителе и частичного или полного их перекрытия для захвата роботом-манипулятором без повреждения фланца манипулятора или захватного устройства.
Полученные результаты демонстрируют, что интеграция нейронных технологий в робототехнику открывает новые перспективы для автоматизации процессов, обеспечивая более высокую эффективность и качество работы производственных систем.
Дальнейшие исследования в этом направлении позволят открыть новые возможности для робототехники и автоматизации, делая эти технологии еще более совершенными и надежными.
