В СПбПУ использовали Петербург в качестве модели для переноса реального мира в цифровое пространство

Результаты разработки были представлены в публикации в научном журнале Remote Sensing. Автоматизированная обработка результатов лазерного сканирования объектов физического мира для создания цифровых образов объектов в виртуальном мире является актуальной задачей, над которой работают специалисты со всего мира. При работе с существующими промышленными объектами облака точек получаются огромных размеров и без специальных алгоритмов не обойтись. Перспективным является использование алгоритмов искусственного интеллекта. Для их использования необходимо создавать специальные наборы данных, которые будут использоваться для кластеризации и идентификации объектов облаках точек.

Исследователям НЦМУ СПбПУ удалось создать такой набор данных для облаков точек, полученных в результате мобильного лазерного сканирования. Отличительной особенностью данного набора является то, что он предназначен для распознавания объектов на основе универсальной схемы классификации. Соответствующие типы объектов представляют особый интерес для формирования цифрового представления существующих промышленных предприятий. При этом следует отметить, что существующие наборы данных облаков точек имеют разные схемы классификации, что делает невозможным их совместное использование для обучения и тестирования моделей глубокого обучения.

Предложенная специалистами НЦМУ СПбПУ находится в открытом доступе и может быть использована широким кругом исследователей. «Поскольку наша классификационная схема содержит набор из 10 универсальных категорий объектов, (здания, транспорт, растительность и др.) на которые можно разделить облака точек лазерного сканирования, ее можно использовать для разработки регламентированных наборов данных, которые в итоге можно использовать как единый набор данных для обучения моделей глубокого обучения», – прокомментировал особенность разработки соавтор исследования, ведущий научный сотрудник лаборатории «Моделирование технологических процессов и проектирование энергетического оборудования» НЦМУ СПбПУ Владимир Баденко.

Основываясь на собственной классификации, специалисты НЦМУ СПбПУ разработали гибридный набор, состоящий из реальных и синтетических данных, для сегментации объектов. Он содержит 34 миллиона реальных точек и 34 миллиона синтетических. Реальные данные были собраны на улице Комсомольской в Санкт-Петербурге при помощи мобильной картографическую системы Riegl VMX-450, имеющей два лазерных сканера, а также шесть цифровых камер высокого разрешения. Облака точек реального мира из набора данных описывают объекты типичной городской среды начала ХХ века, включая дома высотой до 50 метров (пять этажей) с историческими фасадами, заборами, столбами, линиями электропередач и объектами ландшафта (деревья, реклама, урны, скамейки и так далее). Данные также содержат множество динамических объектов, таких как пешеходы и движущиеся транспортные средства.

Синтетическая часть была сгенерирована из трех виртуальных сред городских районов, созданных из 3D-моделей. Ученые использовали объекты с реалистичной геометрией и размещали их внутри городских сцен так, чтобы макеты сцен соответствовали реальному миру. «Мы получили высокую оценку производительности нейронной сети Kernel Point (KP-FCNN), обученной на нашем наборе данных, — 92,56 процентов mIoU, что демонстрирует высокую эффективность использования моделей глубокого обучения для семантической сегментации плотных крупномасштабных облаков точек в соответствии с предложенной схемой классификации. Мы надеемся, что наш набор данных будет способствовать разработке моделей глубокого обучения для сегментации сложных объектов», — отметил Владимир Баденко.

Столь высокий результат ученые объясняют тем, что, во-первых, набор данных SP3D включает в себя широкий спектр классов объектов, а также в SP3D используются высококачественные аннотации, обеспечивающие точную и подробную маркировку объектов. В дальнейшем, авторы исследования планируют продолжить свои разработки в направлении разработки наборов данных для воздушного лазерного сканирования. 

СПбПУ (Политех)

20 статей

Санкт-Петербургский политехнический университет Петра Великого (СПбПУ) – один из ведущих технических вузов России. Политех реализует идею создания системы подготовки специалистов новой формации – «инженерный спецназ». Это высококвалифицированные кадры, способные выполнять задачи промышленности с учетом ее современных трендов. Среди партнеров СПбПУ – более 200 российских промышленных предприятий и более 100 иностранных предприятий. Политехнический университет имеет представительства в Китае и в Испании. В 2020 году Политехнический университет стал первым среди российских вузов в рейтинге TНE University Impact Rankings и получил статус научного центра мирового уровня «Передовые цифровые технологии».

Показать больше