Исследование опубликовано в сборнике International Conference on Applied Innovations in IT (ICAIIT). Чтобы облегчить работу IT-специалистам, которые обычно вручную создают фотографии для обучения нейросети, политехники разработали программу, которая генерирует синтетические картинки, комбинируя между собой изображения реального объекта с использованием 3D-камеры, натуралистичный фон и некоторые шумовые эффекты — помехи или предметы окружающей среды.
Например, для создания набора картинок с уличным фонарем программа дополнительно использовала ветви деревьев, которые частично закрывают светильник, а также дождь, слабую освещенность, дефекты камеры. Эти шумовые эффекты делают результирующее изображение более реалистичным. Качество обучения зависит от того, насколько равномерно перемешиваются данные и насколько разнообразные картинки получаются.
«Тестируя программу, мы постарались провести как можно больше экспериментов, чтобы получить максимально широкий обзор влияния синтетических данных на производительность нейронной сети. В испытании использовались наборы данных по 1000 и 2000 искусственных картинок. После чего мы заметили, что такое обучение дает низкое качество распознавания. По этой причине мы решили обучать нейросеть, смешивая синтетические данные с настоящими фотографиям», — сообщил доцент кафедры микропроцессорных средств автоматизации Леонид Мыльников.
«Наборы изображений по тематике на основе синтетических данных с небольшим количеством реальных фотографий улучшило качество обнаружения объекта нейросетью. Это решает проблему создания больших баз данных, необходимых для обучения сетей и значительно упрощает работу специалистов из ИТ сферы. Технология может применима и к движущимся изображениям», — рассказал аспирант кафедры «Информационные технологии и автоматизированные системы» Павел Сливницин.
В настоящее время политехники занимаются получением еще более реалистичных изображений, например, содержащих такие элементы, как эффекты коррозии и деформации изучаемого нейросетью объекта. Это будет способствовать дальнейшему улучшению качества обнаружения.