Нейросети научили «дорисовывать» облака и снег

Результаты исследования представлены в журнале Advances in Space Research, код и примеры — на GitHub. Сверточные нейронные сети стали одним из лучших инструментов для распознавания изображений и видео. Однако для точной сегментации объектов сверточным нейронным сетям требуется большой объем высококачественных обучающих данных, для подготовки которых нужен человек. Чтобы улучшить качество сегментации, применяют различные подходы, включая методы увеличения объема данных.

Основная цель нового исследования, поддержанного грантом РНФ, — повысить точность распознавания и классификации редких или сложных для анализа явлений на спутниковых снимках, таких как облака, их тени и снежные участки, на предварительном этапе подготовки спутниковых данных для решения задач анализа окружающей среды.

Авторы предложили подход под названием CSIA — Climate Structures Inpainting Augmentations. На исходных снимках «дорисовываются» дополнительные климатические структуры. Генерируемые нейросетями реалистичные фрагменты добавляются в те области, где такие явления отсутствуют, что искусственно увеличивает объем тренировочных данных.

«Главная особенность нашего подхода в том, что мы „дорисовываем“ реалистичные климатические структуры — облака, их тени, снежные участки — и внедряем их в спутниковые снимки без необходимости проведения дополнительной ручной аннотации данных», — рассказывает аспирант программы Сколтеха «Вычислительные системы и анализ данных в науке и технике» Никита Беляков.

«Мы искусственно расширяем выборку и учим нейросеть не путаться, когда ей встречаются редкие или сложные для сегментации явления. Наш метод помогает моделям точнее понимать геометрию и оптику климатических объектов, что особенно важно при анализе больших регионов и редких погодных феноменов», — комментирует руководитель исследовательской группы в Центре ИИ Сколтеха Светлана Илларионова.

Эксперименты показали, что при использовании CSIA заметно улучшаются результаты сегментации облаков и теней на данных Landsat-8 и в датасете SPARCS. Дополнительное повышение точности дает архитектура U-Net++ в сочетании с подходом Model Soups, предполагающим усреднение нескольких моделей. По словам авторов, благодаря такому комбинированному решению компьютерное зрение эффективнее «учится» на разнородных данных и надежнее распознает сложные классы.

Работа открывает возможности для более точной сегментации в самых разных сферах применения — от климатического мониторинга обширных регионов до экологических проектов и задач сельского хозяйства. Так, например, разработка позволяет даже для северных регионов с высоким процентом облачности эффективно анализировать лесной массив, его характеристики и изменения, учитывая влияние климатических структур на изображениях. Исследователи планируют продолжить развитие метода, адаптируя его к другим типам данных дистанционного зондирования и внедряя дополнительные механизмы генерации с учетом сезонных и погодных изменений.

Сколтех

446 статей

Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.

Показать больше