Искусственный интеллект и беспилотники помогут находить борщевик Сосновского

Результаты исследования опубликованы в авторитетном научном журнале IEEE Transactions on Computers. Борщевик Сосновского – это вредоносное растение, представляющее опасность для сельского хозяйства, местных экосистем, а также для здоровья человека. Сок растения, попадая на кожу, под действием солнечных лучей вызывает сильнейшие ожоги, лечение которых возможно лишь под пристальным наблюдением врачей в течение нескольких недель.

На данный момент распространение борщевика Сосновского стало настоящей экологической катастрофой – он распространился от центральной части России до Сибири, от Карелии до Кавказа. Ежегодно власти страны выделяют колоссальные суммы на борьбу с борщевиком — в 2020 году только в Москве было выделено 350 миллионов рублей. Таким образом, борьба с борщевиком является одним из важнейших вопросов современного отечественного сельского хозяйства, экологии и здравоохранения.

В середине ХХ века борщевик планировалось применять в качестве кормовой культуры для скота в связи с высокой скоростью роста растения, его неприхотливостью и быстрым распространением. Однако очень быстро выяснилось, что борщевик не подходит в качестве корма, а его исключительные природные свойства являются серьезной проблемой. Всего лишь одно растение способно давать до 100 тысяч семян в год, которые могут распространяться с помощью ветра. А это означает, что даже одно растение, пропущенное при очистке территории от борщевика, способно свести на нет результаты всей работы.

Именно с задачей точной локализации борщевика Сосновского в реальном времени и столкнулись ученые Сколтеха из Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных два года назад, когда приступили к разработке платформы для мониторинга. «Традиционные методы мониторинга недостаточно эффективны – наблюдение с земли слишком сильно зависит от человеческого фактора, а космическое зондирование хорошо подходит лишь для распознавания больших зарослей.

Снимки со спутников имеют недостаточное разрешение, чтобы распознать отдельные растения, а зависимость от погоды и кратности орбиты делают такой метод непрактичным для получения наиболее актуальной информации», – рассказывает первый автор исследования, выпускник аспирантуры Сколтеха Александр Меньщиков.

Исследователи приняли решение использовать БПЛА, которые позволяют получить самую свежую информацию о распространении растения с высоким разрешением даже когда небо затянуто облаками, а также отказаться от традиционной концепции «сбор данных – создание ортофотоплана – анализ полученного изображения» в пользу обработки данных аэрофотосъёмки прямо на борту БПЛА во время полета.

«Пусть традиционный подход и дает наиболее исчерпывающую информацию об исследуемой территории, но его эффективность сравнима с обработкой данных на борту для сегментации одного типа объектов – борщевика Сосновского. Кроме того, традиционный метод требует еще несколько часов для сшивки изображения и его анализа после окончания полета, в то время как обработка на борту происходит во время полета, а оператор получает данные о местоположении борщевика в реальном времени на базовой станции.

Такой подход позволяет приступить к работам по уничтожению борщевика еще до завершения полета БПЛА, а к концу полета оператор уже располагает всеми данными о местоположении всех растений на обследуемой территории», – поясняет Александр. Создание такого рода системы мониторинга подразумевает использование БПЛА и компактного вычислительного устройства на борту, которое способно запускать «тяжеловесные» алгоритмы сегментации на основе так называемых полностью сверточных нейронных сетей (FCNN – Fully Convolutional Neural Networks).

Такие нейронные сети позволяют выделять интересующие объекты (в данном случае – борщевик Сосновского) неправильной формы с точностью до пикселя, что в задаче детектирования борщевика даст возможность с точностью распознавать отдельные растения и, тем самым, увеличить шансы уничтожения сорняка на выбранной территории.

Главной проблемой при реализации проекта оказался запуск полностью сверточных нейронных сетей на маломощных системах, таких как одноплатные компьютеры. Далеко не каждый компьютер имеет достаточно вычислительных ресурсов и далеко не каждый процессор поддерживает операции, необходимые для запуска FCNN. Поэтому ученым пришлось подобрать подходящую архитектуру одноплатного компьютера и оптимизировать нейронную сеть, чтобы она смогла запуститься на нем.

«В качестве нейронных сетей для исследования были выбраны популярные архитектуры UNet, SegNet, ResNet и модифицированы для использования на одноплатном компьютере. Разработанная система мониторинга была смонтирована на борт БПЛА и исследована в полете. В результате удалось добиться обследования территории до 28 Га в течение 40 минут при полете на высоте десяти метров. При этом ни одно растение не было пропущено», – комментирует старший преподаватель Сколтеха Андрей Сомов, научный руководитель проекта.

«Пусть на данный момент скорость обработки 4К изображения нашей системой не очень высок – до 0,7 кадров в секунду, однако и при таких показателях система позволяет в несколько раз повысить эффективность локализации вредоносных растений», – добавляет Андрей Сомов.

Подход, лежащий в основе системы мониторинга, имеет огромный потенциал для сельского хозяйства. Разработку Сколтеха можно будет использовать для мониторинга других культур, в том числе с помощью мультиспектральной съемки для выявления различных вегетативных показателей, оценки здоровья и наличия болезней растений.

Проект по идентификации борщевика – комплексное исследование, над которым трудились магистры, аспиранты и сотрудники трех центров Сколтеха: Центра по научным и инженерным вычислительным технологиям для задач с большими массивами данных, Центра по проектированию, по производственным технологиям и материалам и Космического центра – Александр Меньщиков, Дмитрий Шадрин, Виктор Прутьянов, Даниил Лопаткин, Сергей Соснин, Евгений Цыкунов, Евгений Яковлев и Андрей Сомов.