Компьютерное зрение и нейронные сети помогут определять болезни фруктов и овощей

Работа опубликована в журнале Entropy. Несмотря на то что многие процессы автоматизированы, оценку качества фруктов и овощей на послеуборочной стадии, особенно во время сортировки, в основном производит человек. Пока продукты доставляют до потребителей, они могут портиться и повреждаться. Некоторые участки гниения человек может просмотреть, пропустить, тем более если рядом нет специалиста-агронома, который точно может сказать, что это за болезнь или повреждение.

На примере яблок ученые рассматривали два типа дефектов: гниение и плесень. Например, если яблоки плотно упакованы, они будут ударяться друг о друга, и в местах соударения быстрее испортятся. Плесень появляется, когда были кардинально нарушены условия хранения или когда фермер не заметил ее во время сбора урожая.

Для обнаружения повреждений специалисты используют инфракрасный свет, но, как отмечают исследователи, для этого нужны мульти- и гиперспектральные камеры. Они очень дорогие и порой очень сложно устроены. Идея исследования — в том, чтобы предложить альтернативный способ этим камерам с использованием глубокого обучения, моделей, которые могут генерировать инфракрасные изображения. Авторы подчеркивают, что не стремятся заменить традиционные способы, а лишь предлагают один из более доступных и продвинутых методов.

«Мы задействовали два типа нейронных сетей: генеративно-состязательные и сверточные. Модели первого типа позволяют получать один вид изображений из другого. В нашем случае мы получаем инфракрасные снимки из RGB-снимков, то есть из видимых фотографий. Но этого недостаточно для определения дефектов, потому что генеративно-состязательные модели не классифицируют изображения. Поэтому в дело вступают сверточные модели, которые позволяют выделять объекты нужных нам классов на снимках», — рассказывает первый автор работы Никита Стасенко, младший инженер-исследователь в Проектном центре агротехнологий Сколтеха.

Эксперименты исследователи проводили в несколько этапов: сначала собирали и обрабатывали данные из видимых фотографий. Для снимков было отобрано 16 яблок четырех разных сортов. Далее яблоки каждого сорта подвергли разному воздействию: одно тщательно помыли и высушили, второе подвергли механическому воздействию, а третье заморозили при температуре -20 градусов.

«Когда мы собрали данные, мы оценили несколько моделей на основе генеративно-состязательных нейронных сетей: Pix2Pix, CycleGAN, and Pix2PixHD. Мы проверили эти модели и сравнили сгенерированные инфракрасные снимки с оригинальными. По метрикам качества оценки изображения, сгенерированные моделью Pix2PixHD, оказались максимально близки к оригинальным», — продолжает Никита Стасенко.

На втором этапе задействовали сверточную модель Mask R-CNN — в предыдущих экспериментах коллектива именно эта модель показала себя наиболее эффективно. Для того, чтобы ее обучить, ученые собрали другой набор данных, состоящий только из инфракрасных снимков. Далее эти снимки разметили: указали, где здоровые яблоки, а где участки гниения и плесени.

На третьем этапе группа ученых использовала Jetson Nano — специальную встраиваемую систему, которая позволяют запускать обученные нейронные сети. В будущем на основе этой системы можно будет создать реальное устройство для обнаружения дефектов фруктов и овощей. Помимо этого, в планах ученых — масштабировать результаты на другие растительные культуры, а также протестировать другие нейронные модели.

Сколтех

401 статей

Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.

Показать больше