Нейросеть научили распознавать оружие на видео

На фоне роста глобальной террористической угрозы важным направлением развития систем видеонаблюдения выступает автоматический мониторинг потенциальных правонарушений. Существующие искусственные нейросети уже сравнительно хорошо справляются с распознаванием мимики и лиц, в том числе частично скрытых. Ранее исследователи также обучили компьютерные алгоритмы выявлять преступников по внешности и даже предсказывать злонамерения по активности мозга. Менее представлены технологии отслеживания определенных предметов, в частности оружия. Сейчас наличие последнего определяется в ходе досмотра и с помощью металлодетекторов. Однако надежность этих методов ограничена.

Так, проход через рамки металлодетектора невозможен для людей с кардиостимулятором, остальные при определенных условиях могут миновать проверку, используя обходной путь. Кроме того, подобные устройства не рассчитаны на поиск неметаллических предметов, например напечатанных на 3D-принтере. В качестве альтернативы специалисты из Гранадского университета создали компьютерный алгоритм для автоматического распознавания огнестрельного оружия независимо от его материала. Система предполагает интеграцию с видеонаблюдением: при возникновении соответствующего объекта в поле машинного зрения тот выделяется специальным тегом.

При разработке программы авторы использовали сверточную нейросеть на основе окон кандидатов (Region-based Convolutional Network, R-CNN). Такие алгоритмы применяются к задачам, связанным с быстрым трекингом конкретных визуальных образов: получаемое изображение R-CNN делит на регионы, за счет чего оценка местоположения и размеров заданного класса предметов требует всего одного считывания. Тренировка системы проводилась на более чем 1,3 миллиона снимков объектов из тысячи категорий ImageNet. На первом этапе стимулы объединили в четыре набора данных, которые включали в себя картинки из двух или более категорий. Наиболее эффективным оказалось обучение сразу по 102 из них.

Затем ученые сформировали пятый пул из 3000 фотографий, причем теперь все стимулы предполагали наличие руки, которая держит предмет. Помимо бытовых объектов (например, смартфонов) в целевой набор вошли изображения пистолетов в разных контекстах, в том числе кадры из фильмов. Обученную нейросеть исследователи испытали на семи видеофрагментах низкого качества: из кинокартин «Криминальное чтиво» (Pulp Fiction), «И целого мира мало» (James Bond: The World is Not Enough), «Миссия невыполнима: племя изгоев» (Impossible Mission: Rogue Nation), телесериала «Мистер Бин» (Mister Bin), а также реальных сценах с применением пистолетов. Точность определения оружия составила 96,6 процента.

Недостатком алгоритма, по словам авторов, выступает неспособность выявлять на видео оружие, скрытое, скажем, под одеждой. После совершенствования технологии она может помочь в предупреждении преступлений.

Статья опубликована на сервере препринтов arXiv.org.

На днях программисты показали алгоритм, который может реалистично адаптировать мимику изображенного человека к произвольному аудиоряду.