Пермяки создали технологию для бесперебойного видео в условиях нестабильной связи

❋ 4.6

Ученые ПНИПУ разработали новый алгоритм для бесперебойной передачи видео в условиях нестабильного интернет-соединения. Технология определяет наиболее важные объекты в кадре (лица, номера машин) и в приоритетном порядке передает их в сжатом виде даже при низкой скорости, что на 28–32% эффективнее существующих решений и требует меньше трафика. Это позволяет системам машинного зрения, таким как камеры наблюдения в больницах или дроны, стабильно работать при плохой связи.

ПНИПУ

# видео

# интернет

# камеры

# нейросеть

# связь

Ученые разработали метод для четкого видео даже при плохом интернете / © Alex Knight, Unsplash

На сегодняшний день рынок систем машинного зрения занимает около 25%, включая приоритетные отрасли экономики – промышленность, здравоохранение, энергетика, транспорт и логистика. В основном такие технологии используются в «умных» камерах наблюдения, на улицах, в больницах, метро, на заводах, а также могут быть встроены в квадракоптерах и промышленных роботах наподобие тех, которых можно было увидеть в сети «Лента».

Работа комплекса машинного зрения заключается в следующем: камера записывает видео и сжимает его, чтобы уменьшить размер для передачи данных. Затем эта информация отправляется по сети небольшими частями (пакетами) на сервер или устройство просмотра, где происходит распаковка и превращение обратно в видео. Если интернет плохой, пакеты теряются или задерживаются, а видео зависает, пропускает кадры или превращается в размытое пиксельное изображение. Особенно часто это происходит в удаленных и труднодоступных регионах со слабым покрытием сотовой связи и при использовании беспроводных сетей, где сигнал нестабилен из-за помех, расстояния или перегрузок сети. Также – если объект с машинным зрением находится в движении, например, при передаче видео с квадракоптеров или камер на транспорте.

Такие помехи могут обернуться серьезной проблемой. Например, уличные системы, которые анализируют видео с камер и помогают раскрывать преступления, отслеживать ДТП, при сбое могут не узнать лица преступников в толпе или номер угнанной машины. А в палатах интенсивной терапии при возникновении таких помех на видеозаписи можно упустить момент, когда пациент упал с кровати или перестал дышать, что чревато несвоевременным оказанием помощи.

Для борьбы с перебоями при передаче видео существуют специальные алгоритмы сжатия. Они уменьшают объем данных, сохраняя только изменения между кадрами. Например, если в объектив попадает автомобиль, который едет на неподвижном фоне, система запоминает бэкграунд один раз, а затем фиксирует лишь смещение объекта. Такие методы сокращают размер передаваемых данных, однако требуют больших вычислительных ресурсов. Поэтому они непригодны для маломощных систем, которые обычно встроены в камеры наблюдения, автономных роботов или датчики.

Ученые Пермского Политеха нашли решение этой проблемы и создали новый программный алгоритм на основе нейронной сети, который обеспечивает видеопередачу без перебоев. Его можно встроить в прошивку камер видеонаблюдения, систему управления или программное обеспечение для роботов.

– Наш алгоритм работает в три шага. Сначала программа с помощью искусственного интеллекта определяет, какой объект на видео самый важный (область интереса – ROI) и определяет его границы. Затем упаковывает эти данные с помощью современного формата сжатия – JPEG 2000. Он похож на обычный JPEG, в котором мы сохраняем картинки из интернета, но превосходит его по качеству. В процессе съемки наша система оценивает текущую скорость интернета и рассчитывает, сколько данных можно успеть передать за время показа одного кадра. Если скорость низкая, данные кадра отправляются не целиком, а только частично. Поскольку нейросеть уже определила, какой участок нужно передать, в первую очередь уходят данные о нужных объектах, даже при плохом соединении, – комментирует Андрей Кокоулин, доцент кафедры «Автоматика и телемеханика» ПНИПУ, кандидат технических наук.

Для проверки эффективности ученые искусственно создали ситуацию, когда из-за плохой связи передается только 10-20% видео. В ходе испытаний новая методика показала превосходство над аналогами: ключевые объекты, такие как лица или номера машин, передавались на 54–81% четче, чем в обычных системах, при этом потребляя на 40–45% меньше интернет-трафика. Общая эффективность метода на 28-32% выше традиционных решений.

Важно, что разработка ученых ПНИПУ не требует больших вычислительных мощностей и позволяет стабильно передавать изображение в условиях нестабильного интернета. Это обеспечит надежную работу камер, квадрокоптеров, промышленных роботов даже при нестабильном интернете. Это также будет полезно для систем видеонаблюдения в МЧС, геологоразведки или сельского хозяйства, где часто бывают проблемы со связью. Внедрение этой технологии позволит повысить отказоустойчивость и расширить географию применения систем компьютерного зрения, сделав передовые технологии более доступными и надежными.

Статья опубликована в журнале «Вестник ПНИПУ. Электротехника, информационные технологии, системы управления». Исследование проведено в рамках программы стратегического академического лидерства «Приоритет-2030».

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.

Пермский национальный исследовательский политехнический университет (национальный исследовательский, прошлые названия: Пермский политехнический институт, Пермский государственный технический университет) — технический ВУЗ Российской Федерации. Основан в 1960 году как Пермский политехнический институт (ППИ), в результате объединения Пермского горного института (организованного в 1953 году) с Вечерним машиностроительным институтом. В 1992 году ППИ в числе первых политехнических вузов России получил статус технического университета.