Китайские ученые научили нейросеть самостоятельно давать заголовки видеозаписям

На основе нейронных сетей уже было создано немало систем, умеющих самостоятельно определять содержание различного контента, будь то изображения, звуки или видеозаписи. Однако, если успехи искусственного интеллекта касательно изображений поражают, то далеко не все подобные системы могут корректно просматривать видеозаписи. Именно решением данной проблемы и занимались ученые из Национального университета Цинхуа в Тайване.

Используя огромную базу данных, состоящую из видеозаписей, ученые построили систему, которая с помощью ботов и искусственного интеллекта определяет основные моменты видео и может самостоятельно добавить заголовок к нему, а также поделиться с пользователями, для которых это может быть интересно.

Ученые использовали метод генерации заголовка, основанный на технологии машинного обучения, которая может с большой эффективностью находить ключевые моменты в видео. Параллельно с этим исследователи разработали метод обнаружения лиц, которые потом могут быть найдены на других видеозаписях или фотографиях. Работая вместе, два этих алгоритма могут самостоятельно генерировать заголовки, описание и отмечать потенциальных зрителей видеозаписей.

Исследование ученых было опубликовано в официальном блоге Microsoft Research. Кроме того, известно, что исследователи сотрудничали с ведущим специалистом Microsoft Research Asia.