• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Нейросеть научили озвучивать немое видео

Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT) разработали компьютерную систему, которая самостоятельно добавляет реалистичные звуки к немым видео. Хотя технология находится в зачаточном состоянии, это шаг к автоматизации звуковых эффектов для фильмов и анимационного кино.

©MIT

Нейросети Visually Indicated Sounds скормили порядка 1000 видеороликов, на которых барабанная палочка царапает и ударяет по объектам реального мира. На основе этих видео нейросеть связала звук с разными типами поверхности, отличая удар по дереву от кожи или камня. Затем исследователи предоставили нейросети потренироваться на беззвучных видео, давая ИИ возможность создать подходящий звук самостоятельно.

Технология пока еще далека от совершенства и часто делает ошибки в длинных видео. К примеру, нейросеть создавала звук, когда палочка ни обо что не ударялась. 

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

11 августа, 12:44
МАИ

Со стороны профессия летчика-испытателя часто выглядит как череда опасных полетов, требующих бесстрашия и способности мгновенно импровизировать. В действительности ее основу составляют методика, дисциплина, технические знания и умение честно рассказать о каждой особенности машины. Его задача — не просто поднять самолет в воздух, но и понять, насколько точно он выполняет команды, предсказуемо ли ведет себя на сложных режимах и какие изменения необходимо внести в конструкцию или систему управления.

11 августа, 06:17
Мария Азарова

То, в каком порядке дети в одной семье появились на свет, оказалось связано с вероятностью развития самых разных заболеваний — от аллергии и гастрита до аутизма и СДВГ. Ученые составили наиболее полную на сегодня карту подобных связей, проанализировав данные более 10 миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

9 августа, 10:53
Редакция Naked Science

Американское Министерство войны продолжает публиковать документы и видеозаписи о наблюдении неопознанных летающих объектов. Как и ранее, происхождение объектов из наблюдений неясно, но достаточно очевидно, что как минимум часть из них не относятся к известным сегодняшней науке природным феноменам.

10 августа, 11:42
Илья Гриднев

Британские экологи выяснили, что большинство людей не догадываются о вреде солнцезащитных кремов для Мирового океана. Обзор научной литературы и локальный уличный опрос наглядно продемонстрировали разрыв между реальными экологическими угрозами и повседневными привычками покупателей.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

19 июля, 20:09
Александр Березин

Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?

[miniorange_social_login]