• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Нейросеть научили озвучивать немое видео

Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT) разработали компьютерную систему, которая самостоятельно добавляет реалистичные звуки к немым видео. Хотя технология находится в зачаточном состоянии, это шаг к автоматизации звуковых эффектов для фильмов и анимационного кино.

©MIT

Нейросети Visually Indicated Sounds скормили порядка 1000 видеороликов, на которых барабанная палочка царапает и ударяет по объектам реального мира. На основе этих видео нейросеть связала звук с разными типами поверхности, отличая удар по дереву от кожи или камня. Затем исследователи предоставили нейросети потренироваться на беззвучных видео, давая ИИ возможность создать подходящий звук самостоятельно.

Технология пока еще далека от совершенства и часто делает ошибки в длинных видео. К примеру, нейросеть создавала звук, когда палочка ни обо что не ударялась. 

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
Предстоящие мероприятия
26 августа, 10:29
Марк Чернов

Иногда лучшая помощь природе — просто оставить ее в покое и не мешать. Британские экологи доказали, что заброшенная фермерская пашня способна без миллионных затрат и покупных семян превратиться в роскошный цветущий луг. Для этого потребовалось лишь 11 лет времени и обычный ежегодный покос травы.

26 августа, 17:01
Татьяна Зайцева

Ни один регион на Земле не обладает стопроцентной устойчивостью ко всем возможным глобальным катастрофическим рискам. Тем не менее существует место, имеющее максимальный запас прочности в такой ситуации, — и это Австралия.

25 августа, 13:47
Татьяна Зайцева

Приблизительно 130 миллионов лет назад, когда по земле бродили динозавры, какое-то млекопитающее пробежало по влажной песчаной дюне на территории современной южной части Бразилии. Размер оставленных этим древним существом следов поразил палеонтологов.

24 августа, 16:26
Илья Гриднев

Биологи провели молекулярный анализ тканей человеческого мозга и выяснили, что при тяжелой депрессии останавливается процесс образования новых нейронов. Открытие показало, что природа заболевания кроется не только в химическом дисбалансе нейромедиаторов, но и в физическом нарушении клеточного обновления гиппокампа.

25 августа, 13:47
Татьяна Зайцева

Приблизительно 130 миллионов лет назад, когда по земле бродили динозавры, какое-то млекопитающее пробежало по влажной песчаной дюне на территории современной южной части Бразилии. Размер оставленных этим древним существом следов поразил палеонтологов.

26 августа, 10:29
Марк Чернов

Иногда лучшая помощь природе — просто оставить ее в покое и не мешать. Британские экологи доказали, что заброшенная фермерская пашня способна без миллионных затрат и покупных семян превратиться в роскошный цветущий луг. Для этого потребовалось лишь 11 лет времени и обычный ежегодный покос травы.

31 июля, 14:12
Андрей Серегин

Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.

9 августа, 19:34
Марк Чернов

Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]