• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Нейросеть научили озвучивать немое видео

Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT) разработали компьютерную систему, которая самостоятельно добавляет реалистичные звуки к немым видео. Хотя технология находится в зачаточном состоянии, это шаг к автоматизации звуковых эффектов для фильмов и анимационного кино.

©MIT

Нейросети Visually Indicated Sounds скормили порядка 1000 видеороликов, на которых барабанная палочка царапает и ударяет по объектам реального мира. На основе этих видео нейросеть связала звук с разными типами поверхности, отличая удар по дереву от кожи или камня. Затем исследователи предоставили нейросети потренироваться на беззвучных видео, давая ИИ возможность создать подходящий звук самостоятельно.

Технология пока еще далека от совершенства и часто делает ошибки в длинных видео. К примеру, нейросеть создавала звук, когда палочка ни обо что не ударялась. 

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий

Предстоящие мероприятия
Сегодня, 08:01
Мария Азарова

Центры по контролю и профилактике заболеваний США вместе с Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов, а также государственными и местными департаментами здравоохранения расследуют случаи бактериальной инфекции, связанные с использованием глазных капель.

Вчера, 15:04
ФизТех

Ученые МФТИ и ОИВТ РАН создали модель кинетики образования металлического водорода во флюидном состоянии.

Вчера, 08:30
РНФ

Археологи обнаружили в Западной Сибири своеобразную «матрешку» из костей животных возрастом 23 тысячи лет. Конструкция имеет некоторое сходство с обрядовыми предметами современных коренных народов Сибири, что позволяет предположить ритуальное происхождение артефакта.

19 марта
Анна Новиковская

Многие люди спят в обнимку со своими кошками или собаками, однако медики выяснили, что подобные привычки ведут к плохому сну и беспокойным ночам.

19 марта
Александр Березин

После банкротства 16-го и 22-го по размерам банков в США над миром снова замаячил призрак «Леман Бразерс», то есть такого банкротства американского банка, за которым может последовать рецессия по всей планете. В то же время в нашей стране с крупными банками такого за период СВО не происходило. Увы, в силу особенностей мышления субъектов российской экономики, это совсем не значит, что американский кризис через несколько месяцев не коснется и нас. При каких условиях это может случиться?

Позавчера, 13:31
Анна Новиковская

Многие владельцы кошек сталкиваются с проблемой, когда их любимцы ходят мимо лотка или пачкают другие места в доме. Финские исследователи выяснили, что можно исправить в обстановке, чтобы кошка перестала так делать.

24 февраля
Анна Новиковская

Среди хищных динозавров, предков современных птиц, встречались как крохи не больше цыпленка, так и гиганты размером с автобус. Теперь ученым удалось узнать, как тираннозавры смогли вырасти столь огромными.

10 марта
Анна Новиковская

Многие мужчины и некоторые женщины время от времени смотрят порнографические ролики или фотографии. Но исследователи из Университета Бригама Янга утверждают: избегание порно жизненно важно для развития здоровых и долгосрочных романтических отношений.

4 марта
Анна Новиковская

Уже пять тысяч лет назад жители Южной Европы ездили верхом на лошадях, и археологи обнаружили доказательства этой привычки, изучив специфические патологии человеческих скелетов.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно