• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку

Этот пост добавлен читателем Naked Science в раздел «Сообщество». Узнайте как это сделать по ссылке.

Нейросеть научили озвучивать немое видео

Исследователи из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT) разработали компьютерную систему, которая самостоятельно добавляет реалистичные звуки к немым видео. Хотя технология находится в зачаточном состоянии, это шаг к автоматизации звуковых эффектов для фильмов и анимационного кино.

©MIT

Нейросети Visually Indicated Sounds скормили порядка 1000 видеороликов, на которых барабанная палочка царапает и ударяет по объектам реального мира. На основе этих видео нейросеть связала звук с разными типами поверхности, отличая удар по дереву от кожи или камня. Затем исследователи предоставили нейросети потренироваться на беззвучных видео, давая ИИ возможность создать подходящий звук самостоятельно.

Технология пока еще далека от совершенства и часто делает ошибки в длинных видео. К примеру, нейросеть создавала звук, когда палочка ни обо что не ударялась. 

Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK

Комментарии

Написать комментарий
21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

21 июня
Александр Березин

Разные группы ученых предсказывали существование реликтовых гравитационных волн еще десятки лет назад. Однако, когда такое открытие в 2020-х годах действительно сделали, оказалось, что обнаруженные гравиволны несовместимы практически со всеми конкретными предсказаниями, кроме одного.

Позавчера, 10:45
Юлия Трепалина

Губки из меламина стали популярными благодаря своим хорошим чистящим свойствам. Работая, подобно мелкой наждачной бумаге, они даже без моющих средств справляются со стойкими загрязнениями на поверхностях вроде следов маркера и въевшихся пятен. Однако в процессе использования меламиновые губки изнашиваются и теряют волокна микропластика. Из-за этого китайские ученые увидели в них ранее неучтенный источник потенциально вредных выбросов.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

20 июня
МПСУ

Эмоциональное выгорание ИТ-специалиста напрямую связано с его личностными характеристиками. С профессиональными перегрузками и стажем связи нет. К такому выводу пришли ученые МПСУ, которые исследовали ИТ-специалистов двух компаний. Жизнестойкость, то есть способность человека выдерживать стрессовые ситуации без снижения успешности деятельности, в совокупности с внутренней положительной мотивацией формируют иммунитет к эмоциональному выгоранию специалиста в ИТ-сфере. Блокаторами стали интерес к работе и профессиональная удовлетворенность.

21 июня
Александр Березин

Разные группы ученых предсказывали существование реликтовых гравитационных волн еще десятки лет назад. Однако, когда такое открытие в 2020-х годах действительно сделали, оказалось, что обнаруженные гравиволны несовместимы практически со всеми конкретными предсказаниями, кроме одного.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

24 мая
Игорь Байдов

С помощью космических и наземных телескопов международная команда астрономов открыла похожий на нашу планету мир в так называемой зоне обитаемости, позволяющей воде существовать на поверхности тела в жидком состоянии. По космическим меркам экзопланета находится достаточно близко к Земле и, вероятно, представляет собой скалистый мир с благоприятным для жизни климатом. Подобные миры астрономы открывают крайне редко.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

[miniorange_social_login]
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно