Нейросеть научили артикуляции Барака Обамы
13.07.2017
6 минут
Редакция
1
82

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 11:32
4 минуты
Полина Гершберг

Ученые из Великобритании смогли разобраться, что происходит в первые мгновения после контакта двух капель воды, и показали этот процесс на видео.

Позавчера, 14:18
8 минут
Мария Азарова

На фоне распространения Covid-19 за пределами Китая глава Всемирной организации здравоохранения заявил, что называть вспышку коронавируса, число зараженных которым приближается к 82 тысячам, пандемией все еще не рекомендуется, однако мир должен быть готовым к такому варианту развития событий.

Позавчера, 12:15
5 минут
Сергей Васильев

Вопреки установившейся гипотезе, извержение супервулкана Тоба около 74 тысяч лет назад вряд ли стало катастрофой для молодого человечества.

Позавчера, 11:32
4 минуты
Полина Гершберг

Ученые из Великобритании смогли разобраться, что происходит в первые мгновения после контакта двух капель воды, и показали этот процесс на видео.

25 февраля
52 минуты
Александр Березин

На днях парламент Эстонии принял резолюцию, где указал на «роль Советского Союза в качестве одного из основных зачинщиков Второй мировой войны». Ранее президент Украины Владимир Зеленский заявил, что СССР виновен в развязывании Второй мировой. До того ведущий польский политик Ярослав Качиньский поставил СССР и Германию на одну доску в вопросе ответственности за начало мировой войны. Бывший президент Украины Кравчук даже заявил, что 17 октября 1939 года Сталин и Гитлер встречались во Львове, что зафиксировано документально. Разберемся, так ли это.

24 февраля
4 минуты
Мария Азарова

Власти КНР сообщили, что повторные анализы 195 выздоровевших пациентов вновь показали наличие инфекции.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

12 февраля
36 минут
Александр Березин

Сегодняшние удары турецкой армии в Сирии производят несколько шокирующее впечатление, но только до тех пор, пока мы не обратимся к истории. Напомним: главу Турции не так давно пытались ликвидировать в заговоре, поддерживаемом ЦРУ. И только информация из России позволила ему в последний момент спастись. У Анкары нет ни одного настоящего союзника на Западе. Фактически у нее вообще один заметный союзник: Москва. В этой ситуации Эрдоган внезапно бьет по сирийцам — другому партнеру России. Что это? Новый «удар в спину», как по Су-24 в 2015 году? Или как по Севастополю в 1914 году? Лавры Османской империи не дают покоя и тянут турок к внешнеполитическому самоубийству? Попробуем с точки зрения истории разобраться, зачем Турция сегодня, как и сто лет назад, принимает столь странные решения — и почему, на самом деле, они логичны.

13 февраля
5 минут
Полина Гершберг

Олигосахарид под названием 2’-фукозиллактоза оказался критически важным для когнитивных способностей детей.

[miniorange_social_login]

Комментарии

1 Комментарий

rexerect
14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: