Нейросеть научили артикуляции Барака Обамы — Naked Science
6 минут
Редакция
1

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4
©Wikipedia

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 20:05
4 минуты
Илья Ведмеденко

Компания Dynetics провела успешные тесты перспективной воздушной системы X-61A Gremlins, предполагающей запуск БПЛА с борта самолета-носителя. Во время испытания беспилотник находился в непосредственной близости от C-130.

Вчера, 19:05
4 минуты
Мария Азарова

Пациент — уроженец Исландии Феликс Гретарссон, лишившийся верхних конечностей более 23 лет назад из-за несчастного случая на работе — уже идет на поправку.

Вчера, 19:40
28 минут
Александр Речкин

Впервые я увидел «Стрелу», как и миллионы землян, двадцать второго марта, когда она пронзила голубую дымку утреннего неба. Чудовищный, по земным меркам, космический корабль завис на орбите нашей планеты. Говорят, он просто возник в мгновение ока. Его появление не сопровождали ни вспышки света, ни грохот, ни клубы ракетного огня.

Вчера, 19:05
4 минуты
Мария Азарова

Пациент — уроженец Исландии Феликс Гретарссон, лишившийся верхних конечностей более 23 лет назад из-за несчастного случая на работе — уже идет на поправку.

22 января
4 минуты
Ольга Иванова

Особенно это касается витаминов D и A, а также холестерина и незаменимых аминокислот. Все эти показатели у детей, которых кормили в соответствии с веганским меню, оказались значительно ниже, чем у малышей, придерживавшихся обычной диеты.

22 января
52 минуты
Александр Березин

Решение Совета по космосу РАН повременить с созданием сверхтяжелой ракеты для полетов на Луну звучит странно. Куда откладывать лунную ракету, когда в США средство полета туда отправится в космос уже в 2022 году? Если присмотреться к ситуации внимательно, все еще хуже. Starship — не просто ракета для полетов к Луне и Марсу, а технологическое решение, которое навсегда перевернет военно-политический баланс на Земле. Попробуем разобраться, откуда у «Роскосмоса» такое нежелание посылать людей в дальний космос и как прорывной проект Илона Маска может оказаться дорогой к настоящей Звезде Смерти.

4 января
2 минуты
Илья Ведмеденко

В России приступили к летным испытаниям нового Ту-214. По имеющимся данным, речь идет о третьем и заключительном экземпляре Ту-214ПУ, изготовленном по контракту от 2017 года.

6 января
42 минуты
Александр Березин

Попытки нашей страны создать замену сверхмассовому биплану советской эпохи терпят неудачи вот уже тридцать лет. Причина проста: кризис легкомоторной авиации в целом. Когда-то самая передовая часть авиастроения сегодня застряла на решениях большой древности — и без резкого изменения всей концепции "летающего такси" так и не увидит заметных результатов.

4 января
7 минут
Василий Парфенов

Наступление Мирового океана на сушу, как правило, связывают с глобальным потеплением. Однако испанские геологи описали еще одну проблему, которая только усугубляет ситуацию. Они подсчитали, что из-за проседания почв территория, на которой проживает 19% населения Земли, окажется ниже уровня моря уже к 2040 году.

[miniorange_social_login]

Комментарии

1 Комментарий
rexerect
14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: