Нейросеть научили артикуляции Барака Обамы — Naked Science
13.07.2017
Редакция Naked Science
1

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4
©Wikipedia

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 20:44
Мария Азарова

Ученые посадили мышей, больных раком, на диету с разным содержанием хлорида натрия, а затем проверяли различия в росте опухоли. Как выяснилось, у грызунов, потреблявших больше соли, наблюдалось увеличение количества бифидобактерий и иммунных клеток, атакующих новообразование.

Вчера, 13:00
Ольга Иванова

Одно из самых крупных исследований показало, что фазы Луны, вероятно, в самом деле влияют на наш сон, а зависит это от пола.

11 часов назад
Александр Березин

Согласно недавнему докладу Межправительственной группы экспертов по изменению климата, к 2100 году будет потеряно более 99% рифообразующих кораллов. Новая работа показывает неожиданный результат: все окажется совсем не так.

15 сентября
Ольга Иванова

Американские исследователи выяснили, что в женских тампонах содержатся летучие органические соединения, которые влияют на присутствие этих веществ в моче. Интересно, что в прокладках их содержание значительно ниже.

15 сентября
ПНИПУ

Ученые Пермского Политеха и Хуачжунского университета науки и технологии (КНР) создали уникальную технологию, которая позволит предприятиям производить промышленные изделия без дефектов. Лазерная сварка в вакууме позволит повысить качество ответственных конструкций в аэрокосмической и машиностроительной отраслях. Российские и зарубежные ученые реализовали разработку благодаря уникальному проекту международных исследовательских групп (МИГов), который действует в Пермском крае с 2011 года и не имеет аналогов в России.

Позавчера, 15:26
Александр Березин

Сегодня на Землю вернулся экипаж Inspiration 4. Пресса уже единодушно пишет об этом так: большой и яркий успех амбициозной космической компании. Без единого профессионала-астронавта — и взлетели выше МКС! Все это правда. Но правда и другое: сам Илон Маск и все, кто хорошо представляют себе пилотируемые космические полеты, находились в напряжении на протяжении троих суток, пока четверо смелых из Inspiration 4 были в космосе. И можно с уверенностью сказать, что впереди у SpaceX, кажется, еще более рискованные полеты. Попробуем разобраться почему.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

15 сентября
Ольга Иванова

Американские исследователи выяснили, что в женских тампонах содержатся летучие органические соединения, которые влияют на присутствие этих веществ в моче. Интересно, что в прокладках их содержание значительно ниже.

[miniorange_social_login]

Комментарии

1 Комментарий

14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: