13.07.2017
Редакция Naked Science
1
133

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4
©Wikipedia

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Предстоящие мероприятия
Вчера, 19:27
Михаил Орлов

В последнее время Азовское море страдает от нашествий медуз-корнеротов. Местные исследователи из Азово-Черноморского филиала ВНИРО подошли к проблеме изобретательно и предложили использовать корнеротов как ценный продукт питания.

Позавчера, 16:42
Илья Ведмеденко

Украина, вероятно, потеряла недавно запущенный космический аппарат «Сич-2-30». Пока с ним нет устойчивой связи — или совсем никакой.

25 января
Александр Березин

Океаны на нашей планете не могли возникнуть сразу после ее появления: здесь было слишком жарко. Однако попытки объяснить их «кометным завозом» не удались, изотопный состав нашей воды не такой, как в кометах. До самых недавних пор оставалось неясным, откуда же тогда она появилась, сделав возможной земную жизнь?

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

21 января
Илья Ведмеденко

Заслуженные штурмовики A-10 и Су-25, которым дали прозвища «Бородавочник » и «Грач» соответственно, много десятилетий стоят на службе в Соединенных Штатах и России. Страны избрали разные подходы к модернизации этих самолетов, и сегодня Naked Science постарается понять, какой из них больше соответствует требованиям XXI века.

23 января
Илья Ведмеденко

(16) Психея – одно из самых необычных небесных тел в Поясе астероидов. Она может дать людям не только понимание о происхождении планет, но и невероятные по своим объемам ресурсы. Правда, придется подождать: миссия по исследованию астероида находится лишь в самом начале долгого и сложного пути.

12 января
Алиса Гаджиева

Дополнительное исследование вулканических пород формации Кибиш в Эфиопии изменило датировку найденных там костей Homo sapiens.

20 января
ТГУ

Ученые факультета физической культуры Томского государственного университета в рамках гранта, поддержанного РНФ, исследуют особенности механизма усвоения глюкозы при сахарном диабете второго типа. Для этого был организован масштабный четырехмесячный эксперимент на 240 мышах, подобного которому в мире еще никто не проводил. Животные с искусственно сформированным диабетом подвергались физической нагрузке. Установлено, что вечерние тренировки лучше снижали вес мышей мышей, а утренние – приводили к уменьшению уровня глюкозы. Предположительно, фактором, стимулирующим утилизацию глюкозы, выступил стресс. Ученые намерены проверить эту гипотезу.

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

[miniorange_social_login]

Комментарии

1 Комментарий

14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: