• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
13.07.2017
Редакция Naked Science
1
200

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4
©Wikipedia

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 12:32
Алиса Гаджиева

Авторы нового исследования рассказали, каким образом древние люди доставляли многотонные камни к месту строительства крупнейшего в Европе мегалитического сооружения.

Вчера, 15:28
Ольга Иванова

Американские ученые выяснили, что мыши могут обладать самосознанием. Однако для его формирования нужны определенные условия, в том числе окружение, в котором растет грызун.

Позавчера, 16:57
Дарья Губина

Впервые вблизи сверхмассивной черной дыры в центре Млечного Пути обнаружили звезду из другой галактики. По данным наблюдений за восемь лет ученые смогли определить состав, скорость и другие параметры этого объекта.

1 декабря
Александр Березин

Судно Yara Eyde станет первым, плавающим только на этом виде топлива, что потребует существенных модификаций судового двигателя. Его токсичность настолько высока, что предельно допустимая концентрация подобного горючего в 15 раз ниже, чем у солярки, применяемой в контейнеровозах сегодня. Производитель решился на столь непростой шаг ради экологии.

Вчера, 12:32
Алиса Гаджиева

Авторы нового исследования рассказали, каким образом древние люди доставляли многотонные камни к месту строительства крупнейшего в Европе мегалитического сооружения.

Позавчера, 16:57
Дарья Губина

Впервые вблизи сверхмассивной черной дыры в центре Млечного Пути обнаружили звезду из другой галактики. По данным наблюдений за восемь лет ученые смогли определить состав, скорость и другие параметры этого объекта.

15 ноября
Александр Березин

Парниковый эффект от американского природного газа, поставляемого в Старый Свет, неожиданно оказался выше, чем от сжигания местного угля. И намного выше, чем от российского газа.

10 ноября
Михаил Орлов

Известно всего несколько примеров злокачественных опухолей, которые ведут себя подобно инфекции — передаются другим организмам. Среди них — трансмиссивный рак двустворчатых моллюсков BTN. Авторы новой статьи описали географические и экологические аспекты распространения BTN среди мидий в Баренцевом море, оценили число больных моллюсков и узнали, как расселение «заразного рака» связано с Северным морским путем.

1 декабря
Александр Березин

Судно Yara Eyde станет первым, плавающим только на этом виде топлива, что потребует существенных модификаций судового двигателя. Его токсичность настолько высока, что предельно допустимая концентрация подобного горючего в 15 раз ниже, чем у солярки, применяемой в контейнеровозах сегодня. Производитель решился на столь непростой шаг ради экологии.

[miniorange_social_login]

Комментарии

1 Комментарий

rexerect
14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: