Нейросеть научили артикуляции Барака Обамы — Naked Science
6 минут
Редакция
1

Нейросеть научили артикуляции Барака Обамы

Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.

giphy_4
©Wikipedia

Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.

 

Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.

 

Алгоритм работы нейросети / ©Suwajanakorn S. et al., SIGGRAPH, 2017

 

Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.

 

В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.

 

Статья опубликована на сайте Вашингтонского университета.

 

Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.

 

Демонстрация работы нейросети / ©University of Washington

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 12:00
2 минуты
Илья Ведмеденко

Как следует из обнародованных материалов, дальность действия перспективной американской системы гиперзвукового оружия Long Range Hypersonic Weapon превышает 2775 километров.

Позавчера, 09:30
9 минут
РНФ

Лечение онкологических заболеваний стандартным методом химиотерапии не только уничтожает злокачественные клетки, но и повреждает здоровые. Для решения проблемы российские ученые разработали химически «сшитые» вещества, способные избирательно накапливаться в «энергетических станциях» раковых клеток — митохондриях. Липофильный катион транспортирует вещество в клетки, а функционально активный компонент, бетулиновая кислота, провоцирует их гибель. Предполагается, что препарат будет воздействовать только на злокачественные клетки, что в будущем дает возможность лечения онкологии без тяжелых побочных эффектов.

Вчера, 21:25
1 минута
Мария Кривоченко

Видео Инги Аванесовой завораживают своей величественностью и безмятежностью. Глядя на них, создается впечатление, что ночь — это не просто другое время суток, а некое иное измерение.

11 мая
3 минуты
Мария Кривоченко

Рейс должен состояться 26 мая. Полет продлится три часа. Пассажиры смогут увидеть суперлуние, которое в этот раз совпадет с полным лунным затмением. Происходящее будет комментировать нанятый астроном.

Позавчера, 12:00
2 минуты
Илья Ведмеденко

Как следует из обнародованных материалов, дальность действия перспективной американской системы гиперзвукового оружия Long Range Hypersonic Weapon превышает 2775 километров.

Позавчера, 09:30
9 минут
РНФ

Лечение онкологических заболеваний стандартным методом химиотерапии не только уничтожает злокачественные клетки, но и повреждает здоровые. Для решения проблемы российские ученые разработали химически «сшитые» вещества, способные избирательно накапливаться в «энергетических станциях» раковых клеток — митохондриях. Липофильный катион транспортирует вещество в клетки, а функционально активный компонент, бетулиновая кислота, провоцирует их гибель. Предполагается, что препарат будет воздействовать только на злокачественные клетки, что в будущем дает возможность лечения онкологии без тяжелых побочных эффектов.

16 апреля
4 минуты
Илья Ведмеденко

Исследователи установили, что обнаруженный в Баренцевом море объект — погибшая советская субмарина типа «Крейсерская». Это одна из самых больших подлодок СССР периода Второй мировой.

23 апреля
11 минут
Василий Парфенов

Действующий глава NASA в рамках общения с прессой ответил на ряд вопросов, касающихся недавних заявлений российских политиков и главы «Роскосмоса» о скором отказе от собственного сегмента МКС. Администратор заверил всех, что агентство находится в хороших отношениях с Россией, а также поделился информацией о согласовании обмена местами для астронавтов и космонавтов в пилотируемых миссиях двух стран.

25 апреля
17 минут
Александр Березин

На этой неделе СМИ выдали новость, от которой можно впасть в шок: «Ранее из России уезжало около 14 тысяч исследователей [в год], теперь — 70 тысяч». Мы внимательно разобрались в ситуации и вынуждены отметить, что ничего подобного не было и нет. В реальности речь вовсе не об ученых и даже не о высококвалифицированных специалистах. Проблемы с учеными в России есть. Но в этом случае речь идет не о них, а о том, что отдельные бывшие комсомольские вожаки, удачно устроившиеся в РАН, перепутали утечку мозгов из России с отъездом из нее гастарбайтеров. Разбираемся, как это у них получилось.

[miniorange_social_login]

Комментарии

1 Комментарий

14.07.2017
-
0
+
Очень круто! Поскорей бы увидеть это в компьютерных играх
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: