Нейросеть научили артикуляции Барака Обамы
Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.
Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.
Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.
Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.
В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.
Статья опубликована на сайте Вашингтонского университета.
Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.
Ученые из Великобритании смогли разобраться, что происходит в первые мгновения после контакта двух капель воды, и показали этот процесс на видео.
На фоне распространения Covid-19 за пределами Китая глава Всемирной организации здравоохранения заявил, что называть вспышку коронавируса, число зараженных которым приближается к 82 тысячам, пандемией все еще не рекомендуется, однако мир должен быть готовым к такому варианту развития событий.
Вопреки установившейся гипотезе, извержение супервулкана Тоба около 74 тысяч лет назад вряд ли стало катастрофой для молодого человечества.
Ученые из Великобритании смогли разобраться, что происходит в первые мгновения после контакта двух капель воды, и показали этот процесс на видео.
На днях парламент Эстонии принял резолюцию, где указал на «роль Советского Союза в качестве одного из основных зачинщиков Второй мировой войны». Ранее президент Украины Владимир Зеленский заявил, что СССР виновен в развязывании Второй мировой. До того ведущий польский политик Ярослав Качиньский поставил СССР и Германию на одну доску в вопросе ответственности за начало мировой войны. Бывший президент Украины Кравчук даже заявил, что 17 октября 1939 года Сталин и Гитлер встречались во Львове, что зафиксировано документально. Разберемся, так ли это.
Власти КНР сообщили, что повторные анализы 195 выздоровевших пациентов вновь показали наличие инфекции.
Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.
Сегодняшние удары турецкой армии в Сирии производят несколько шокирующее впечатление, но только до тех пор, пока мы не обратимся к истории. Напомним: главу Турции не так давно пытались ликвидировать в заговоре, поддерживаемом ЦРУ. И только информация из России позволила ему в последний момент спастись. У Анкары нет ни одного настоящего союзника на Западе. Фактически у нее вообще один заметный союзник: Москва. В этой ситуации Эрдоган внезапно бьет по сирийцам — другому партнеру России. Что это? Новый «удар в спину», как по Су-24 в 2015 году? Или как по Севастополю в 1914 году? Лавры Османской империи не дают покоя и тянут турок к внешнеполитическому самоубийству? Попробуем с точки зрения истории разобраться, зачем Турция сегодня, как и сто лет назад, принимает столь странные решения — и почему, на самом деле, они логичны.
Олигосахарид под названием 2’-фукозиллактоза оказался критически важным для когнитивных способностей детей.
Комментарии
