Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросеть научили артикуляции Барака Обамы
Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.
Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.
Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.
Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.
В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.
Статья опубликована на сайте Вашингтонского университета.
Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.
Распространено мнение, что, чем чаще пара занимается сексом, тем сильнее каждый из партнеров доволен отношениями. Международная команда исследователей проверила этот тезис.
Ведущая космическая компания планеты предложила Пентагону «подписку» на услуги крупной спутниковой группировки. Она станет крупнейшим созвездием космических аппаратов, построенным в военных целях. Однако данные об этом исходят от информационного агентства Reuters, которое неоднократно публиковало фейки о компаниях Илона Маска.
Примерно 41-42 тысячи лет назад на Земле произошел кратковременный сдвиг магнитных полюсов, который мог способствовать вымиранию неандертальцев, но не Homo sapiens — их выживание авторы нового исследования связали с появлением теплой одежды и добычей охры.
Современное сельское хозяйство сталкивается с серьезными экологическими и агротехническими проблемами, которые связаны с использованием традиционных минеральных удобрений. Большинство из них быстро растворяются, вымываются из почвы и загрязняют водоемы, вызывая гибель экосистем. Ученики Политехнической школы под руководством ученых Пермского Политеха разработали удобрение нового состава: оно не только повышает урожайность, но также дольше действует и снижает нагрузку на окружающую среду.
Оснащенные высокочувствительными датчиками, разработанные новгородцами перчатки, будут отслеживать малейшее движение пальцев и кистей рук и проводить операции с помощью VR-симулятора. Это позволит вывести качество медицинского образования и станет помощником для практикующих хирургов.
В крупных компаниях для того, чтобы обслуживать оборудование, инженерам и аналитикам часто приходится разбираться в огромном количестве данных. Например, чтобы избежать поломок и вовремя ремонтировать оборудование, нужно понять, что сильнее влияет на появление дефектов: температура, вибрация или износ? Для этого специалисты занимаются анализом данных с применением технологий машинного обучения, однако это сложные области, которые требуют глубоких знаний программирования и математики. Ученые из Пермского Политеха создали программу в виде электронной книги, которая помогает легко разобраться в основах классификации данных. Она уже успешно применяется в обучении студентов высшей школы авиационного двигателестроения.
До 13 тысяч лет назад в Северной Америке жил вид, который ученые до недавнего времени считали волком. Компания Colossal Biosciences объявила о возрождении этого вымершего вида, но биологические детали ставят ее заявление под серьезное сомнение.
Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.
Инженеры компании Unitsky String Technologies Inc. разработали несколько вариантов транспортно-инфраструктурных комплексов, способных значительно улучшить пассажирское сообщение в городах, расположенных по обеим берегам крупных водных артерий. Обычно такие мегаполисы сталкиваются с необходимостью строительства дорогих капитальных сооружений — шоссейных мостов, что не всегда подъемно для городского бюджета. Решение белорусских инженеров куда менее ресурсоемкое. Для примера возьмем Ростов-на-Дону, где есть запрос на устойчивое сообщение между левобережной частью города с историческим центром.

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии