Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросеть научили артикуляции Барака Обамы
Специалисты из Вашингтонского университета разработали компьютерный алгоритм, который позволяет адаптировать мимику изображенного человека к стороннему аудиоряду.
Синхронизация видео- и аудиодорожек важна во многих областях: политике, бизнесе и искусстве. Так, видеоконференции нередко сопровождаются задержкой сигнала, в результате чего речь изображенного человека не соответствует артикуляции. Искусственная адаптация фонем к микродвижениям, кроме того, актуальна для киноиндустрии: она могла бы упростить озвучивание персонажей. Ранее французские ученые представили алгоритм с обратной функцией — для воспроизведения голоса по положению губ. Системы, способные монтировать аудиоряд в видеоролик, также создаются, однако до сих пор при их разработке использовались только видео, записанные в лабораторных условиях.
Авторы новой статьи на этапе проектирования алгоритма задействовали записи естественной речи бывшего президента США Барака Обамы. На первом этапе они с помощью рекуррентной нейросети описали артикуляционную мимику политика на основе фонем из четырех его видеообращений к гражданам страны. Затем с помощью полученной модели ученые нарисовали трехмерную маску (с нейтральным выражением) экс-главы государства и обучили систему совмещать изображение с ней и произвольным аудиорядом. Для повышения реалистичности команда также учитывала характерные для бывшего президента движения головы и общую мимику. Тренировка искусственной нейросети продолжалась от 3 трех минут до 14 часов.
Тесты показали, что точность наложения коррелирует с продолжительностью обучения. Так, максимального результата алгоритму удалось достичь после семи и более часов. Авторы отмечают, что последний использовал в качестве базовых единиц сравнительно простые комбинации из не более чем пяти фонем (пентафонов), поскольку вероятность встретить в разных видео более сложные одинаковые последовательности звуков чрезвычайно мала. Эффективность адаптации видеоряда исходя из комбинаций при этом составила от 4,9 процента для пентафонов до 82,9–99,9 процента для три- и дифонов соответственно. Для сравнения, среднее слово в английском языке содержит 3,9 фонемы.
В рамках демонстрации исследователи испытали технологию на четырех других видеозаписях, сделанных во время интервью Обамы актеру Стиву Харви, ток-шоу The View, журналу Harvard Law Review (в 1990 году), а также выступления пародиста. Нейросеть хорошо адаптировала аудиодорожки к видеообращениям. Дополнительно разработку сравнили с аналогичным сервисом Face2face, который весной 2016 года представили специалисты из Стэнфордского университета, Общества Макса Планка и Университета Эрлангена — Нюрнберга. По мнению ученых, новая система позволяет повысить реалистичность целевой записи. При этом, в отличие от Face2face, она может обучаться только по аудиоряду.
Статья опубликована на сайте Вашингтонского университета.
Ранее американский программист создал искусственную нейросеть для превращения мужских лиц на снимках в женские и наоборот.
Telegram 
Дзен 
VK Жизнь в пещерах суровая, мягко выражаясь. Рыбы, населяющие подземные воды и никогда не видевшие солнечного света, приспособились к такой среде по-своему. Кто-то решил отказаться от глаз, кто-то от чешуи. Некоторые даже горб для чего-то вырастили. Китайские биологи рассказали о необычной пещерной рыбе, которая «носит» нечто вроде спасательного круга. Зачем? Похоже, чтобы не тратить много энергии.
Когда у круглых червей наступают голодные времена или им становится тесно, они объединяют свои усилия, чтобы поменять среду обитания. Забираются друг на друга, образуя живые башни, которые устремляются вверх, где нематоды могут прицепиться к проходящему мимо животному и с его помощью добраться до более изобильных мест. Долгое время ученые лишь догадывались о существовании таких живых башен. Теперь команда исследователей из Германии впервые зафиксировала их в дикой природе.
В 2023 году ученые Кембриджского университета обнародовали Карту средневековых убийств, где собраны свидетельства о насильственных смертях в Англии в XIV веке. Теперь с помощью этого проекта удалось проанализировать географию преступлений и выявить «горячие точки» с высокой концентрацией убийств.
Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.
Человечество много тысячелетий живет рядом с разными вредителями. Вездесущие тараканы, мыши, крысы, вши, комары, а также множество врагов сельского хозяйства. Особый научный интерес — выяснить, откуда эти спутники людей переселились и как давно с нами соседствуют. Энтомологи выяснили, что кровососущие постельные клопы живут с человеком более 10 тысяч лет, то есть, вероятно, дольше прочих насекомых-синантропов.
Звезда TOI-6894 — красный карлик, который в пять раз легче Солнца. Согласно теоретическим моделям, в протопланетном диске столь маломассивных звезд нет достаточно материала, чтобы впоследствии на их орбите сформировался газовый гигант, подобно Юпитеру. Однако международная команда астрономов с помощью наземных телескопов обнаружила несомненные признаки присутствия гигантской планеты вблизи TOI-6894. Открытие ставит под сомнение сложившееся представление о формировании планет.
Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.
Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.
Мохаммад Х. Аттаран (Mohammad H. Attaran) — концепт-дизайнер и цифровой художник, работающий в Великобритании. В своих проектах он сочетает эстетику научной фантастики с элементами, вдохновлёнными природой, особенно анатомией насекомых. Его машины, мехи и транспортные средства выглядят одновременно инопланетно и инженерно достоверно. Ну или почти.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Последние комментарии