• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.05.2019
Никита Шевцов
15 528

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia / Автор: Павел Сорокин

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Нейросеть смогла воссоздать лицо человека по голосу – иллюстрация к материалу на Naked Science

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 16:02
Березин Александр

Экс-спикер Минобороны Армении Арцрун Ованнисян в эфире армянского Общественного телевидения решил «развеять миф» о Второй мировой войне. В частности, он заявил, что выигрыш Сталинградской битвы был не спасением для страны. Напротив, если бы немцы победили, уверен он, была бы создана объединенная историческая Армения — куда вошли бы земли, сегодня удерживаемые Турцией. Так ли все было на самом деле?

10 часов назад
Редакция Naked Science

Крис Фалкенберг (Chris Falkenberg) — концепт-дизайнер и цифровой иллюстратор из США, чьи работы создают эффект погружения в далёкие миры, высокотехнологичные цивилизации и воображаемые космические сценарии. Его художественный стиль сочетает точность технического рендеринга с кинематографичной атмосферой.

Позавчера, 10:40
Evgenia

Физики долго не могли определиться, является ли висмут топологическим материалом. Детальное исследование показало, что ученым стоит передоговориться о терминах.

Вчера, 16:02
Березин Александр

Экс-спикер Минобороны Армении Арцрун Ованнисян в эфире армянского Общественного телевидения решил «развеять миф» о Второй мировой войне. В частности, он заявил, что выигрыш Сталинградской битвы был не спасением для страны. Напротив, если бы немцы победили, уверен он, была бы создана объединенная историческая Армения — куда вошли бы земли, сегодня удерживаемые Турцией. Так ли все было на самом деле?

14 мая
Андрей

Споры вокруг выделения антропоцена в самостоятельную геологическую эпоху не утихли после официального отказа Международного союза геологических наук, наоборот, разожглись сильнее. Шведские геологи, придерживаясь логики союза, решили оценить легитимность других периодов кайнозойской эры и выяснили, что доказательства в пользу голоцена слабее, чем у антропоцена. Если идти дальше, то и половину ступеней кайнозоя можно откинуть.

15 мая
Татьяна

В Бразилии проживает более 200 миллионов человек, немалую долю которых занимают потомки иммигрантов. Колонизация с XV по XX века считается самым масштабным переселением народов в истории. Порядка пяти миллионов человек переселились туда из Европы. Столько же насильно переместили с Африканского континента. Сегодня бразильцы — это наиболее генетически разнородная нация, и одна из самых малоизученных. Поэтому неудивительно, что новая работа по результатам полногеномного анализа населения принесла целый ряд открытий.

6 мая
Редакция Naked Science

Да, с волосами и люком все так. У космонавта Суниты Уильямс волосы на МКС плавали свободно, а у Кэти Пэрри и прочих в полете 14 апреля 2025 года — нет. Но это не значит, что суборбитального космического полета первого чисто женского экипажа не было или что он был инсценировкой. Причем, в общем-то, чтобы понять это, даже не нужно обладать специальными знаниями.

6 мая
Березин Александр

Мощнейшее отключение электроэнергии за последние 20 лет истории Европы случилось уже неделю назад, а испанские власти пока так и не объявили о его причинах. Это логично: как мы покажем ниже, ответ на вопрос, кто виноват, получится очень неполиткорректным. И, более того, противоречащим линии правящей в Испании партии. Но мы живем за тысячи километров от нее, поэтому можем себе позволить аполитичный анализ случившегося. Так что же произошло на самом деле и каковы наши шансы увидеть подобное у себя дома?

2 мая
Unitsky String Technologies Inc.

Инженеры компании UST Inc. разработали передовой рельсовый беспилотник, способный передвигаться на скорости до 500 километров в час. Юнибус U5-75304 предназначен для перевозки пассажиров и может в перспективе заменить среднемагистральную авиацию. Давайте узнаем, как конструктивные особенности обеспечивают продолжительное движение на больших скоростях, комфорт и безопасность пассажирам.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно