Нейросеть смогла воссоздать лицо человека по голосу — Naked Science
4 минуты
Никита Шевцов

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
6 часов назад
10 минут
Мария Азарова

Исследование американских кардиологов показало, что алкоголь практически неминуемо влияет на сердечный ритм, приводя к фибрилляции предсердий. Всего одна порция вина, пива или другого спиртного более чем в шесть раз повысила риск приступа в течение следующих четырех часов.

Вчера, 22:01
5 минут
Мария Азарова

В среднем интернет-пользователь тратит 32 секунды на выполнение задачи CAPTCHA, подсчитали эксперты. Таким образом, в сумме у человечества ежедневно уходит 500 лет на доказательство того, что мы не роботы.

Позавчера, 10:05
2 минуты
Sergei Sobol

Обращаете внимание, какой творческий подход проявляют дизайнеры при создании электрических мотоциклов? Каждый из них уникален своими особенностями, и наш сегодняшний фаворит – концептуальный электрический байк BMW Motorrad – не исключение. Он создан дизайнером из Валенсии Яго Валино (Iago Valino), вдохновившимся кастомными мотоциклами мастерской El Solitario. А эстетика байка навеяна культовыми мотоциклами Ural, в которые советские инженеры добавили собственный взгляд на традиции BMW.

Позавчера, 12:51
39 минут
Александр Березин

В июне 2020 года канадские астрономы рассчитали, что в Млечном Пути может быть пять миллиардов планет, похожих на Землю и вращающихся вокруг звезд, похожих на Солнце. Однако это лишь видимая часть айсберга обитаемых планет. Дело не только в том, что вокруг звезд других типов их больше: и сами условия на экзопланетах в других системах могут быть куда благоприятнее для жизни, чем у нас с вами. Попробуем понять почему.

Позавчера, 10:05
2 минуты
Sergei Sobol

Обращаете внимание, какой творческий подход проявляют дизайнеры при создании электрических мотоциклов? Каждый из них уникален своими особенностями, и наш сегодняшний фаворит – концептуальный электрический байк BMW Motorrad – не исключение. Он создан дизайнером из Валенсии Яго Валино (Iago Valino), вдохновившимся кастомными мотоциклами мастерской El Solitario. А эстетика байка навеяна культовыми мотоциклами Ural, в которые советские инженеры добавили собственный взгляд на традиции BMW.

6 часов назад
10 минут
Мария Азарова

Исследование американских кардиологов показало, что алкоголь практически неминуемо влияет на сердечный ритм, приводя к фибрилляции предсердий. Всего одна порция вина, пива или другого спиртного более чем в шесть раз повысила риск приступа в течение следующих четырех часов.

25 апреля
17 минут
Александр Березин

На этой неделе СМИ выдали новость, от которой можно впасть в шок: «Ранее из России уезжало около 14 тысяч исследователей [в год], теперь — 70 тысяч». Мы внимательно разобрались в ситуации и вынуждены отметить, что ничего подобного не было и нет. В реальности речь вовсе не об ученых и даже не о высококвалифицированных специалистах. Проблемы с учеными в России есть. Но в этом случае речь идет не о них, а о том, что отдельные бывшие комсомольские вожаки, удачно устроившиеся в РАН, перепутали утечку мозгов из России с отъездом из нее гастарбайтеров. Разбираемся, как это у них получилось.

23 апреля
11 минут
Василий Парфенов

Действующий глава NASA в рамках общения с прессой ответил на ряд вопросов, касающихся недавних заявлений российских политиков и главы «Роскосмоса» о скором отказе от собственного сегмента МКС. Администратор заверил всех, что агентство находится в хороших отношениях с Россией, а также поделился информацией о согласовании обмена местами для астронавтов и космонавтов в пилотируемых миссиях двух стран.

24 апреля
9 минут
Мария Азарова

Американские ученые показали обратную связь всех конечных точек смертности с содержанием омега-3-полиненасыщенных жирных кислот. Согласно их выводам, более высокие уровни некоторых основных ПНЖК в тканях и крови могут снижать вероятность смерти от всех причин в среднем на 13% и в итоге замедлять процесс старения.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: