Нейросеть смогла воссоздать лицо человека по голосу — Naked ScienceNaked Science
28 мая
4 минуты
Никита Шевцов
72

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Вчера, 17:34
2 минуты
Илья Ведмеденко

Подразделение Национальной гвардии США получило первый истребитель пятого поколения.

Сегодня, 13:36
4 минуты
Илья Ведмеденко

Частная компания Laros планирует осуществить запуск первого в России многоразового носителя в следующем году.

20 октября
4 минуты
Мария Азарова

По внешнему виду материал напоминает человеческую кожу.

17 октября
4 минуты
Илья Ведмеденко

Согласно представленным данным, вместо космического аппарата «Космос-2535» на орбите сейчас находятся пять объектов.

16 октября
3 минуты
Никита Шевцов

Биологи обнаружили вирус, который не может самостоятельно заражать клетки. Предполагается, что он пользуется помощью других вирусов.

16 октября
2 минуты
Илья Ведмеденко

Ученые сравнили состояние мозга женщин, имеющих детей, и тех, у кого их никогда не было. Выводы оказались более чем интересны.

17 октября
4 минуты
Илья Ведмеденко

Согласно представленным данным, вместо космического аппарата «Космос-2535» на орбите сейчас находятся пять объектов.

16 октября
3 минуты
Никита Шевцов

Биологи обнаружили вирус, который не может самостоятельно заражать клетки. Предполагается, что он пользуется помощью других вирусов.

16 октября
2 минуты
Илья Ведмеденко

Ученые сравнили состояние мозга женщин, имеющих детей, и тех, у кого их никогда не было. Выводы оказались более чем интересны.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.