Нейросеть смогла воссоздать лицо человека по голосу — Naked Science
28.05.2019
Никита Шевцов

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 12:05
Илья Ведмеденко

Короткий ролик показывает модель летательного аппарата неизвестного типа. Некоторые обозреватели полагают, что она имеет отношение к программе NGAD, направленной на разработку истребителя шестого поколения. Ранее стало известно о начале испытаний его демонстратора.

Позавчера, 11:44
Илья Ведмеденко

Видео демонстрирует концепцию, известную как Rapid Dragon. Крылатые ракеты сбросили из самолетов C-17 и EC-130: предполагается, что это позволит повысить ударную мощь США.

Вчера, 17:26
Мария Азарова

Оманские спелеологи, наконец, спустились на дно загадочного «Адского колодца» на востоке Йемена — бархута, которого избегают многие местные жители, так как уверены, что там живут джинны.

Позавчера, 11:44
Илья Ведмеденко

Видео демонстрирует концепцию, известную как Rapid Dragon. Крылатые ракеты сбросили из самолетов C-17 и EC-130: предполагается, что это позволит повысить ударную мощь США.

Вчера, 12:05
Илья Ведмеденко

Короткий ролик показывает модель летательного аппарата неизвестного типа. Некоторые обозреватели полагают, что она имеет отношение к программе NGAD, направленной на разработку истребителя шестого поколения. Ранее стало известно о начале испытаний его демонстратора.

21 сентября
Василий Парфенов

Следует признать: амбициозные планы Илона Маска по освоению Марса столкнулись с суровой реальностью американской бюрократии раньше, чем предполагалось. Не успела его компания SpaceX начать тестирование системы из ускорителя Super Heavy и космического корабля Starship, как регуляторные органы высказали свое «фи». Первый орбитальный запуск исполинской ракеты никак не получит соответствующих разрешений, но наконец-то появилась надежда на положительный исход экологической оценки. Правда, космодром в Бока-Чика должен принять кое-какие расширенные меры по защите окружающей среды.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

15 сентября
Ольга Иванова

Американские исследователи выяснили, что в женских тампонах содержатся летучие органические соединения, которые влияют на присутствие этих веществ в моче. Интересно, что в прокладках их содержание значительно ниже.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: