28.05.2019
Никита Шевцов
14 744

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 21:17
Илья Ведмеденко

Научно-производственное объединение «Энергомаш» передало в прошлом году двигатель РД-171МВ ракетно-космическому центу «Прогресс»: там его ждут стендовые испытания в составе первой ступени ракеты-носителя «Союз-5».

Вчера, 13:25
Николай Цыгикало

Создание грандиозной группировки спутников Starlink продемонстрирует принципиально новые качества, которые начинают проявляться у экстремально больших спутниковых систем. Их баллистические возможности могут оказаться неожиданными и позволят использовать такую мегагрупприровку совсем не по основному назначению. Например, можно оперативно превратить часть мирных спутников в оружие и выполнить боевую задачу, а после вернуть спутники к их обычной работе. Naked Science задался вопросом, насколько это возможно.

Позавчера, 19:27
Михаил Орлов

В последнее время Азовское море страдает от нашествий медуз-корнеротов. Местные исследователи из Азово-Черноморского филиала ВНИРО подошли к проблеме изобретательно и предложили использовать корнеротов как ценный продукт питания.

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

26 января
Илья Ведмеденко

Украина, вероятно, потеряла недавно запущенный космический аппарат «Сич-2-30». Пока с ним нет устойчивой связи — или совсем никакой.

23 января
Илья Ведмеденко

(16) Психея – одно из самых необычных небесных тел в Поясе астероидов. Она может дать людям не только понимание о происхождении планет, но и невероятные по своим объемам ресурсы. Правда, придется подождать: миссия по исследованию астероида находится лишь в самом начале долгого и сложного пути.

12 января
Алиса Гаджиева

Дополнительное исследование вулканических пород формации Кибиш в Эфиопии изменило датировку найденных там костей Homo sapiens.

20 января
ТГУ

Ученые факультета физической культуры Томского государственного университета в рамках гранта, поддержанного РНФ, исследуют особенности механизма усвоения глюкозы при сахарном диабете второго типа. Для этого был организован масштабный четырехмесячный эксперимент на 240 мышах, подобного которому в мире еще никто не проводил. Животные с искусственно сформированным диабетом подвергались физической нагрузке. Установлено, что вечерние тренировки лучше снижали вес мышей мышей, а утренние – приводили к уменьшению уровня глюкозы. Предположительно, фактором, стимулирующим утилизацию глюкозы, выступил стресс. Ученые намерены проверить эту гипотезу.

24 января
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: