• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.05.2019
Никита Шевцов
15 317

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 17:01
Андрей

Международная группа геологов выяснила, когда начал отступать антарктический ледник Туэйтса, который называют «ледником Судного дня».

Вчера, 15:05
Ольга Иванова

Немецкие ученые изучили Danionella cerebrum — небольшой вид рыб длиной около 12 миллиметров. И выяснили, как эта крошка способна издавать звуки более 140 децибел.

Вчера, 14:16
ПНИПУ

Смартфоны и прочие гаджеты стали неотъемлемой частью нашей жизни: они нужны для работы, учебы, комфортного отдыха, общения. Качественная работа устройств, а порой и наша безопасность зависят от состояния аккумулятора. Кандидат технических наук, доцент кафедры информационных технологий и автоматизированных систем ПНИПУ Даниил Курушин рассказал об основных правилах долголетия батареи смартфона, стоит ли заряжать и разряжать гаджет полностью, чем вредит виброрежим и что значат «скачущие» проценты.

26 февраля
Дарья Губина

В 2022 году зонд DART столкнулся с Диморфом, спутником астероида Дидим. Ученые хотели проверить, можно ли сбить с траектории небольшое, но потенциально опасное для нашей жизни космическое тело. Оказалось, DART не только изменил орбиту маленького объекта, но и полностью его «переворошил».

25 февраля
Руслан Руслан

Компания Neuralink, при помощи которой предприниматель Илон Маск надеется совершить революцию в интерфейсах «мозг-компьютер» (BCI), впервые имплантировала человеку устройство «чтения мыслей». Об этом Маск сообщил в твите, опубликованном 29 января. Однако, некоторые обеспокоены отсутствием прозрачности вокруг имплантата, который должен дать возможность управлять устройствами посредством мысли. Реакции ученых и экспертов на это событие обобщает медиа-редакция Nature, а Naked Science приводит перевод этой статьи.

26 февраля
Юлия Трепалина

Немецкие ученые рассказали о преимуществах новой технологии промышленного производства яблочного сока — с помощью метода спирального пресса с фильтрацией (spiral filter press). Исследователи установили, что он позволяет в четыре раза увеличить содержание в соке полезных для здоровья веществ по сравнению с более традиционным способом отжима.

20 февраля
Полина

В Российской академии наук завершили первый Большой словарь ударений, его издадут к концу года. Лингвисты собрали наиболее современные нормы произношения привычных слов и зафиксировали ударение для лексики, которая появилась в русском языке недавно.

1 февраля
Андрей

Канадские исследователи изучили состав пород, вышедших на поверхность при появлении первых континентов. По итогам анализа выяснилось, что новая земная кора возникла не в результате движения тектонических плит, а из-за процессов в океанических плато молодой Земли.

22 февраля
РНФ

Ученые показали, что экстремальный подъем уровня Каспийского моря на десятки метров, произошедший 18-13 тысяч лет назад и получивший название «Великая Хвалынская трансгрессия», мог быть вызван, вопреки существующим гипотезам, не таянием ледника, а естественными изменениями палеоклимата. Оказалось, что из-за холодного климата того периода обширные территории, с которых собирали воду впадающие в Каспий реки, были покрыты многолетней мерзлотой. В результате массы дождевых и талых вод почти не впитывались в мерзлые грунты и стекали в море, испарение с поверхности которого было небольшим. Все эти факторы привели к повышению уровня Каспия и увеличению площади моря более чем вдвое по сравнению с современным. Полученные данные помогут уточнить представления о масштабе колебаний уровня Каспийского моря при изменении климата.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: