Как ИИ изменит нашу жизнь — в специальном проекте Naked Science!
Перейти
  • To bookmarks. Drag icon on bookmarks panel
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.05.2019
Никита Шевцов
14 987

Нейросеть смогла воссоздать лицо человека по голосу

Новая нейросетевая модель смогла воссоздавать по записи речи человека примерное изображение его лица.

2769fd411ac30aa49c271cd739335281
©Wikipedia

Алгоритм получил название Speech2Face. На основе записи голоса он может точно определить пол и чуть менее точно — национальность. Еще менее точно программа может предсказать возраст говорящего. Также программа способна составить примерный портрет человека, но точность реконструкции оставляет желать лучшего.

 

Для обучения нейросети ученые использовали массив более чем из миллиона коротких видео, на которых говорили люди. Программа разделяла видео и аудиодорожку. Сначала она обрабатывала лицо человека на видео, воссоздавая его в анфас. Затем программа работала с аудиодорожкой, создавая спектрограмму — зависимость мощности сигнала от времени. Затем результаты двух алгоритмов объединили и лицо соотнесли со спектрограммой.

 

Обучив нейросеть на большом массиве данных, ученые протестировали модель на фотографиях лиц людей. Оказалось, алгоритм хорошо угадывает пол человека, но редко может определить его возраст с точностью до десяти лет, а также лучше всего воссоздает лица людей с европейской и азиатской внешностью. Последний факт ученые объясняют неравномерностью выборки по национальностям.

 

Результат работы нейросети. В первом столбце фотографии из видео, во втором — восстановленные по фото лица, а в третьем — лицо, воссозданное по голосу /©Tae-Hyun Oh et al.

 

Ученые сказали, что точность воссоздания внешности по голосу всегда будет довольно низкой из-за множества особенностей, влияющих на речь. Голос также может меняться в течение жизни, поэтому его точное сопоставление с внешностью едва ли возможно.

 

Исследователи сосредоточились на прогнозировании таких параметров, как пол, возраст и национальность. И если первый и третий параметры система определяла с высокой точностью, то над расчетом возраста создателям Speech2Face еще стоит поработать. Ученые отмечают, что их программа поможет лучше понять корреляцию внешности человека с его голосом.

 

Другая группа ученых ранее создала нейросеть, которая может угадывать имя человека по фотографии, выбирая один из нескольких вариантов. Точность определения составила 54–64 процента, что выше случайного выбора из двух вариантов, где вероятность правильного ответа равна 50 процентам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
5 часов назад
Анна Новиковская

Найти лекарство от старости — заветная мечта человечества, но вполне может оказаться, что для мужчин и для женщин их придется разрабатывать по отдельности. Во всяком случае, один из самых многообещающих антивозрастных препаратов, рапамицин, по-разному воздействовал на самцов и самок дрозофил, продлив жизнь одним и не повлияв на других.

Позавчера, 13:02
Александра Медведева

Новое исследование указало на мобильные элементы, которые могут перемещаться и размножаться в пределах генома, как на наиболее вероятный источник подавляющего большинства интронов, некодирующих участков ДНК эукариот. Открытие позволяет объяснить огромные различия в количестве интронов в геномах разных видов.

Позавчера, 13:13
Алиса Гаджиева

Палеонтологи обнаружили останки никогда ранее не встречавшегося дасплетозавра, который, возможно, был прямым предком Tyrannosaurus rex. Эта находка может разрешить серьезные споры об эволюционной родословной самого знаменитого динозавра.

26 ноября
Александра Медведева

Окаменелость крошечного морского червя, жившего 525 миллионов лет назад, разрешила вековой спор об эволюции мозга членистоногих. Исследование показало, что мозг первых членистоногих не был сегментирован, а нервная система головы и туловища эволюционировала независимо.

26 ноября
Мария Азарова

Международный коллектив ученых спрогнозировал наши ежедневные потребности в воде в зависимости от антропометрических, экономических и экологических факторов.

26 ноября
Денис Тулинов

Технологии искусственного интеллекта проникают во все сферы жизни. Наука не исключение — ученые начинают использовать машинное обучение все активнее, и за ним уже есть реальные научные достижения. Но это лишь прелюдия: ИИ явился не просто помочь с расчетами, его роль в будущем масштабнее — он усилит наше мышление, указывая на взаимосвязи, которые человеческому уму не видны. Наука изменится. Naked Science полагает, что у нее появился новый способ изучать мир.

19 ноября
Анна Новиковская

В последний раз черношейного фазанового голубя видели еще в 1882 году, и с тех пор ученые не знали, живет ли еще в лесах острова Фергуссон эта красивая птица. Теперь, наконец, им повезло: одна из камер запечатлела представителя редчайшего подвида фазановых голубей.

24 ноября
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

24 ноября
Анна Новиковская

В то время как основные мировые языки со временем упрощают письменность, существует одно яркое исключение: китайский язык. За свою историю, насчитывающую три тысячелетия, его система письма становилась только сложнее и до сих пор остается крайне сложной для изучения.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: