Нейросеть научила вокодер читать по губам
28.11.2016
4 минуты
Редакция
80

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 12:54
4 минуты
Полина Гершберг

Болезнь подтверждена у 472 и подозревается более чем у полутора тысяч человек. Как минимум 70 уже скончались.

Вчера, 17:20
28 минут
Илья Ведмеденко

Идея объединить два наиболее смертоносных класса кораблей в единое целое родилась намного раньше, чем можно было подумать. И, по сути, в значительной мере уже успела себя изжить.

Позавчера, 15:47
5 минут
Илья Ведмеденко

Исследователи выяснили, что если человек имел в жизни десять и более половых партнеров, то у него с большей долей вероятности диагностируют рак или некоторые другие опасные болезни.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

12 февраля
36 минут
Александр Березин

Сегодняшние удары турецкой армии в Сирии производят несколько шокирующее впечатление, но только до тех пор, пока мы не обратимся к истории. Напомним: главу Турции не так давно пытались ликвидировать в заговоре, поддерживаемом ЦРУ. И только информация из России позволила ему в последний момент спастись. У Анкары нет ни одного настоящего союзника на Западе. Фактически у нее вообще один заметный союзник: Москва. В этой ситуации Эрдоган внезапно бьет по сирийцам — другому партнеру России. Что это? Новый «удар в спину», как по Су-24 в 2015 году? Или как по Севастополю в 1914 году? Лавры Османской империи не дают покоя и тянут турок к внешнеполитическому самоубийству? Попробуем с точки зрения истории разобраться, зачем Турция сегодня, как и сто лет назад, принимает столь странные решения — и почему, на самом деле, они логичны.

13 февраля
5 минут
Полина Гершберг

Олигосахарид под названием 2’-фукозиллактоза оказался критически важным для когнитивных способностей детей.

11 февраля
4 минуты
Сергей Васильев

Экспериментальные данные указали на виды физических нагрузок, которые стимулируют нейропластичность мозга.

28 января
25 минут
Александр Березин

Недавняя научная работа предрекла серьезную эпидемию коронавируса 2019-nCoV. Согласно ей, 95% зараженных еще не зарегистрированы властями, а значит, через пару недель в одной Ухани будут сотни тысяч заболевших. При наблюдаемой смертности от вируса в 2,36% — это многие тысячи погибших. На самом деле, новая работа скорее «ловит хайп» или, если угодно, пытается держать мир настороже, чем описывает реальную эпидемию. Последние данные по заразности коронавируса показывают: он действительно неблестяще передается от человека к человеку. Для эпидемии в Китае этого достаточно, но большое число жертв за пределами этой страны маловероятно. Выясняем почему.

28 января
3 минуты
Полина Гершберг

Ученые создали информационную панель, показывающую распространение китайского коронавируса по миру в режиме реального времени. Данные вносятся из подтвержденных источников — это поможет бороться с дезинформацией.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: