28.11.2016, 15:14
4 минуты
Руслан Зораб
1

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Сегодня, 09:04
4 минуты
Сергей Васильев

Грузинский ученый предположил существование крошечных, способных к самокопированию зондов, с помощью которых высокоразвитая цивилизация могла бы исследовать и осваивать Галактику.

Сегодня, 12:55
9 минут
ФизТех

Международная команда ученых оценила сколько людей в мире болеют и умирают от рака, каково число лет жизни прожитых больными с онкологией или потерянных вследствие преждевременной смерти, какие из видов рака наиболее распространены, а какие уносят наибольшее число жизней, и насколько рак сопоставим с другими болезнями.

12 октября
5 минут
Илья Ведмеденко

Исследователи полагают, что темп передвижения и интеллектуальные способности тесно связаны.

Сегодня, 09:04
4 минуты
Сергей Васильев

Грузинский ученый предположил существование крошечных, способных к самокопированию зондов, с помощью которых высокоразвитая цивилизация могла бы исследовать и осваивать Галактику.

11 октября
2 минуты
Max Koval

Способные дышать воздухом рыбы-змееголовы распространяются по США, и власти выпустили официальный призыв убивать их при каждой встрече.

10 октября
2 минуты
Илья Ведмеденко

Исследователи проанализировали аспекты, влияющие на выбор партнера, на примере бедных и богатых стран.

Сегодня, 09:04
4 минуты
Сергей Васильев

Грузинский ученый предположил существование крошечных, способных к самокопированию зондов, с помощью которых высокоразвитая цивилизация могла бы исследовать и осваивать Галактику.

11 октября
2 минуты
Max Koval

Способные дышать воздухом рыбы-змееголовы распространяются по США, и власти выпустили официальный призыв убивать их при каждой встрече.

10 октября
2 минуты
Илья Ведмеденко

Исследователи проанализировали аспекты, влияющие на выбор партнера, на примере бедных и богатых стран.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.