Нейросеть научила вокодер читать по губам — Naked Science
28.11.2016
Редакция Naked Science

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech
©Wikipedia

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
8 часов назад
Илья Ведмеденко

Модернизированный стратегический бомбардировщик Ту-160 снова поднялся в небо. Самолет среди прочего получил обновленную силовую установку.

Сегодня, 06:05
Василий Парфенов

Статистика израильского Минздрава показывает неприятные новости для родителей, беспокоящихся о здоровье ребенка во время пандемии. По данным национального исследования, свыше 11% детей, которым поставили диагноз Covid-19, сохраняют симптомы заболевания более чем через 12 недель после заражения. Это состояние получило название «продолжительный» Covid-19, или «постковидный синдром», а его причины пока не до конца ясны медикам и ученым.

Позавчера, 13:58
Алиса Гаджиева

На месте будущей дороги в Калининградской области археологи обнаружили некрополь III-VI веков нашей эры.

16 сентября
Мария Азарова

Ученые проверили содержание побочных продуктов дезинфекции в чае, который заваривали водопроводной или наночистой водой с хлором. Уровни этих соединений в напитке были ниже, чем в самой воде, однако большинство из них оказались неизвестны исследователям — как и их воздействие на здоровье человека.

15 сентября
ПНИПУ

Ученые Пермского Политеха и Хуачжунского университета науки и технологии (КНР) создали уникальную технологию, которая позволит предприятиям производить промышленные изделия без дефектов. Лазерная сварка в вакууме позволит повысить качество ответственных конструкций в аэрокосмической и машиностроительной отраслях. Российские и зарубежные ученые реализовали разработку благодаря уникальному проекту международных исследовательских групп (МИГов), который действует в Пермском крае с 2011 года и не имеет аналогов в России.

15 сентября
Ольга Иванова

Американские исследователи выяснили, что в женских тампонах содержатся летучие органические соединения, которые влияют на присутствие этих веществ в моче. Интересно, что в прокладках их содержание значительно ниже.

3 сентября
Алиса Гаджиева

Два бронзовых тарана и свинцовые пули обнаружили на месте битвы при Эгатских островах, состоявшейся почти 23 века назад.

11 сентября
Алиса Гаджиева

Необычное погребение обнаружили во время работ по устройству пруда в гольф-клубе.

9 сентября
Алиса Гаджиева

Необычный артефакт обнаружили в одном из пунктов сбора вторсырья в Красноярском крае.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: