• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.11.2016
Редакция Naked Science
196

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech
©Wikipedia / Автор: Иван Беляев

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 12:50
Юлия Трепалина

В новом исследовании команда американских и канадских ученых рассмотрела, как снижение калорийности пищи воздействует на теломеры человека — своего рода «защитные колпачки» на концах хромосом, предохраняющие их от повреждений и «склеивания» с другими хромосомами. Влияние оказалось не таким однозначным, как предполагалось.

Вчера, 11:55
Полина Меньшова

Большему количеству учеников, чем когда-либо, трудно осваивать школьную программу. Это связано с низким уровнем развития рабочей памяти и неумением планировать время, считает педагог Алекс Куигли. В новой книге он дал практические рекомендации для учителей, которые помогут сделать работу в классе более продуктивной.

Позавчера, 11:12
Дарья Г.

Ио — самое вулканически активное на сегодня тело в Солнечной системе. Извержения «переделывают» поверхность этого спутника Юпитера быстрее, чем метеориты, и это при том, что обычно тела такой малой массы не могут поддерживать вулканическую активность. В новом исследовании ученые рассчитали, что спутник, вероятно, такой «горячий» на протяжении всего существования. Этот вывод имеет значение для всей системы Юпитера.

Позавчера, 17:37
Мария Азарова

Авторы нового исследования выявили три фактора, ответственные за так называемый алкогольный блэкаут — распространенное последствие употребления спиртных напитков, когда человек сталкивается с провалами в памяти.

19 апреля
Дарья Г.

По оценкам ученых, «свободных» планет в Млечном Пути может быть в 20 раз больше, чем звезд. Так как планеты сами не светятся, разглядеть их сложно: их ищут гравилинзированием, лучше всего обнаруживающим самые массивные планеты типа Юпитера. Но вот удалось найти еще одну такую «сироту», причем не массивную с Юпитер, а земного размера. И ученые уверены, что это лишь первая находка из многих.

19 апреля
Александр Березин

В норме чем больше становится видов в группе, тем острее они конкурируют между собой, что сначала замедляет возникновение новых видов, а затем ведет к вымиранию. Новая научная работа показала, что у рода Homo ситуация почему-то была обратной: чем больше видов он образовывал, тем быстрее возникали новые дополнительные. Среди позвоночных подобных примеров нет, только среди жуков на изолированных островах. Ученые выдвинули ряд гипотез, позволяющих объяснить столь удивительный результат.

8 апреля
Василий Парфенов

Режим работы, количество трудовых часов в неделю и экономическую стабильность профессии прочно ассоциируют с благополучием человека. Количественно и качественно определить эти взаимосвязи получается редко — нужны большие выборки респондентов и длительное время наблюдений. Автор новой научной работы использовал долговременное исследование более чем семи тысяч американцев, чтобы выявить основные эффекты паттернов трудовой деятельности на психическое и физическое здоровье работающих людей.

28 марта
Игорь Байдов

Американская компания JetZero, которая обещает произвести фурор в гражданской авиации, получила сертификат летной годности на испытания уменьшенной копии разрабатываемого ею сверхэффективного реактивного авиалайнера со «смешанным крылом». Предстоящая программа летных испытаний будет направлена на оценку летно-технических характеристик самолета, его устойчивости и управляемости.

29 марта
Ольга Иванова

Ученые из США и Швейцарии определили четыре ключевых механизма, задействованных в трансформации личности человека. Но ни один из них не сработает без самого главного — сильного желания измениться.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: