• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.11.2016
Редакция Naked Science
226

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech
©Wikipedia / Автор: Иван Беляев

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Вчера, 09:17
Любовь

Примерно 41-42 тысячи лет назад на Земле произошел кратковременный сдвиг магнитных полюсов, который мог способствовать вымиранию неандертальцев, но не Homo sapiens — их выживание авторы нового исследования связали с появлением теплой одежды и добычей охры.

Вчера, 07:55
Игорь Байдов

В 2006 году исследователи из Великобритании объявили, что легендарный антикитерский механизм, древнегреческий «компьютер», мог быть всего лишь игрушкой для демонстрации астрономических явлений. Авторы нового исследования подтвердили это, построив математическую модель на основе данных своих коллег, которая показала, что шестерни устройства заклинивало при запуске. Но несмотря на полученные результаты, ученые пытаются спасти репутацию древнего чуда техники, обвинив предыдущую команду в ряде ошибок.

Позавчера, 14:59
Илья

Бонобо в два раза чаще отказывались участвовать в эксперименте, если получали менее ценную награду, чем сородич. Такая реакция не была связана с разочарованием в человеке — приматы показали врожденное неприятие несправедливости.

16 апреля
Андрей

Многие знают, как популярны сувениры из окаменелостей — зубы древних акул или полированные панцири аммонитов. Но чем реже встречаются такие артефакты, тем они ценнее, то есть на них можно много заработать. И это проблема для палеонтологов. Американский специалист по тираннозаврам оценил ущерб, который нанесла коммерческая добыча костей T. rex и подсчитал среднюю цену таких образцов. Оказалось, больше половины найденных тирексов находится в частных руках, а значит, для науки они недоступны или ненадежны.

Позавчера, 14:59
Илья

Бонобо в два раза чаще отказывались участвовать в эксперименте, если получали менее ценную награду, чем сородич. Такая реакция не была связана с разочарованием в человеке — приматы показали врожденное неприятие несправедливости.

Вчера, 09:17
Любовь

Примерно 41-42 тысячи лет назад на Земле произошел кратковременный сдвиг магнитных полюсов, который мог способствовать вымиранию неандертальцев, но не Homo sapiens — их выживание авторы нового исследования связали с появлением теплой одежды и добычей охры.

8 апреля
Березин Александр

До 13 тысяч лет назад в Северной Америке жил вид, который ученые до недавнего времени считали волком. Компания Colossal Biosciences объявила о возрождении этого вымершего вида, но биологические детали ставят ее заявление под серьезное сомнение.

2 апреля
Березин Александр

Известный американский отраслевой обозреватель Эрик Бергер взял интервью у экипажа космического корабля Boeing, из-за технических проблем которого два астронавта задержались на орбите на девять месяцев вместо одной недели. Детали, которые они озвучили, указывают на серьезные проблемы Starliner, о которых ранее умалчивали. Люди провели немало времени при глубоко нештатной температуре. При слегка другом сценарии миссии экипаж корабля мог погибнуть. Официальные заявления NASA и Boeing сразу после июньского полета к МКС, судя по интервью, были заведомо неправдивыми.

9 апреля
Unitsky String Technologies Inc.

Инженеры компании Unitsky String Technologies Inc. разработали несколько вариантов транспортно-инфраструктурных комплексов, способных значительно улучшить пассажирское сообщение в городах, расположенных по обеим берегам крупных водных артерий. Обычно такие мегаполисы сталкиваются с необходимостью строительства дорогих капитальных сооружений — шоссейных мостов, что не всегда подъемно для городского бюджета. Решение белорусских инженеров куда менее ресурсоемкое. Для примера возьмем Ростов-на-Дону, где есть запрос на устойчивое сообщение между левобережной частью города с историческим центром.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно