Все, что вы хотели знать об ИИ, — в специальном проекте Naked Science!
Перейти
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
28.11.2016
Редакция Naked Science
144

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech
©Wikipedia

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Позавчера, 10:00
Александра Медведева

Окаменелость крошечного морского червя, жившего 525 миллионов лет назад, разрешила вековой спор об эволюции мозга членистоногих. Исследование показало, что мозг первых членистоногих не был сегментирован, а нервная система головы и туловища эволюционировала независимо.

Позавчера, 17:33
Денис Тулинов

Технологии искусственного интеллекта проникают во все сферы жизни. Наука не исключение — ученые начинают использовать машинное обучение все активнее, и за ним уже есть реальные научные достижения. Но это лишь прелюдия: ИИ явился не просто помочь с расчетами, его роль в будущем масштабнее — он усилит наше мышление, указывая на взаимосвязи, которые человеческому уму не видны. Наука изменится. Naked Science полагает, что у нее появился новый способ изучать мир.

Вчера, 14:24
Василий Парфенов

Что такое накопитель энергии? Чем отличается аккумулятор от батареи? В чем настоящее чудо электричества? Вся эволюция человечества тесно связана с нашим умением добывать энергию в разных формах. Но настоящая революция произошла, когда появились технологии преобразования тепла, давления и работы в электричество. Благодаря этому мы научились транспортировать энергию и запасать ее. Дальнейший рост эффективности энергосистем невозможен без накопителей. Naked Science решил разобраться во всех деталях.

Позавчера, 10:00
Александра Медведева

Окаменелость крошечного морского червя, жившего 525 миллионов лет назад, разрешила вековой спор об эволюции мозга членистоногих. Исследование показало, что мозг первых членистоногих не был сегментирован, а нервная система головы и туловища эволюционировала независимо.

Позавчера, 18:10
Мария Азарова

Международный коллектив ученых спрогнозировал наши ежедневные потребности в воде в зависимости от антропометрических, экономических и экологических факторов.

24 ноября
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

1 ноября
Анна Новиковская

Когда мы представляем взаимодействие неандертальцев с нашими предками, первобытными людьми, то обычно думаем об агрессивных стычках и конкуренции на охоте. Однако теперь ученые выяснили, что два вида людей взаимодействовали на протяжении как минимум 200 тысяч лет — это слишком долгий срок для активных военных действий, но достаточный для постепенного «растворения» одного вида в другом.

19 ноября
Анна Новиковская

В последний раз черношейного фазанового голубя видели еще в 1882 году, и с тех пор ученые не знали, живет ли еще в лесах острова Фергуссон эта красивая птица. Теперь, наконец, им повезло: одна из камер запечатлела представителя редчайшего подвида фазановых голубей.

24 ноября
Редакция

Режиссер Илай Сасик (Eli Sasich), вдохновившись классическими научно-фантастическими фильмами «Чужой» и «Бегущий по лезвию», несколько лет назад снял короткометражный фильм «Атропа», который стоит посмотреть, если вы интересуетесь наукой и космическими технологиями.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: