Нейросеть научила вокодер читать по губам — Naked Science
4 минуты
Редакция

Нейросеть научила вокодер читать по губам

Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.

the-kings-speech
©Wikipedia

Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.

 

Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.

 

После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.

 

По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.

 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 18:44
48 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

Сегодня, 11:47
5 минут
Илья Ведмеденко

Российские авиастроители представили фотографии почти собранного второго серийного истребителя Су-57, который по совместительству должен стать первым истребителем пятого поколения, поступившим на вооружение ВКС России.

Вчера, 15:30
6 минут
Мария Азарова

Автор нового исследования выдвинул гипотезу о том, как SARS-CoV-2 распространяется через сеть белок-белковых взаимодействий субдиффузионным способом и поэтому поражает только определенные органы.

Вчера, 18:44
48 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

Позавчера, 11:44
11 минут
Мария Азарова

Президент подчеркнул, что препарат, созданный российскими специалистами, успешно прошел все этапы испытаний и доказал свою эффективность в борьбе с вирусом.

10 августа
9 минут
Мария Азарова

Будут ли в России осенью вновь вводить ограничения по Covid-19? Есть ли люди, перенесшие коронавирус, но организм которых почему-то не выработал антитела? На эти и многие другие вопросы попытался ответить российский ученый-медик Арег Тотолян.

22 июля
66 минут
Александр Березин

С 2064 года численность людей начнет сокращаться — и этот процесс может быть необратим. Один из авторов соответствующей научной работы прямо указывает: если ничего не изменится, через несколько веков человечество вымрет. Однако есть вещи и похуже вымирания. Куда вероятнее иной сценарий: мир будет заселен теми, кто сможет размножаться в новых культурных условиях. К сожалению, значительная часть современных европейцев, американцев и, возможно, других народов будут вытеснены с первых страниц истории. Вдобавок те, кто победят в этой непростой борьбе, нам, сегодняшнему населению Земли, могут сильно не понравиться. Попробуем разобраться почему.

Вчера, 18:44
48 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

31 июля
9 минут
Sergei Sobol

Сейчас, когда многие вокруг задумываются, а не попробовать ли что-то новое и не сменить ли профессию, программирование точно одно из тех направлений, к которому стоит присмотреться. Может, вы об этом уже думали?

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: