Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросеть научила вокодер читать по губам
Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.
Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.
Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.
После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.
По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.
Telegram 
Дзен 
VK Во время недавних наблюдений карликовой планеты Квавар что-то неожиданно почти полностью закрыло ее собой. Астрономы уверены, что это не ее спутник Вейвот и не одно из двух известных колец этого маленького мира на краю Солнечной системы.
Самая большая планета в Солнечной системе, всегда поражавшая воображение своими колоссальными размерами, немного сдала позиции. Новые высокоточные измерения орбитального зонда NASA показали, что Юпитер не такой большой и круглый, как считали астрономы последние 40 лет.
Ученые обнаружили, что общепринятые константы, с помощью которых химики предсказывают свойства молекул, содержали ошибки. Исправленные значения констант теперь объясняют ранее непонятные химические аномалии и позволяют предсказывать свойства новых материалов для квантовых технологий, датчиков и умных покрытий.
Исследования самодержавия могут пролить свет на феномен, исконно свойственный российской государственности, а значит, переосмыслить исторический путь России и выработку новых направлений развития, к такому выводу пришел ученый ТюмГУ.
Самая большая планета в Солнечной системе, всегда поражавшая воображение своими колоссальными размерами, немного сдала позиции. Новые высокоточные измерения орбитального зонда NASA показали, что Юпитер не такой большой и круглый, как считали астрономы последние 40 лет.
Во время недавних наблюдений карликовой планеты Квавар что-то неожиданно почти полностью закрыло ее собой. Астрономы уверены, что это не ее спутник Вейвот и не одно из двух известных колец этого маленького мира на краю Солнечной системы.
Исследования самодержавия могут пролить свет на феномен, исконно свойственный российской государственности, а значит, переосмыслить исторический путь России и выработку новых направлений развития, к такому выводу пришел ученый ТюмГУ.
Третий известный межзвездный объект 3I/ATLAS летит примерно вдвое быстрее обоих своих предшественников. По расчетам, его вряд ли могло выбросить из родной планетной системы с подобной скоростью, и так разогнаться по пути он тоже не мог.
Все больше покупателей начинают отказываться от привычки делать покупки на маркетплейсах, а число новых продавцов на площадках практически не увеличилось. Аналитика показывает, что за первый квартал 2025 года — прирост селлеров составил всего 0,45% по сравнению с аналогичным периодом прошлого года. В то же время, маркетплейсы активно расширяют сеть пунктов выдачи, особенно в регионах, где физическое присутствие всех брендов невозможно. Ученые Пермского Политеха рассказали, почему люди стали реже совершать покупки на маркетплейсах.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии