Нейросеть научила вокодер читать по губам
Французские ученые разработали технологию, которая позволяет воспроизводить речь человека по движениям его рта. Результаты исследования представлены в журнале PLOS Computational Biology.
Сочетание нейрокомпьютеров с вокодерами (синтезаторами речи) могло бы помочь людям, страдающим нарушениями речи, например афазией. Однако для реализации такой технологии необходимо создать вокодер, который способен воспроизводить голосовой сигнал по небольшому набору параметров в режиме реального времени. До сих пор таких устройств не существовало. Авторы новой работы предложили концепцию устройства, которое может синтезировать речь, опираясь только на информацию о движениях органов речи.
Для этого ученые Гренобльского университета и других учреждений использовали искусственную нейросеть с тремя скрытыми слоями и вокодер. Алгоритм обучался с помощью специальной базы данных, которая включала в себя информацию о звуках и соответствующих им движениях рта. Данные были получены с помощью франкоговорящего добровольца: мужчина произносил произвольный текст, в то время как к его губам, языку, мягкому небу и челюсти были присоединены девять датчиков. База состояла из почти 19 тысяч звуков.
После обучения система тестировалась на четырех других носителях французского языка, которые должны были беззвучно произнести семь гласных и несколько последовательностей по схеме «гласная-согласная-гласная». Затем 12 человек пытались определить по восстановленному компьютером сигналу, какой звук произносили испытуемые. Результаты показали, что алгоритм распознает гласные в 86 процентах случаев, согласные — в 49 процентах. Последовательности система распознавала в 48–52 процентах случаев.
По словам авторов, потенциально технология может использоваться для помощи людям с нарушениями голосового тракта. Кроме того, устройство поможет другим исследователям в разработке нейрокомпьютеров, которые будут воспроизводить речь человека только на основе сигналов мозга. Предполагается, что для этого ученые смогут использовать аналогичный подход.
Telegram 
Дзен 
VK Мумии сохраняют следы не только болезней и травм, но и самих процедур, которым подвергали тела после смерти. Компьютерная томография головы мумии, много десятилетий пролежавшей в музее, раскрыла не совсем привычный способ извлечения мозга и другие детали бальзамирования.
Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.
Археологи, проводящие раскопки древнего города Адрамиттейон в Западной Турции, обнаружили богатую римскую виллу II-III веков нашей эры. Украшающая виллу мозаика включает в себя неожиданно личный элемент жизни владельцев — изображения домашних питомцев с надписями, указывающими их имена.
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.
Мумии сохраняют следы не только болезней и травм, но и самих процедур, которым подвергали тела после смерти. Компьютерная томография головы мумии, много десятилетий пролежавшей в музее, раскрыла не совсем привычный способ извлечения мозга и другие детали бальзамирования.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии