Нейросеть воссоздала человеческую речь по активности мозга
Специалисты из Нью-Йоркского университета создали нейросеть, способную анализировать нейронную активность коры головного мозга и по ней реконструировать речь человека. Более того, ученые дополнительно обучили сеть воспроизводить голос пациента по нескольким образцам голосовых или видеозаписей, позволяя людям вернуть свой голос даже после его потери.
Человеческая речь — это сложная поведенческая активность, которая включает в себя не только управление движениями множества ротовых, гортанных и дыхательных мышц, но и одновременную обработку собственной речи для ее корректировки. Разделение разветвленных нейронных сетей мозга, контролирующих точные движения мышц и обрабатывающих слуховую обратную связь, признают крайне сложной задачей. Однако ее необходимо решить для разработки речевых протезов следующего поколения.
Во многих моделях производства речи принято считать, что эти две системы анатомически разделены. Система прямой связи в основном управляется вентральной лобной корой, тогда как обработка обратной связи осуществляется через различные сенсорные зоны коры (например, через извилину Гешля и верхнюю височную извилину). Но на практике две сети нейронов значительно перекрываются и взаимодействуют, и даже самые современные методы электрокортикографии (запись биоэлектрической активности мозга с помощью регистрации сигналов с сети электродов, имплантированных в кору головного мозга) не способны отделить процессы производства речи от ее обработки.
В новой работе группа исследователей из США представила собственную архитектуру нейросети глубокого обучения, тренирующуюся на электрокортикографических (ЭКоГ) записях активности коры головного мозга человека для пространственного и временного разрешения моторных и сенсорных сигналов. Обучая нейросеть применять причинные (использующие текущие и прошлые нейронные сигналы), антипричинные (использующие текущие и будущие нейронные сигналы) или непричинные (их комбинацию) временные свертки, авторам исследования удалось реконструировать человеческую речь. О своей разработке коллектив ученых рассказал в статье, опубликованной в журнале Proceedings of the National Academy of Sciences.
Исследователи использовали нейросеть для создания собственных протезов, которые смогут считывать активность мозга и декодировать ее непосредственно в речь. Более того, прототип специалистов из Нью-Йоркского университета имеет еще одну особенность: он способен в значительной степени воссоздать голос пациента, используя лишь небольшой набор записей — например, с видео на YouTube или записи Zoom.
Для сбора данных и тестирования своего прототипа исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент, страдающий судорожными припадками, не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, а значит, не поддается медикаментозному лечению.
Этим пациентам имплантировали в левое полушарие мозга сетку из 64 стандартных субдуральных (помещаемых на поверхность коры головного мозга) электродов ЭЭГ для мониторинга их состояния в течение недельного эксперимента. Кроме того, им устанавливали дополнительные 64 электрода меньшего размера, чередующиеся между обычными клиническими электродами для повышения пространственного разрешения считываемого сигнала. Имплантированная ЭКоГ-матрица предоставила исследователям ключевую информацию о деятельности мозга во время процесса произнесения речи, что позволяло с высокой точностью ее декодировать.
Telegram 
Дзен 
VK Астрономы показали, что внутри космических пустот (войдов) все же формируются связанные группы галактик. Причем их свойства могут радикально отличаться от аналогичных систем в более «густонаселенных» регионах. Такие группы позволяют проверить, как окружающая среда влияет на рост космических структур и распределение темной материи там, где вещества очень мало.
Нейроморфные вычисления — это попытка скопировать принцип работы мозга: не последовательно выполнять команды, как обычный процессор, а обрабатывать информацию параллельно, через сеть взаимосвязанных «нейронов», которые активируются в зависимости от поступающих сигналов. Эта идея существует уже несколько десятилетий, но до недавнего времени ее реализовывали на обычной электронной элементной базе. Исследователи из МФТИ провели обширный обзор, в котором систематизировали последние достижения в области фотонных нейроморфных вычислений.
Интриги и тайные свидания — прерогатива не только людей. В мире дикой природы тоже случаются драмы, и одна из них развернулась в лесах Северной Америки. Маленькие серые птицы, известные в науке как гаички Гамбела, долгое время считались образцом супружеской верности, но на деле оказались хитрыми стратегами. Они заводят потомство не только от постоянного партнера, но и от самца-соседа с определенным набором качеств. Авторы нового исследования попытались выяснить, что толкает самок на измену и как это влияет на выживание всего вида.
Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.
На протяжении десятилетий Тель-Авив воздерживался от этого шага, чтобы не испортить отношения с Турцией. Но после действий Израиля 2023-2026 годов официальная Анкара, как и множество государств мира, неоднократно осуждала Израиль, из-за чего изменилась и его позиция по геноциду.
В рамках общей теории относительности и квантовой физики у исследователей не получается объяснить все данные наблюдений за космическими объектами. В этот раз ученые попытались описать Вселенную с точки зрения превращения энергии, и этот выбор позволил им составить стройное описание гравитации.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии