Компактный нейропротез обучили декодировать речь по активности мозга
Ученые НИУ ВШЭ и МГМСУ имени Евдокимова разработали модель машинного обучения, которая предсказывает произнесенное слово на основе активности мозга, записанной небольшим количеством инвазивных электродов.
Статья опубликована в Journal of Neural Engineering. Работа выполнена при поддержке мегагранта правительства России в рамках нацпроекта «Наука и университеты». Во всем мире миллионы людей имеют речевые нарушения, которые ограничивают их способность к повседневному общению. Причины потери речи могут быть разными — от перенесенного инсульта до врожденных заболеваний.
Современные технологии позволяют вернуть возможность к коммуникации: например, интерфейсы безмолвного доступа считывают и восстанавливают текст на основе артикуляционных мышц, когда пользователь произносит его беззвучно, одними губами. Однако такие устройства помогают не во всех случаях. В частности, люди с параличом мускулатуры лица не могут их использовать.
Доступное и точное восстановление речевых функций могут обеспечить речевые нейропротезы — нейрокомпьютерные интерфейсы, которые декодируют речь на основе активности мозга. В отличие от привычного нам интерфейса персонального компьютера, в нейрокомпьютерных интерфейсах (НКИ) устройство получает команды напрямую от мозга человека, не требуя ввода через клавиатуру или микрофон.
Одно из препятствий к широкому использованию НКИ в протезировании речи — это их инвазивность, то есть необходимость установки электродов непосредственно на мозговой ткани, что требует хирургического вмешательства.
Наиболее точное воспроизведение речи достигается нейропротезами, электроды которых считывают активность мозга с большой поверхности его коры. Однако такие устройства не обеспечивают долговременный электрический контакт с мозговой тканью, а их имплантация связана с высокими рисками для пациента.
Ученые Центра биоэлектрических интерфейсов ВШЭ и МГМСУ имени Евдокимова изучили возможность создать рабочий нейропротез, который сможет обеспечивать приемлемую точность, считывая сигналы активности мозга с небольшого участка коры головного мозга при помощи малого числа электродов. В будущем имплантация такого нейропротеза может быть выполнена даже под местной анестезией. А в проведенном исследовании использовались данные об активности мозга во время выполнения речевой задачи двумя пациентами с эпилепсией, которым были установлены внутричерепные электроды с целью локализации очага эпилепсии.
У первого пациента были имплантированы пять стереотаксических ЭЭГ-стержней по шесть контактов в каждом, у второго — набор из девяти электрокортикографических (ЭКоГ) полосок по восемь контактов каждая. В отличие от ЭКоГ, сЭЭГ не требует удаления части черепа при установке, а имплантируется через просверленные отверстия. Для декодирования речи из активности мозга использовались только шесть контактов с одного стереотаксического стержня или восемь контактов с одной ЭКоГ-полоски.
В эксперименте испытуемый вслух читал шесть предложений, каждое предъявлялось от 30 до 60 раз вперемежку с остальными. Предложения имели разную лингвистическую конструкцию и содержали созвучные слова (например, «Шура широко шагает в широких штанах»). Всего во всех предложениях встречалось 26 слов. Во время чтения предложений электроды регистрировали электрическую активность мозга испытуемого.
Записанные аудиосигналы и соответствующую им активность мозга разметили в соответствии с произносимыми словами. Вышло 27 классов, включая 26 слов и состояние покоя. Затем данные из сформированной обучающей выборки (содержащей сигналы, записанные в первые 40 минут эксперимента) передали в модель машинного обучения — нейросеть со специально разработанной учеными архитектурой. Задачей нейросети было предсказание слова (класса) на основе электрической активности мозга, предшествующей произнесению этого слова.
При разработке архитектуры нейронной сети ученые сосредоточились на простоте, компактности и нейрофизиологической интерпретируемости ее параметров. Архитектура выполняла задачу в два этапа: сначала она извлекала из записанной электродами мозговой активности внутренние речевые представления, решая задачу предсказания мел-спектральных коэффициентов, затем на основе этих представлений предсказывался конкретный класс — слово или состояние покоя.
В итоге обученная нейросеть смогла предсказывать слова с точностью 55 процентов для первого пациента на основе сигналов активности мозга, регистрируемых только одним сЭЭГ-стержнем с 6 контактами, и с точностью 70 процентов для второго пациента на основе данных от одной ЭКоГ-полоски с восемью контактами. Эта точность сравнима с результатами, которые в других исследованиях демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.
Полученная интерпретируемая модель позволила в нейрофизиологических терминах объяснить, какая информация вносит наибольший вклад в предсказание слова. Исследователи проанализировали, сигналы от каких нейронных популяций оказались важнее всего для нейросети. Эти результаты совпали с зонами, обнаруженными в результате проведенного врачами ранее картирования областей мозга, ответственных за речевые функции. Это говорит о том, что модель использует действительно значимые мозговые сигналы и потенциально может быть использована и для декодирования воображаемой речи.
Другое преимущество разработанной нейросети в том, что она не потребовала ручного конструирования признаков. Модель сама научилась извлекать из мозговой активности речевые представления. Интерпретируемость найденных признаков позволила сделать вывод о том, что архитектура выполняет декодирование мозговых сигналов, а не сопутствующей активности, как, например, электрические сигналы от артикуляционных мышц.
Ученые подчеркивают важность того, что для предсказания использовалась активность мозга, непосредственно предшествующая произнесению слова. По их мнению, это гарантировало неиспользование решающим правилом ответа слуховой коры на прослушивание произнесенной самим испытуемым речи.
«Использование таких интерфейсов сопровождается минимальными рисками для пациента. Если все получится, то воображаемую пользователем речь можно будет декодировать, считывая активность мозга при помощи небольшого числа минимально инвазивных электродов. Они будут имплантироваться в амбулаторном режиме под местной анестезией», — рассказывает руководитель исследования Алексей Осадчий, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук ВШЭ.
Telegram 
Дзен 
VK Ребенок легче взрослого, быстрее осваивается в новой обстановке и обладает пластичной нервной системой — значит, невесомость он перенесет проще. Это рассуждение звучит убедительно ровно до тех пор, пока ребенка считают уменьшенной копией взрослого. На самом деле его скелет еще набирает прочность, мышцы учатся работать вместе с нервной системой, вестибулярный аппарат настраивает ощущение положения тела, а органы и ткани проходят этапы, которые нельзя повторить после завершения роста. Если в этот период убрать постоянную нагрузку земного притяжения, организм будет не только приспосабливаться к новой среде: он станет формироваться внутри нее. Каким получится результат, медицина сегодня не знает: длительных орбитальных исследований с участием несовершеннолетних не проводилось.
Иногда лучшая помощь природе — просто оставить ее в покое и не мешать. Британские экологи доказали, что заброшенная фермерская пашня способна без миллионных затрат и покупных семян превратиться в роскошный цветущий луг. Для этого потребовалось лишь 11 лет времени и обычный ежегодный покос травы.
Вода в реке может выглядеть абсолютно чистой и прозрачной, но настоящее «досье» на экологическое состояние региона часто скрыто не в ней, а под ней — в донных отложениях. Это своеобразный химический архив, который накапливает все, что попадало в водоем на протяжении десятилетий. Ученые Южного федерального университета взяли на себя труд расшифровать этот архив в глобальном масштабе: они собрали и систематизировали все современные научные данные о том, как токсичные продукты горения оседают на дне рек и озер по всему миру. Результат этой работы позволил впервые увидеть полную картину загрязнения пресноводных экосистем — от Нижнего Дона и сибирских арктических рек до Амазонки, Нила и Миссисипи.
Биологи провели молекулярный анализ тканей человеческого мозга и выяснили, что при тяжелой депрессии останавливается процесс образования новых нейронов. Открытие показало, что природа заболевания кроется не только в химическом дисбалансе нейромедиаторов, но и в физическом нарушении клеточного обновления гиппокампа.
Иногда лучшая помощь природе — просто оставить ее в покое и не мешать. Британские экологи доказали, что заброшенная фермерская пашня способна без миллионных затрат и покупных семян превратиться в роскошный цветущий луг. Для этого потребовалось лишь 11 лет времени и обычный ежегодный покос травы.
Ребенок легче взрослого, быстрее осваивается в новой обстановке и обладает пластичной нервной системой — значит, невесомость он перенесет проще. Это рассуждение звучит убедительно ровно до тех пор, пока ребенка считают уменьшенной копией взрослого. На самом деле его скелет еще набирает прочность, мышцы учатся работать вместе с нервной системой, вестибулярный аппарат настраивает ощущение положения тела, а органы и ткани проходят этапы, которые нельзя повторить после завершения роста. Если в этот период убрать постоянную нагрузку земного притяжения, организм будет не только приспосабливаться к новой среде: он станет формироваться внутри нее. Каким получится результат, медицина сегодня не знает: длительных орбитальных исследований с участием несовершеннолетних не проводилось.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно