Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Компактный нейропротез обучили декодировать речь по активности мозга
Ученые НИУ ВШЭ и МГМСУ имени Евдокимова разработали модель машинного обучения, которая предсказывает произнесенное слово на основе активности мозга, записанной небольшим количеством инвазивных электродов.
Статья опубликована в Journal of Neural Engineering. Работа выполнена при поддержке мегагранта правительства России в рамках нацпроекта «Наука и университеты». Во всем мире миллионы людей имеют речевые нарушения, которые ограничивают их способность к повседневному общению. Причины потери речи могут быть разными — от перенесенного инсульта до врожденных заболеваний.
Современные технологии позволяют вернуть возможность к коммуникации: например, интерфейсы безмолвного доступа считывают и восстанавливают текст на основе артикуляционных мышц, когда пользователь произносит его беззвучно, одними губами. Однако такие устройства помогают не во всех случаях. В частности, люди с параличом мускулатуры лица не могут их использовать.
Доступное и точное восстановление речевых функций могут обеспечить речевые нейропротезы — нейрокомпьютерные интерфейсы, которые декодируют речь на основе активности мозга. В отличие от привычного нам интерфейса персонального компьютера, в нейрокомпьютерных интерфейсах (НКИ) устройство получает команды напрямую от мозга человека, не требуя ввода через клавиатуру или микрофон.
Одно из препятствий к широкому использованию НКИ в протезировании речи — это их инвазивность, то есть необходимость установки электродов непосредственно на мозговой ткани, что требует хирургического вмешательства.
Наиболее точное воспроизведение речи достигается нейропротезами, электроды которых считывают активность мозга с большой поверхности его коры. Однако такие устройства не обеспечивают долговременный электрический контакт с мозговой тканью, а их имплантация связана с высокими рисками для пациента.
Ученые Центра биоэлектрических интерфейсов ВШЭ и МГМСУ имени Евдокимова изучили возможность создать рабочий нейропротез, который сможет обеспечивать приемлемую точность, считывая сигналы активности мозга с небольшого участка коры головного мозга при помощи малого числа электродов. В будущем имплантация такого нейропротеза может быть выполнена даже под местной анестезией. А в проведенном исследовании использовались данные об активности мозга во время выполнения речевой задачи двумя пациентами с эпилепсией, которым были установлены внутричерепные электроды с целью локализации очага эпилепсии.
У первого пациента были имплантированы пять стереотаксических ЭЭГ-стержней по шесть контактов в каждом, у второго — набор из девяти электрокортикографических (ЭКоГ) полосок по восемь контактов каждая. В отличие от ЭКоГ, сЭЭГ не требует удаления части черепа при установке, а имплантируется через просверленные отверстия. Для декодирования речи из активности мозга использовались только шесть контактов с одного стереотаксического стержня или восемь контактов с одной ЭКоГ-полоски.
В эксперименте испытуемый вслух читал шесть предложений, каждое предъявлялось от 30 до 60 раз вперемежку с остальными. Предложения имели разную лингвистическую конструкцию и содержали созвучные слова (например, «Шура широко шагает в широких штанах»). Всего во всех предложениях встречалось 26 слов. Во время чтения предложений электроды регистрировали электрическую активность мозга испытуемого.
Записанные аудиосигналы и соответствующую им активность мозга разметили в соответствии с произносимыми словами. Вышло 27 классов, включая 26 слов и состояние покоя. Затем данные из сформированной обучающей выборки (содержащей сигналы, записанные в первые 40 минут эксперимента) передали в модель машинного обучения — нейросеть со специально разработанной учеными архитектурой. Задачей нейросети было предсказание слова (класса) на основе электрической активности мозга, предшествующей произнесению этого слова.
При разработке архитектуры нейронной сети ученые сосредоточились на простоте, компактности и нейрофизиологической интерпретируемости ее параметров. Архитектура выполняла задачу в два этапа: сначала она извлекала из записанной электродами мозговой активности внутренние речевые представления, решая задачу предсказания мел-спектральных коэффициентов, затем на основе этих представлений предсказывался конкретный класс — слово или состояние покоя.
В итоге обученная нейросеть смогла предсказывать слова с точностью 55 процентов для первого пациента на основе сигналов активности мозга, регистрируемых только одним сЭЭГ-стержнем с 6 контактами, и с точностью 70 процентов для второго пациента на основе данных от одной ЭКоГ-полоски с восемью контактами. Эта точность сравнима с результатами, которые в других исследованиях демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.
Полученная интерпретируемая модель позволила в нейрофизиологических терминах объяснить, какая информация вносит наибольший вклад в предсказание слова. Исследователи проанализировали, сигналы от каких нейронных популяций оказались важнее всего для нейросети. Эти результаты совпали с зонами, обнаруженными в результате проведенного врачами ранее картирования областей мозга, ответственных за речевые функции. Это говорит о том, что модель использует действительно значимые мозговые сигналы и потенциально может быть использована и для декодирования воображаемой речи.
Другое преимущество разработанной нейросети в том, что она не потребовала ручного конструирования признаков. Модель сама научилась извлекать из мозговой активности речевые представления. Интерпретируемость найденных признаков позволила сделать вывод о том, что архитектура выполняет декодирование мозговых сигналов, а не сопутствующей активности, как, например, электрические сигналы от артикуляционных мышц.
Ученые подчеркивают важность того, что для предсказания использовалась активность мозга, непосредственно предшествующая произнесению слова. По их мнению, это гарантировало неиспользование решающим правилом ответа слуховой коры на прослушивание произнесенной самим испытуемым речи.
«Использование таких интерфейсов сопровождается минимальными рисками для пациента. Если все получится, то воображаемую пользователем речь можно будет декодировать, считывая активность мозга при помощи небольшого числа минимально инвазивных электродов. Они будут имплантироваться в амбулаторном режиме под местной анестезией», — рассказывает руководитель исследования Алексей Осадчий, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук ВШЭ.
Telegram 
Дзен 
VK После ночи без сна человеку зачастую сложно выполнить простейшую бытовую задачу, ведь его мысли путаются, а концентрация внимания нарушается на несколько секунд. Почему? Авторы нового исследования предположили, что в такие моменты человеческий мозг занят важной «уборкой». Он запускает процесс «мойки», который обычно происходит во сне, и эта экстренная процедура временно отключает внимание.
Новое исследование показало, что вейперы, причем даже те, кто уже отказались от этой привычки, подвержены язвенной болезни желудка в большей степени, чем люди, никогда не курившие электронные сигареты.
Анемия — состояние, вызванное в том числе нехваткой гемоглобина, — одно из самых распространенных заболеваний крови у россиян. Диагноз ставят примерно 10-15% населения. Ученые Пермского Политеха рассказали, зачем гемоглобин нужен человеку и почему он понижается не только из-за дефицита железа. Эксперты пояснили, чем опасна анемия, почему она часто возникает у спортсменов, из-за чего повышение этого белка приводит к инсульту и как регулировать его уровень.
Ежедневно, еще до восхода солнца, миллионы птиц по всей планете наполняют воздух своими голосами. Этот рассветный концерт — одно из самых красивых и загадочных явлений природы. Почему пернатые певцы предпочитают встречать день именно так? Авторы нового исследования предложили простой ответ: птицы не могут иначе. Ночь заставляет их молчать, а утро дает долгожданную свободу, выплескивающуюся в бурном и страстном хоре.
После ночи без сна человеку зачастую сложно выполнить простейшую бытовую задачу, ведь его мысли путаются, а концентрация внимания нарушается на несколько секунд. Почему? Авторы нового исследования предположили, что в такие моменты человеческий мозг занят важной «уборкой». Он запускает процесс «мойки», который обычно происходит во сне, и эта экстренная процедура временно отключает внимание.
В последнее время отказ от глютена, или клейковины — белков, содержащихся в пшенице, ржи и ячмене, — превратился в модный тренд. В соцсетях и СМИ некоторые популярные блогеры и знаменитости преподносят безглютеновые диеты как секрет хороших самочувствия и внешности. Тем не менее обзор десятков научных работ показал, что у большинства людей, считающих себя чувствительными к глютену, причина негативной реакции часто кроется не в самой клейковине.
Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.
Согласно новой гипотезе, сознание возникает не только из-за активности нейронов, но и благодаря физическим процессам — электромагнитным полям от движения жидкости в мозге. Эта модель, как и ее предшественники, пока носит теоретический характер, но предлагает нестандартный взгляд на проблему синхронизации работы разных отделов мозга.
В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно