Космос под ногами: спецпроект Naked Science о космонавтике и «трудной» нефти
Читать
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
20.12.2022
НИУ ВШЭ
280

Компактный нейропротез обучили декодировать речь по активности мозга

4.7

Ученые НИУ ВШЭ и МГМСУ имени Евдокимова разработали модель машинного обучения, которая предсказывает произнесенное слово на основе активности мозга, записанной небольшим количеством инвазивных электродов.

Компактный нейропротез обучили декодировать речь по активности мозга / ©Getty images

Статья опубликована в Journal of Neural Engineering. Работа выполнена при поддержке мегагранта правительства России в рамках нацпроекта «Наука и университеты». Во всем мире миллионы людей имеют речевые нарушения, которые ограничивают их способность к повседневному общению. Причины потери речи могут быть разными — от перенесенного инсульта до врожденных заболеваний.

Современные технологии позволяют вернуть возможность к коммуникации: например, интерфейсы безмолвного доступа считывают и восстанавливают текст на основе артикуляционных мышц, когда пользователь произносит его беззвучно, одними губами. Однако такие устройства помогают не во всех случаях. В частности, люди с параличом мускулатуры лица не могут их использовать.

Доступное и точное восстановление речевых функций могут обеспечить речевые нейропротезы — нейрокомпьютерные интерфейсы, которые декодируют речь на основе активности мозга. В отличие от привычного нам интерфейса персонального компьютера, в нейрокомпьютерных интерфейсах (НКИ) устройство получает команды напрямую от мозга человека, не требуя ввода через клавиатуру или микрофон.

Одно из препятствий к широкому использованию НКИ в протезировании речи — это их инвазивность, то есть необходимость установки электродов непосредственно на мозговой ткани, что требует хирургического вмешательства.

Наиболее точное воспроизведение речи достигается нейропротезами, электроды которых считывают активность мозга с большой поверхности его коры. Однако такие устройства не обеспечивают долговременный электрический контакт с мозговой тканью, а их имплантация связана с высокими рисками для пациента.

Ученые Центра биоэлектрических интерфейсов ВШЭ и МГМСУ имени Евдокимова изучили возможность создать рабочий нейропротез, который сможет обеспечивать приемлемую точность, считывая сигналы активности мозга с небольшого участка коры головного мозга при помощи малого числа электродов. В будущем имплантация такого нейропротеза может быть выполнена даже под местной анестезией. А в проведенном исследовании использовались данные об активности мозга во время выполнения речевой задачи двумя пациентами с эпилепсией, которым были установлены внутричерепные электроды с целью локализации очага эпилепсии.

У первого пациента были имплантированы пять стереотаксических ЭЭГ-стержней по шесть контактов в каждом, у второго — набор из девяти электрокортикографических (ЭКоГ) полосок по восемь контактов каждая. В отличие от ЭКоГ, сЭЭГ не требует удаления части черепа при установке, а имплантируется через просверленные отверстия. Для декодирования речи из активности мозга использовались только шесть контактов с одного стереотаксического стержня или восемь контактов с одной ЭКоГ-полоски.

В эксперименте испытуемый вслух читал шесть предложений, каждое предъявлялось от 30 до 60 раз вперемежку с остальными. Предложения имели разную лингвистическую конструкцию и содержали созвучные слова (например, «Шура широко шагает в широких штанах»). Всего во всех предложениях встречалось 26 слов. Во время чтения предложений электроды регистрировали электрическую активность мозга испытуемого.

Записанные аудиосигналы и соответствующую им активность мозга разметили в соответствии с произносимыми словами. Вышло 27 классов, включая 26 слов и состояние покоя. Затем данные из сформированной обучающей выборки (содержащей сигналы, записанные в первые 40 минут эксперимента) передали в модель машинного обучения — нейросеть со специально разработанной учеными архитектурой. Задачей нейросети было предсказание слова (класса) на основе электрической активности мозга, предшествующей произнесению этого слова.

При разработке архитектуры нейронной сети ученые сосредоточились на простоте, компактности и нейрофизиологической интерпретируемости ее параметров. Архитектура выполняла задачу в два этапа: сначала она извлекала из записанной электродами мозговой активности внутренние речевые представления, решая задачу предсказания мел-спектральных коэффициентов, затем на основе этих представлений предсказывался конкретный класс — слово или состояние покоя.

В итоге обученная нейросеть смогла предсказывать слова с точностью 55 процентов для первого пациента на основе сигналов активности мозга, регистрируемых только одним сЭЭГ-стержнем с 6 контактами, и с точностью 70 процентов для второго пациента на основе данных от одной ЭКоГ-полоски с восемью контактами. Эта точность сравнима с результатами, которые в других исследованиях демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.

Полученная интерпретируемая модель позволила в нейрофизиологических терминах объяснить, какая информация вносит наибольший вклад в предсказание слова. Исследователи проанализировали, сигналы от каких нейронных популяций оказались важнее всего для нейросети. Эти результаты совпали с зонами, обнаруженными в результате проведенного врачами ранее картирования областей мозга, ответственных за речевые функции. Это говорит о том, что модель использует действительно значимые мозговые сигналы и потенциально может быть использована и для декодирования воображаемой речи.

Другое преимущество разработанной нейросети в том, что она не потребовала ручного конструирования признаков. Модель сама научилась извлекать из мозговой активности речевые представления. Интерпретируемость найденных признаков позволила сделать вывод о том, что архитектура выполняет декодирование мозговых сигналов, а не сопутствующей активности, как, например, электрические сигналы от артикуляционных мышц.

Ученые подчеркивают важность того, что для предсказания использовалась активность мозга, непосредственно предшествующая произнесению слова. По их мнению, это гарантировало неиспользование решающим правилом ответа слуховой коры на прослушивание произнесенной самим испытуемым речи.

«Использование таких интерфейсов сопровождается минимальными рисками для пациента. Если все получится, то воображаемую пользователем речь можно будет декодировать, считывая активность мозга при помощи небольшого числа минимально инвазивных электродов. Они будут имплантироваться в амбулаторном режиме под местной анестезией», — рассказывает руководитель исследования Алексей Осадчий, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук ВШЭ. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Национальный исследовательский университет «Высшая школа экономики» — одно из крупнейших и самых востребованных высших учебных заведений России, стран СНГ и государств Восточной Европы. В НИУ ВШЭ представлены все уровни образовательной подготовки (от лицея для школьников до аспирантуры и MBA) по широкому спектру направлений в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также творческих специальностей. Научные подразделения ВШЭ — институты, центры, лаборатории, возглавляемые ведущими российскими и зарубежными учеными, ориентированы как на фундаментальные исследования, так и на прикладные разработки по заказам федеральных и региональных органов власти, министерств и ведомств, российских и зарубежных компаний. Высшая школа экономики стабильно занимает высокие места в предметных рейтингах Times Higher Education (THE) и QS, а также является единственным российским университетом в топ-50 рейтингов молодых университетов сразу двух агентств.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 11:09
Сергей Васильев

Венерины мухоловки регистрируют до пяти стимуляций чувствительных волосков, чтобы захлопнуть свою ловушку и начать переваривание. Но уникальный мутант Dyscalculia не может «считать» даже до двух. Ученые показали, что это связано с нарушением восприятия ионов кальция.

Вчера, 16:24
Анна Новиковская

Сегодня популяции многих видов пчел в упадке, и британские исследователи предложили еще один способ спасти этих насекомых: превратить часть кирпичей в стенах домов в «мини-ульи».

Позавчера, 17:19
Александр Березин

Игру 2013 года и выходящий с января 2023 года сериал по ней часто принимают за научную фантастику. То есть произведение, основанное на предположениях, не противоречащих науке. Однако вряд ли дело обстоит таким образом. Проблема в том, что создатели мира The Last of Us слишком некритично подошли как к научному фундаменту, на котором основан их мир постапокалипсиса, так и к тому, что думает наука о самой реальности «постапов». Naked Science пробует разобраться в деталях.

Вчера, 11:09
Сергей Васильев

Венерины мухоловки регистрируют до пяти стимуляций чувствительных волосков, чтобы захлопнуть свою ловушку и начать переваривание. Но уникальный мутант Dyscalculia не может «считать» даже до двух. Ученые показали, что это связано с нарушением восприятия ионов кальция.

Вчера, 16:24
Анна Новиковская

Сегодня популяции многих видов пчел в упадке, и британские исследователи предложили еще один способ спасти этих насекомых: превратить часть кирпичей в стенах домов в «мини-ульи».

Позавчера, 17:19
Александр Березин

Игру 2013 года и выходящий с января 2023 года сериал по ней часто принимают за научную фантастику. То есть произведение, основанное на предположениях, не противоречащих науке. Однако вряд ли дело обстоит таким образом. Проблема в том, что создатели мира The Last of Us слишком некритично подошли как к научному фундаменту, на котором основан их мир постапокалипсиса, так и к тому, что думает наука о самой реальности «постапов». Naked Science пробует разобраться в деталях.

10 января
Алиса Гаджиева

Исследователи, изучающие систему обороны Великой стены, обнаружили следы более 130 секретных сквозных проходов и полагают, что это только начало.

25 января
Василий Парфенов

Пока фанаты SpaceX увлеченно следят за достижениями компании, астрономы грустно наблюдают, как их работа становится сложнее с каждым запуском спутников Starlink. Прогресс не проходит без жертв. Поэтому различные научные ассоциации ищут способы снизить негативное влияние множества новых рукотворных объектов в околоземном пространстве на качество данных, получаемых телескопами. Некоторые решения со стороны выглядят экстремальными — например, теперь лазеры для корректировки адаптивной оптики можно не выключать, если в поле зрения есть спутник Starlink. А это десятки ватт излучения!

5 января
Александра Медведева

Биологи показали, что нейронные сети гиппокампа, ответственные за пространственное восприятие, изменяются не линейным образом, а в соответствии с гиперболической геометрией. То есть мозг представляет пространство в форме расширяющихся песочных часов. Результаты исследования могут иметь значение для лучшего понимания различных нейродегенеративных расстройств.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: