Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Компактный нейропротез обучили декодировать речь по активности мозга
Ученые НИУ ВШЭ и МГМСУ имени Евдокимова разработали модель машинного обучения, которая предсказывает произнесенное слово на основе активности мозга, записанной небольшим количеством инвазивных электродов.
Статья опубликована в Journal of Neural Engineering. Работа выполнена при поддержке мегагранта правительства России в рамках нацпроекта «Наука и университеты». Во всем мире миллионы людей имеют речевые нарушения, которые ограничивают их способность к повседневному общению. Причины потери речи могут быть разными — от перенесенного инсульта до врожденных заболеваний.
Современные технологии позволяют вернуть возможность к коммуникации: например, интерфейсы безмолвного доступа считывают и восстанавливают текст на основе артикуляционных мышц, когда пользователь произносит его беззвучно, одними губами. Однако такие устройства помогают не во всех случаях. В частности, люди с параличом мускулатуры лица не могут их использовать.
Доступное и точное восстановление речевых функций могут обеспечить речевые нейропротезы — нейрокомпьютерные интерфейсы, которые декодируют речь на основе активности мозга. В отличие от привычного нам интерфейса персонального компьютера, в нейрокомпьютерных интерфейсах (НКИ) устройство получает команды напрямую от мозга человека, не требуя ввода через клавиатуру или микрофон.
Одно из препятствий к широкому использованию НКИ в протезировании речи — это их инвазивность, то есть необходимость установки электродов непосредственно на мозговой ткани, что требует хирургического вмешательства.
Наиболее точное воспроизведение речи достигается нейропротезами, электроды которых считывают активность мозга с большой поверхности его коры. Однако такие устройства не обеспечивают долговременный электрический контакт с мозговой тканью, а их имплантация связана с высокими рисками для пациента.
Ученые Центра биоэлектрических интерфейсов ВШЭ и МГМСУ имени Евдокимова изучили возможность создать рабочий нейропротез, который сможет обеспечивать приемлемую точность, считывая сигналы активности мозга с небольшого участка коры головного мозга при помощи малого числа электродов. В будущем имплантация такого нейропротеза может быть выполнена даже под местной анестезией. А в проведенном исследовании использовались данные об активности мозга во время выполнения речевой задачи двумя пациентами с эпилепсией, которым были установлены внутричерепные электроды с целью локализации очага эпилепсии.
У первого пациента были имплантированы пять стереотаксических ЭЭГ-стержней по шесть контактов в каждом, у второго — набор из девяти электрокортикографических (ЭКоГ) полосок по восемь контактов каждая. В отличие от ЭКоГ, сЭЭГ не требует удаления части черепа при установке, а имплантируется через просверленные отверстия. Для декодирования речи из активности мозга использовались только шесть контактов с одного стереотаксического стержня или восемь контактов с одной ЭКоГ-полоски.
В эксперименте испытуемый вслух читал шесть предложений, каждое предъявлялось от 30 до 60 раз вперемежку с остальными. Предложения имели разную лингвистическую конструкцию и содержали созвучные слова (например, «Шура широко шагает в широких штанах»). Всего во всех предложениях встречалось 26 слов. Во время чтения предложений электроды регистрировали электрическую активность мозга испытуемого.
Записанные аудиосигналы и соответствующую им активность мозга разметили в соответствии с произносимыми словами. Вышло 27 классов, включая 26 слов и состояние покоя. Затем данные из сформированной обучающей выборки (содержащей сигналы, записанные в первые 40 минут эксперимента) передали в модель машинного обучения — нейросеть со специально разработанной учеными архитектурой. Задачей нейросети было предсказание слова (класса) на основе электрической активности мозга, предшествующей произнесению этого слова.
При разработке архитектуры нейронной сети ученые сосредоточились на простоте, компактности и нейрофизиологической интерпретируемости ее параметров. Архитектура выполняла задачу в два этапа: сначала она извлекала из записанной электродами мозговой активности внутренние речевые представления, решая задачу предсказания мел-спектральных коэффициентов, затем на основе этих представлений предсказывался конкретный класс — слово или состояние покоя.
В итоге обученная нейросеть смогла предсказывать слова с точностью 55 процентов для первого пациента на основе сигналов активности мозга, регистрируемых только одним сЭЭГ-стержнем с 6 контактами, и с точностью 70 процентов для второго пациента на основе данных от одной ЭКоГ-полоски с восемью контактами. Эта точность сравнима с результатами, которые в других исследованиях демонстрируют устройства, требующие расположения электродов по всей поверхности мозга.
Полученная интерпретируемая модель позволила в нейрофизиологических терминах объяснить, какая информация вносит наибольший вклад в предсказание слова. Исследователи проанализировали, сигналы от каких нейронных популяций оказались важнее всего для нейросети. Эти результаты совпали с зонами, обнаруженными в результате проведенного врачами ранее картирования областей мозга, ответственных за речевые функции. Это говорит о том, что модель использует действительно значимые мозговые сигналы и потенциально может быть использована и для декодирования воображаемой речи.
Другое преимущество разработанной нейросети в том, что она не потребовала ручного конструирования признаков. Модель сама научилась извлекать из мозговой активности речевые представления. Интерпретируемость найденных признаков позволила сделать вывод о том, что архитектура выполняет декодирование мозговых сигналов, а не сопутствующей активности, как, например, электрические сигналы от артикуляционных мышц.
Ученые подчеркивают важность того, что для предсказания использовалась активность мозга, непосредственно предшествующая произнесению слова. По их мнению, это гарантировало неиспользование решающим правилом ответа слуховой коры на прослушивание произнесенной самим испытуемым речи.
«Использование таких интерфейсов сопровождается минимальными рисками для пациента. Если все получится, то воображаемую пользователем речь можно будет декодировать, считывая активность мозга при помощи небольшого числа минимально инвазивных электродов. Они будут имплантироваться в амбулаторном режиме под местной анестезией», — рассказывает руководитель исследования Алексей Осадчий, директор Центра биоэлектрических интерфейсов Института когнитивных нейронаук ВШЭ.
Telegram 
Дзен 
VK Существует несколько гипотез о том, как на самом деле древние египтяне строили свои пирамиды. Если о способах возведения монументальных сооружений и инструментах, которые использовали строители, более-менее известно, то о методах доставки блоков и их установки мнения разнятся. Команда французских архитекторов и египтологов изучила ландшафт вокруг самой древней из сохранившихся египетских пирамид — Джосера — и рассказала, как египтяне могли доставлять и поднимать камни для ее строительства.
В прошлом ИИ-системы выполняли определенный набор задач, а при появлении новых их нужно было переобучать. На это уходили дополнительные финансовые и вычислительные ресурсы. Открытие лаборатории исследований искусственного интеллекта T-Bank AI Research и Института AIRI меняет ситуацию. Ученые первыми в мире создали модель в области контекстного обучения (In-Context Learning), которая на нескольких примерах сама может учиться новым действиям.
Современные млекопитающие небольшого размера вроде крыс и других грызунов быстро созревают, спариваются, чтобы оставить потомство, и довольно скоро умирают. Однако так было не всегда. Анализ окаменелых останков вымерших млекопитающих под названием Krusatodon kirtlingtonensis показал, что эти мышеподобные существа жили дольше и взрослели медленнее, чем близкие к ним современные потомки.
Международная команда исследователей с участием ученых из НИУ ВШЭ изучила, как люди, владеющие двумя языками (билингвы), ассоциируют время с пространством. Оказалось, что и в первом, и во втором языке они связывают прошлое с левой частью пространства, а будущее — с правой. При этом чем выше уровень владения вторым языком, тем сильнее выражена эта связь.
Человек множеством способов загрязняет природу вокруг себя, преимущественно воду. В Мировой океан попадают как отходы с производств, так и тонны пластикового мусора. Все это способно отравлять жизнь морских животных, особенно редких вроде акул. Одним из малоизученных токсичных источников можно назвать наркотики, в частности кокаин. Случайное употребление этого вещества акулами раньше только предполагали, но теперь бразильские биологи нашли прямые доказательства.
На сегодня удалось подтвердить существование тысяч экзопланет, но лишь около 25 из них получилось запечатлеть напрямую. Причем из них лишь шесть объектов старше 100 миллионов лет. И вот, наконец, ученые смогли сделать снимок взрослой экзопланеты.
Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.
Falcon 9 Block 5 впервые за три сотни запусков дал частично неудачный полет. Ракета выводила 20 спутников компании SpaceX, с 15 связь уже пропала, еще пять могут быть потеряны в ближайшее время.
Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно