Нейросеть научили восстанавливать «мысли» человека по электроактивности его мозга в режиме реального времени — Naked Science
10 минут
ФизТех

Нейросеть научили восстанавливать «мысли» человека по электроактивности его мозга в режиме реального времени

Исследователи российской ГК «Нейроботикс» и Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга.

Интерфейс «мозг — компьютер»
Интерфейс «мозг — компьютер» / ©Дизайнер @tsarcyanide / Пресс-служба МФТИ

Исследователи российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехникиМФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга. Препринт работыдоступен на bioRxiv.

Для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств, управляемых мозгом, необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используютфункциональную магнитно-резонансную томографию (фМРТ) илианализ сигнала, получаемого непосредственно с нейронов.

Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта “Ассистивные технологии” НейроНет НТИ, в котором ключевую роль играет интерфейс “мозг — компьютер”, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Инфографика. Алгоритм работы интерфейса «мозг — компьютер» / ©А. Бобе, дизайн — @tsarcyanide / Пресс-служба МФТИ

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Реконструирование изображений. Слева стоит кадр видеоролика, который показывали испытуемому, справа — воссозданный нейросетью / ©Григорий Рашков

Видео с результатами эксперимента выложены в свободный доступ.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс».

— Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».

Для справки: проект «Ассистивные нейротехнологии» при поддержке NeuroNet НТИ был начат в 2017 году, направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств — это нейрогарнитура NeuroPlay, нейротренажер, ФЭС, ТЭС, Когниграф, Робоком и другие.

Лаборатория нейророботехники МФТИ образована в 2017 году в рамках Программы «5-100». Основное направление деятельности — разработка антропоморфной робототехники, а также оборудования для научных исследований в области нейронаук, физиологии и поведения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
8 часов назад
4 минуты
Сергей Васильев

Черная звезда Уникорн находится в 1500 световых годах и имеет массу около трех масс Солнца.

Вчера, 16:44
7 минут
Василий Парфенов

Глава государственной корпорации по космической деятельности «Роскосмос» поделился с журналистами некоторыми деталями о проекте национальной космической орбитальной станции. Кроме того, Дмитрий Рогозин сообщил, что с партнерами по Международной космической станции (МКС) начались переговоры о судьбе российского сегмента.

4 часа назад
14 минут
Василий Парфенов

Огневые испытания уже 15-го номерного прототипа многоразовой космической системы Starship изначально были запланированы на прошлые выходные, а полет на высоту в 10 километров — на 20 апреля. Но ни то, ни другое мероприятие так и не состоялось, несмотря на многократно анонсированные перекрытия дорог около деревеньки Бока-Чика (с недавних пор также известной как Starbase) и разрешение регуляторных органов (FAA). Задержка составляет уже около недели, новая дата прожига двигателей назначена на пятницу. А пока разбираемся, что там в Техасе у SpaceX с этим проектом происходит и стоит ли переживать (или злорадствовать, кому что ближе) из-за очередных переносов.

16 апреля
4 минуты
Илья Ведмеденко

Исследователи установили, что обнаруженный в Баренцевом море объект — погибшая советская субмарина типа «Крейсерская». Это одна из самых больших подлодок СССР периода Второй мировой.

16 апреля
8 минут
Александр Березин

Исследователь из Гарварда проанализировал вероятность полного оледенения всей поверхности — включая экватор — для планет земного типа. Оказалось, это частый сценарий. И он может быть причиной уничтожения всей сложной жизни. Работа показывает неожиданную уязвимость нашей планеты для такого хода событий. По расчетам, в последние 20 тысяч лет Земля прошла буквально в нескольких градусах от полного и постоянного оледенения, исключающего выживание крупных наземных многоклеточных.

15 апреля
14 минут
Василий Парфенов

Новое масштабное журналистское расследование собрало воедино самые вопиющие факты коррупции, махинаций с официальной статистикой и игнорирования пандемии на государственном уровне.

25 марта
36 минут
Александр Березин

Улыбающийся мультимиллиардер планирует понять, насколько эффективно мел в стратосфере защищает планету от солнечного света, и если результат хорош, распылить его там в гигантских количествах. Потенциально это результативная задумка: ученые давно показали, что так можно добиться полного покрытия Земли устойчивыми льдами — вплоть до экватора. Увы, идея Гейтса — плагиат, причем не лучший. Советский исследователь предложил похожее полвека назад с более эффективной серой. Интереснее другое: подобные мероприятия один раз едва не уничтожили человечество. Разбираемся в деталях, а также в том, грозит ли нам повторение.

31 марта
51 минута
Александр Березин

Самый зловещий оружейный проект всех времен и народов — термоядерная торпеда, предназначенная для радиационного поражения огромных площадей и создания искусственного цунами. Никогда до этого ни одна страна даже не заявляла о намерении сделать нечто настолько опасное для живых существ. Поэтому российский проект «Посейдон», обещающий именно это, вызывает бурю эмоций. Однако тщательный технический анализ показывает: в реальности он будет совсем не таким, как об этом пишут в СМИ. Даже если он предназначен для радиационного поражения обширных площадей, оно не будет долгим. А уже через год «омытые» им районы будут абсолютно безопасны. Тем не менее новая система действительно изменит стратегический баланс на планете — но не так, как все думают. Попробуем разобраться в ситуации подробнее.

26 марта
12 минут
Василий Парфенов

Похоже, история с американскими военными и «неопознанными воздушными феноменами» только набирает обороты. Новое расследование раскрыло многократные встречи нескольких кораблей Военно-морского флота Соединенных Штатов с аномально ведущими себя летательными аппаратами. Причем происходило это вне пределов досягаемости для любого коммерческого дрона или иного известного компактного БПЛА.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: