Нейросеть научили восстанавливать «мысли» человека по электроактивности его мозга в режиме реального времени — Naked Science
10 минут
ФизТех

Нейросеть научили восстанавливать «мысли» человека по электроактивности его мозга в режиме реального времени

Исследователи российской ГК «Нейроботикс» и Лаборатории нейроробототехники МФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга.

Интерфейс «мозг — компьютер»
Интерфейс «мозг — компьютер» / ©Дизайнер @tsarcyanide / Пресс-служба МФТИ

Исследователи российской ГК «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехникиМФТИ научились воссоздавать по электрической активности мозга изображения, которые человек видит в данный момент. Это позволяет создавать новый тип устройств для постинсультной реабилитации, управляемых сигналами мозга. Препринт работыдоступен на bioRxiv.

Для развития методов лечения когнитивных нарушений, постинсультной реабилитации и создания устройств, управляемых мозгом, необходимо понять то, как мозг кодирует информацию. Ключевая задача для понимания принципов его работы — исследование активности мозга, возникающей при визуальном восприятии информации. Все существующие решения в области распознавания изображений по сигналам мозга используютфункциональную магнитно-резонансную томографию (фМРТ) илианализ сигнала, получаемого непосредственно с нейронов.

Особенности этих методов ограничивают их применение в клинической практике и повседневной жизни. Интерфейс «мозг — компьютер», созданный командой ученых из МФТИ и «Нейроботикс», напротив, использует электроэнцефалограмму (далее ЭЭГ), снимаемую с поверхности головы, и нейросети. Эта разработка с помощью ЭЭГ в режиме реального времени реконструирует кадры из видео, которое смотрит человек.

Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ, поясняет: «Работа ведется в рамках проекта “Ассистивные технологии” НейроНет НТИ, в котором ключевую роль играет интерфейс “мозг — компьютер”, используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы — увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми».

Эксперимент состоял из двух частей. В первой части исследователи произвольно выбрали пять разных категорий роликов с YouTube: «абстракции», «водопады», «лица людей», «скорость» — видеосъемку от первого лица гонок на снегоходах, водных мотоциклах, ралли — и «движущиеся механизмы», которые показывали испытуемым, записывая при этом ЭЭГ. Ролики длились по 10 секунд, в сумме вся сессия записей у каждого испытуемого составляла 20 минут.

В этой части эксперимента ученым удалось доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Инфографика. Алгоритм работы интерфейса «мозг — компьютер» / ©А. Бобе, дизайн — @tsarcyanide / Пресс-служба МФТИ

Для второй части эксперимента были произвольно выбраны три категории из вышеперечисленных видео. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из «шума», а вторая — создавала похожий «шум» из ЭЭГ. Затем авторы работы обучили эти нейросети работать совместно так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом ЭЭГ и в реальном времени отправляя ее на нейросети. Нейросети хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Реконструирование изображений. Слева стоит кадр видеоролика, который показывали испытуемому, справа — воссозданный нейросетью / ©Григорий Рашков

Видео с результатами эксперимента выложены в свободный доступ.

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму, — говорит Григорий Рашков, один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс».

— Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на ее основе даже можно создать работающий в реальном времени интерфейс “мозг — компьютер”. Это очень обнадеживает. Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации».

Для справки: проект «Ассистивные нейротехнологии» при поддержке NeuroNet НТИ был начат в 2017 году, направлен на разработку комплекса устройств для реабилитации больных после инсульта и нейротравм головы. Проект включает разработку комплекса устройств — это нейрогарнитура NeuroPlay, нейротренажер, ФЭС, ТЭС, Когниграф, Робоком и другие.

Лаборатория нейророботехники МФТИ образована в 2017 году в рамках Программы «5-100». Основное направление деятельности — разработка антропоморфной робототехники, а также оборудования для научных исследований в области нейронаук, физиологии и поведения.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
ФизТех
187 статей
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
12 августа
47 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

Вчера, 21:27
9 минут
Мария Азарова

Оказывается, парейдолия — это подарок эволюции, уверены авторы новой работы.

Вчера, 13:59
4 минуты
Денис Гордеев

Скорость скачивания в бета-версии «интернета от Илона Маска» колебалась от 35,5 до 60,2 Мбит/с.

12 августа
47 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

11 августа
11 минут
Мария Азарова

Президент подчеркнул, что препарат, созданный российскими специалистами, успешно прошел все этапы испытаний и доказал свою эффективность в борьбе с вирусом.

10 августа
9 минут
Мария Азарова

Будут ли в России осенью вновь вводить ограничения по Covid-19? Есть ли люди, перенесшие коронавирус, но организм которых почему-то не выработал антитела? На эти и многие другие вопросы попытался ответить российский ученый-медик Арег Тотолян.

12 августа
47 минут
Александр Березин

В России впервые в мире зарегистрировали вакцину от коронавируса, но, кажется, этому никто не рад. Многие пишут, что так быстро медицинские средства выпускать нельзя, ведь они не успеют пройти все проверки. Другие оценивают это как «масштабный эксперимент на людях». Утверждается, что еще до третьей фазы клинических испытаний «Спутник-V » введут миллионам российских граждан — в ближайший месяц. Сообщают, что у новой вакцины много побочных реакций, а вот защитных антител она якобы дает мало. Каждый из этих тезисов в той или иной степени неверен. Впрочем, это вовсе не значит, что вакцина обязательно работает. Попробуем разобраться, как все обстоит на самом деле.

22 июля
66 минут
Александр Березин

С 2064 года численность людей начнет сокращаться — и этот процесс может быть необратим. Один из авторов соответствующей научной работы прямо указывает: если ничего не изменится, через несколько веков человечество вымрет. Однако есть вещи и похуже вымирания. Куда вероятнее иной сценарий: мир будет заселен теми, кто сможет размножаться в новых культурных условиях. К сожалению, значительная часть современных европейцев, американцев и, возможно, других народов будут вытеснены с первых страниц истории. Вдобавок те, кто победят в этой непростой борьбе, нам, сегодняшнему населению Земли, могут сильно не понравиться. Попробуем разобраться почему.

31 июля
9 минут
Sergei Sobol

Сейчас, когда многие вокруг задумываются, а не попробовать ли что-то новое и не сменить ли профессию, программирование точно одно из тех направлений, к которому стоит присмотреться. Может, вы об этом уже думали?

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Предстоящие мероприятия
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: