Специалист по нейроинтерфейсам объяснил, чем невероятно круто видео Neuralink с макакой

Пол Нуюжукиан (Paul Nuyujukian) — доцент кафедры биоинженерных наук, нейрохирургии и электротехники Стэнфордского университета. Сейчас он занимает должность директора лаборатории интерфейсов мозг-компьютер. В общей сложности за плечами у ученого — 15 лет опыта научной деятельности в области нейроинтерфейсов, он работал как с животными, так и с людьми. Он квалифицированный врач (MD) и доктор наук (PhD).

На ютьюб-канале своей лаборатории Нуюжукиан разместил получасовое видео, в котором разобрал недавно выпущенный ролик Neuralink. С точки зрения квалифицированного специалиста на поприще разработки и эксплуатации нейроинтерфейсов, эта демонстрация достижений очередного стартапа Илона Маска вызывает интерес. Попробуем изложить суть небольшой лекции.

Правила приличия

Поскольку Нуюжукиан не первый день в научных кругах, свое выступление он начинает важной формальностью — обозначением возможных связей (или их отсутствия) с объектом обсуждения. Это необходимо, чтобы зрители и коллеги понимали, насколько сильно ученый сам может быть подвержен когнитивным искажениям в своих суждениях. Номинально к Neuralink он не имеет никакого отношения, никогда не работал на эту компанию, не оказывал консультационных услуг или иным образом не взаимодействовал с ней. И тем более стартап никогда не платил ему ранее или за публикацию этого видео.

Тем не менее область нейронаук сравнительно тесная, так что многие близкие знакомые и коллеги Нуюжукиана связаны с Neuralink. Например, оба его советника во время его постдокторантуры — Кришна Шэнной и Джейми Хендерсон — консультируют компанию многие годы. Как и Нуюжукиан, они работают в Стэнфорде, но в полном соответствии с профессиональной этикой в детали сотрудничества с Neuralink коллег не посвящают.

Иными словами, ученый не обладает никакой инсайдерской информацией: все его суждения основаны исключительно на тех данных, что стартап публиковал в открытых источниках. Что касается обсуждаемого видео, речь идет еще и о соответствующей записи в официальном блоге Neuralink. Все нижеизложенное — только профессиональное мнение Нуюжукиана как сотрудника лаборатории Стэнфордского университета.

Среда проведения эксперимента

С первых же секунд ролика специалист отмечает массу полезных посланий, которые заметны профессионалу. Например, обычному зрителю может показаться, что окружающая подопытную макаку Пейджера обстановка — лишь красивые декорации. Но, как объясняет ученый, на самом деле, это важно для проведения эксперимента. Обезьяна садится на удобный насест в виде толстой ветки, что для нее привычно и знакомо, похоже на естественную среду обитания. Одновременно с этим на стены бокса, где макаке предстоит играть на компьютере, проецируются джунгли.

Все эти элементы формируют комфортное окружение, минимизирующее стресс и благоприятствующее продуктивной деятельности животного. Люди и большая часть оборудования (кроме самого дисплея, джойстика и трубки, подающей вознаграждение — банановый смуззи) находятся снаружи бокса и не отвлекают Пейджера ни звуками, ни самим фактом своего присутствия. Со стороны макака выглядит расслабленной и ведет себя совершенно естественно.

Кстати о животном: Нуюжукиан и тут смог предоставить больше информации, чем считывается из ролика неподготовленным зрителем. На видео показан обыкновенный макак-резус — весьма распространенный модельный организм в нейронауках, ученые обладают богатым опытом работы с этим видом. Фактически значительная часть наших знаний об устройстве центральной нервной системы человека и приматов в целом получена благодаря именно этим животным. Нуюжукиан и сам много работал с резусами в своей практике.

Имплантация и подключение

Диктор в видео отмечает, что проплешина на голове животного — след недавней (около шести недель до съемок) имплантации чипа. По словам Нуюжукиан, этот факт действительно поражает. Даже имея большой опыт общения с резусами со стороны, невозможно сказать, что Пейджеру что-то внедрили в череп. Настолько незаметный дизайн импланта важен для последующей клинической практики при установке чипа людям. Обычные нейроинтерфейсы громоздки, даже беспроводные. А самые распространенные вовсе представляют собой толстый пучок проводов, торчащий из головы. Фактически Neuralink — первый полностью имплантируемый интерфейс мозг-компьютер с большим количеством каналов.

Момент подключения чипа к смартфону по Bluetooth может показаться некой данью моде, работой на массовую аудиторию, привыкшую к зрелищным презентациям гаджетов. Однако, как отмечает Нуюжукиан, это скорее послание коллегам-нейрофизиологам. Использование протоколов — стандартных в IT-индустрии — говорит о многом. Например, что настройка, совершенствование и отслеживание ошибок в таком подключении будут простыми, понятными и удобными. Кроме того, считывание статуса имплантата без использования специализированного оборудования банально сэкономит время исследователям.

Фантастический объем данных и новизна для отрасли

Отдельно специалист объясняет некоторые технические моменты Neuralink, выглядящие поистине сногсшибательно в сравнении с существующими решениями. Последние два десятилетия стандартом для нейроинтерфейсов служил типовой массив электродов, носящий название Utah Electrode Array. Это матрица 10х10 волокон, позволяющая считывать данные с сотни каналов. Однако технология, проверенная временем и работающая как часы, уже практически исчерпала свой потенциал. Устройства Neuralink состоят из четырех чипов с 16 нитями, на каждой из которых расположены 16 электродов. В сумме это дает 1024 канала для считывания электрических сигналов с головного мозга. Напомним, в голове Пейджера находится сразу два таких гаджета.

Неподдельное восхищение у Нуюжукиана вызвало дополнительное видео, опубликованное стартапом в своем блоге. На нем представлена визуализация мощности сигналов на каждом электроде с привязкой к структуре мозга подопытного животного. Каждая колонна на трехмерном графике — нить с 16 контактами (сферы). Чем крупнее сфера, тем интенсивнее сигнал, а его цвет показывает, во время какого движения рукой макака нейроны активизировались (направление). Что немаловажно, специалисты Neuralink наглядно продемонстрировали: они точно знают положение каждого электрода в тканях.

Это важно для более точного анализа активности различных отделов головного мозга. А следовательно, для получения огромного количества подробных данных как для медицинских целей, так и для научных. Нуюжукиан объяснил, что на фото с операции хорошо видно, куда именно имплантировали устройство: это моторная кора, расположенная около центральной борозды, различимой внизу кадра.

Кстати говоря, в дополнение к своим словам Нуюжукиан собрал целую коллекцию научных работ, которые наверняка знакомы сотрудникам Neuralink. Они описывают различные варианты нейроинтерфейсов и их компонентов, а также методики декодирования сигналов. Своеобразный список для чтения тем, кто хочет погрузиться в тему по-настоящему глубоко. Среди прочего одна из статей, которая точно использовалась стартапом, — за авторством самого стэнфордского доктора наук. Она посвящена упражнению, выполняемому Пейджером в ролике: выбор одной подсвеченной плитки из массива 6х6. Помимо важности процесса выполнения задания, программа позволяет измерять поток данных, генерируемых подопытным с помощью нейроинтерфейса (цифры посередине правого края экрана).

Софт

Настоящий праздник души для Нуюжукиан наступает, когда в ролике Neuralink камера переходит на программу, анализирующую сигналы, которые поступают с имплантата. Для непосвященного человека это лишь интерфейс какой-то служебной «софтины», но Нуюжукиан показывает, какой объем информации специалист с этого кадра считывает. Там и подробности об устройстве нейроинтерфейса и о том, как полученные данные обрабатываются:

• Судя по времени в заголовке окна и названию файла с логом сессии, видео записано утром в пятницу, 2 апреля. Ролик опубликован в течение недели после этого, будто компания спешила поделиться своими достижениями без задержек;
• Верхняя строка, сразу под заголовком окна, содержит техническую информацию. Название выбранного оператором чипа (одного из четырех в каждом импланте Neuralink) и пункт streaming замазаны, но остальное различимо. Аппаратный адрес (MAC) беспроводного модуля и версия прошивки нам ни о чем не говорят, статус настроек спящего режима и выхода из режима ожидания просто любопытны. Занимательно, что разработчики интегрировали в устройство датчики температуры и влажности. А вот остальные пункты — самое интересное;
• Во время записи видео устройство не заряжалось (Charging — -64 пикоампера на индуктивной катушке) и было подключено к компьютеру по беспроводной сети (RSSI — мощность радиосигнала). Напряжение батареи составляло около 3,7 вольта, из чего можно сделать вывод, что, скорее всего, используется литийионный аккумулятор. Учитывая текущий расход энергии — 17,3 миллиампера, — Нуюжукиан примерно оценивает потребляемую мощность всей электроники импланта в 64 милливатта. И, по его мнению, это хорошее значение, устройство получилось крайне энергоэффективным;
• Отдельно указано количество потерянных при передаче пакетов данных (drops);
• Большая черно-белая полоса ниже — растровое представление поступающих с чипа сигналов активности головного мозга. По вертикали показаны каналы, по горизонтали — время замера с шагом в 25 миллисекунд. Данные нормализованы, чтобы слишком сильные сигналы не заглушали соседние каналы;
• Есть возможность буквально послушать выбранный канал. Это интересная и распространенная практика в нейрофизиологии — взять сигналы с головного мозга подопытного и преобразовать их в звук. Человек по-разному воспринимает информацию визуально и на слух, так что это может быть полезно;
• В нижней области экрана собраны различные настройки приема, записи и обработки сигналов. Можно выбрать между разными режимами (пики активности или замер изменений сопротивления), а также сохранять отдельные каналы;
• Из лога становится очевидно, что в момент съемки видео пакеты данных приходили каждые 10 секунд и содержали данные по отдельным каналам за это время;
• Исходя из факта, что в соединении были потери, на транспортном уровне использовался протокол UDP, а данные упаковывали с помощью библиотеки ZMQ. Учитывая энергопотребление и ограниченный размер пакетов, инженеры выбрали спецификацию Bluetooth 2.1 с пропускной способностью до двух мегабит в секунду (возможно, и третью версию, но маловероятно). Это простое, изящное решение, основанное на хорошо известных и широко применяющихся технологиях. Иными словами, так делают почти все разработчики нейроинтерфейсов.

Свой обзор программного обеспечения Neuralink Нуюжукиан резюмирует фразой о том, что, по его мнению, система получилась интересная, сложная и продвинутая. Потенциально она обладает широким спектром возможностей для самых разных применений.

Упражнение с квадратами, пинг-понг и выводы

Глядя на то, как Пейджер наводит курсор на подсвеченный квадрат, когда джойстик уже отключен от компьютера, Нуюжукиан отмечает деталь, о которой диктор умолчал. Ученый считает, что в Neuralink умолчали о разнице в обработке сигналов во время калибровки и при выполнении упражнения обезьяной. Это никак не отражается на сути эксперимента — просто любопытная техническая подробность. Когда макак во время калибровки системы управляет курсором при помощи джойстика, выбор квадрата определяется задержкой указателя на нем. А после отключения устройства ввода, когда курсор двигается на основании данных, полученных через нейроинтерфейс, имитируется клик по цели. Судя по всему, декодер сигналов был настроен так для повышения надежности работы.

Отдельно Пол указывает на «битрейт» сбоку от игрового поля. По его словам, цифры вполне обычные, как и у других нейроинтерфейсов, то есть Пейджер справляется с заданием наравне с подопытными в аналогичных экспериментах. При этом ученый считает, что алгоритмы Neuralink явно еще не оптимизированы, так что производительность будет существенно выше. Игра в пинг-понг с инженерной точки зрения гораздо проще выбора квадратов. Тут нужно отслеживать всего одно измерение, а не три (x, y и «клик»). С другой стороны, для животного понять принципы такого задания может быть поначалу непросто. Но Нуюжукиан знает, зачем Neuralink включила в ролик этот фрагмент: он хорошо запоминается и производит впечатление на самую широкую публику.

Завершает импровизированную лекцию Нуюжукиан на позитивной ноте. Он ждет дальнейших шагов команды Neuralink, а компания, как он считает, уже готова к клиническим испытаниям технологии. Судя по тому, что Пол увидел и прочитал в открытых источниках, стартап либо активно собирает, либо уже собрал все необходимые документы для получения разрешения использовать имплант на людях от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Возможно, первые парализованные пациенты получат устройства Neuralink в течение года или двух.

Для специалиста эта демонстрация достижений выглядела очень убедительно. Компания показала, что впервые за 20 лет появилось полностью новое оборудование для считывания мозговой активности. Оно обладает на порядок большей производительностью и успешно испытано на приматах. По сути, в арсенале нейрофизиологов появился первый компактный, беспроводной, полнофункциональный интерфейс мозг-компьютер. Это невероятно обнадеживающее достижение и для науки, и для медицины.