12.01.2018, 18:24
Редакция Naked Science
1
322

Нейросеть научилась «читать мысли» по активности мозга

Реконструкция изображений по нейронной активности уже неоднократно удавалась; к примеру, Брайс Кюль из Университета США поставил несколько успешных опытов по расшифровке данных об активности головного мозга, позволивших воссоздать изображения человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об однажды виденных лицах. Однако до сих пор во всех...

snimok_ekrana_2018-01-12_21-12-34
©Wikipedia / Автор: Артем Фомин

Реконструкция изображений по нейронной активности уже неоднократно удавалась; к примеру, Брайс Кюль из Университета США поставил несколько успешных опытов по расшифровке данных об активности головного мозга, позволивших воссоздать изображения человеческих лиц, причем удавалось получить как непосредственно наблюдаемые во время сбора информации изображения, так и воспоминания об однажды виденных лицах. Однако до сих пор во всех подобных экспериментах компьютерные алгоритмы, обрабатывавшие данные, не реконструировали изображение непосредственно из данных об активности мозга, а сравнивали наблюдаемые паттерны активности с уже имевшимися в библиотеке.

 

В этом году японские нейробиологи из Университета Киото завершили эксперимент, в котором нейросеть реконструировала изображения по паттернам активности мозга, не обращаясь к существующей базе данных. Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.

 

Нейросеть, созданная в Киото, не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.

Результат реконструкции абстрактных геометрических фигур. Yukiyasu Kamitani et al., 2018.

 

После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.

 

Препринт статьи опубликован в репозитории bioRxiv.org.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
14 сентября, 07:49
Марк Чернов

Британские физики впервые визуализировали процесс, при котором две отрицательно заряженные молекулы ДНК сближаются и пристыковываются друг к другу точно в местах с одинаковым генетическим кодом вопреки ожидаемому отталкиванию. Прямое наблюдение этого механизма подтвердило 20-летнюю гипотезу и раскрыло фундаментальные процессы восстановления генома, деления клеток и развития онкологических заболеваний.

14 сентября, 10:27
Игорь Байдов

Падение астероида примерно 66 миллионов лет назад запустило цепь событий, которые привели к вымиранию нептичьих динозавров. Однако некоторые группы пресмыкающихся пережили эту катастрофу и начали быстро восстанавливаться. Всего через несколько сотен тысяч лет после случившегося в реках Северной Америки уже охотился двухметровый хищник с необычными зубами, способными дробить твердую пищу. Его остатки помогли ученым понять, как аллигаторы развивались практически сразу после вымирания.

14 сентября, 12:50
Елизавета З.

Житель Шотландии Роджер Риддингтон обнаружил возле своего дома редкого буланого козодоя. В Великобритании эту птицу до сих пор видели лишь два раза, а на Шетландских островах — впервые.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

11 сентября, 10:25
Александр Березин

Современная космология до недавнего времени опиралась на так называемый космологический принцип, по которому у Вселенной нет какого-то выделенного направления. И наблюдатель в любой ее точке должен видеть однородную в этом смысле картину. Астроном из Северокавказской астрофизической обсерватории показал, что это не так даже для очень древней Вселенной.

12 сентября, 09:45
Любовь С.

Превратив почти 30 лет наблюдений за сверхмассивной черной дырой в видео, астрономы выяснили, что яркие участки в джете движутся совсем не так, как считалось раньше.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

19 августа, 18:31
Александр Березин

После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.

[miniorange_social_login]

Комментарии

1 Комментарий
Oblllens
13.01.2018
Мы всё ближе к чтению мыслей, интересно)