Глубокую нейросеть научили воображению

Поскольку анализ мозговой активности является трудоемким и не всегда обеспечивает высокую надежность диагностики, ученые работают над его автоматизацией. Прошлые эксперименты показали, что существующие алгоритмы машинного обучения позволяют создавать искусственные нейросети, которые могут реконструировать увиденное и воображаемое человеком с помощью снимков, сделанных путем функциональной магнитно-резонансной томографии (фМРТ). Но, как правило, такие декодеры не способны предсказать психическое содержание, соответствующее незнакомым стимулам. Это накладывает на технологию фундаментальное ограничение, делая нейросеть зависимой от тренировок.

Авторы новой работы разработали глубокую нейросеть, которая позволяет воспроизводить психическое содержание несмотря на сравнительную новизну стимулов. На первом этапе ученые обследовали пятерых человек — вместо большой выборки они согласно современным протоколам поведенческих МРТ-экспериментов привлекли хорошо подготовленных испытуемых. Находясь в томографе, они просматривали две группы изображений из базы ImageNet: 1200 из 150 категорий (например, «леопарды») и, в качестве контроля, 50 отдельных снимков. Затем им показывали список слов, одно из которых выделялось, — в течение 15 секунд участники должны были вызывать соответствующие ему зрительные образы.

После этого ученые создали компьютерный алгоритм из 13 слоев, каждый из которых был редуцирован и описывал только около одной тысячи признаков. Нейросеть включала в себя восемь сверточных слоев (CNN), три модели HMAX, одну GIST, а также слой SIFT+BoF, широко используемый в машинном зрении. Сперва система тренировалась в признаковом описании более 100 тысяч изображений из 15 322 категорий. Причем со стимулами, которые задействовались в эксперименте с людьми, знакомили только слои HMAX и SIFT+BoF (одна тысяча фотографий из 150 категорий). Отдельно нейросеть составляла описание признаков на основании томограмм. Таким образом алгоритм освоил анализ разных визуальных данных.

Наконец, авторы проверили, способна ли нейросеть предсказать психическое содержание на основании томограмм при условии, что большинству ее «нейронам» изначально неизвестны вызвавшие его стимулы. Результаты показали, что система во многом гомологична живому мозгу. Так, ее слои хорошо прогнозировали активность различных участков зрительной коры (в работе оценивали 12 областей, свазанных с распознаванием, включая парагиппокампальную область мест (PPA) и другие). Кроме того, механизм предсказания соответствовал принципу функциональной иерархии: особенно хорошо прогнозы высоких и низких уровней системы совпадали с реакцией высших и глубоких слоев мозга.

По мнению ученых, полученные данные могут использоваться в моделировании живых нейронных сетей и автоматизации диагностики. Также расширение функциональности таких алгоритмов позволяет рассматривать их как потенциальную основу искусственного интеллекта.

Подробности работы представлены в журнале Nature Communications.

Ранее исследователи адаптировали метод МРТ к визуализации экспрессии генов.