Нейропсихологи объяснили, как люди понимают речь друг друга

Согласно предыдущим исследованиям, на успех социального взаимодействия во многом влияет синхронизация поведения. В частности, когда музыкальные группы «подстраиваются» под движения солиста, качество исполнения улучшается. Известно и что во время вербального общения «синхронизация» происходит на уровне мозговой активности. Однако до конца не было ясно, от чего зависит такое взаимодействие: непосредственно от слов или от других компонентов, например от языка тела или тона голоса.

Исследователи из Принстонского и Нью-Йоркского университетов (оба — в США) выяснили, что синхронную активность мозга двух человек во время разговора можно смоделировать с учетом используемых слов и контекста, в который они помещены. Результаты научной работы опубликовал журнал Neuron.

С помощью электрокортикографии ученые собрали данные о мозговой активности пар пациентов с эпилепсией во время естественных бесед, а также проанализировали стенограммы этих разговоров. Оказалось, что специфическая для каждого используемого слова активность достигала пика примерно за 250 миллисекунд до того, как говорящий произносил это слово, а в мозге слушателя — примерно через 250 миллисекунд после того, как он его услышит.

«Мы можем видеть, как лингвистический контент слово за словом возникает в мозге говорящего, прежде чем он на самом деле сформулирует то, что пытается сказать, и тот же лингвистический контент быстро всплывает в мозге слушателя после того, как он его услышит», — пояснили авторы статьи.

Ученые отметили, что специфическая мозговая активность связана не только со словом как таковым, но и с его значением в контексте. Например, английское cold в зависимости от рядом стоящих слов может означать как низкую температуру, так и свойство личности, и состояние здоровья (простуда).

Авторы исследования с помощью нейросети GPT-2 извлекли контекст для каждого из слов, которые прозвучали в разговоре, а затем обучили на полученных данных модель, предсказывающую изменения мозговой активности по мере передачи информации от говорящего к слушающему во время разговора. Ответы модели оказались наиболее точными по сравнению с предыдущими работами, что указало на важную роль контекста.

В дальнейшем ученые планируют расширить исследование и применить модель контекстно-ориентированного подхода к другим типам данных о мозговой активности. Например, фМРТ позволит понять, как во время разговора работают части мозга, недоступные для электрокортикографии.