При отправке в чат грустного или радостного смайлика кажется очевидным, что собеседник нас хорошо понимает. Но за этой очевидностью скрывается важный научный вопрос: как мозг обрабатывает эмодзи? Ответ позволит лучше понять, какие коммуникационные механизмы задействованы в обработке этого простого запроса.
Исследования на магнитно-резонансных томографах показывали, что на эмодзи откликаются те же зоны мозга, что и на лица, например веретенообразная извилина. С другой стороны, электроэнцефалографические эксперименты обнаруживали важные различия. При этом одни ученые считали, что мозг воспринимает эмодзи как упрощенные картинки, то есть объекты, а не лица. Другие полагали, что механизмы все же общие, но требуют дополнительных доказательств. Большинство предыдущих научных работ концентрировалось именно на различиях. Вопрос о существовании общего нейронного кода для реальных и символических выражений эмоций оставался открытым.
Ученые из Университета Борнмута (Великобритания) выяснили, использует ли мозг общие нейронные коды для распознавания эмоций на реальных лицах и на эмодзи. Исследователи провели два параллельных эксперимента. В первом участвовали 24 человека, которые смотрели на цветные фотографии реальных людей. Восемь разных моделей демонстрировали четыре выражения лица: радость, гнев, печаль и нейтральное выражение. Задача участника была простой: определить эмоцию и нажать на нужную клавишу. Результаты исследования опубликовал журнал Psychophysiology.
Во втором эксперименте другая группа из 25 человек выполняла то же самое задание, но вместо фотографий им показывали эмодзи с шести разных платформ. Время показа картинок, интервалы между ними и система подсчета правильных ответов были полностью одинаковыми в обоих экспериментах. Это позволило напрямую сравнивать результаты.
Для анализа данных ученые применили многомерный паттерновый анализ. Компьютер учится различать эмоции по распределению электрических сигналов сразу по всем датчикам на голове. Сначала алгоритм тренируют на части данных, потом проверяют на новых примерах.
Для чистоты эксперимента добавили перекрестный анализ. Ученые тренировали алгоритм на реальных лицах, а проверяли на эмодзи, и наоборот. Если после тренировки на фотографиях людей алгоритм успешно распознает эмоции на смайликах, значит, мозг кодирует эти эмоции сходным образом, несмотря на огромную разницу в визуальных деталях.
Результаты эксперимента показали, что когда алгоритм учили на фотографиях реальных лиц, а затем применяли к данным, полученным при просмотре эмодзи, он все равно успешно угадывал эмоции. В обратную сторону это тоже работало: тренировка на смайликах позволяла правильно классифицировать эмоции на живых лицах. Это доказывает, что в мозге существует общий нейронный код для эмоциональных выражений, который не зависит от того, видит человек настоящую мимику или ее схематичный символ.
Причем различимые паттерны активности, соответствующие разным эмоциям, возникали уже через 100-120 миллисекунд после предъявления картинки, а пик приходился на промежуток между 145 и 160 миллисекундами. То есть мозг обрабатывает эмодзи не как посторонние объекты, а именно как лица, причем делает это почти так же быстро. Пространственно активность была сконцентрирована в затылочно-теменных областях — там, где расположены центры обработки зрительной информации и распознавания лиц.
Таким образом, мозг использует уже отлаженные механизмы обработки социальных сигналов для расшифровки символических изображений. Это открытие объясняет, почему эмодзи стали такими эффективными в цифровой среде.