Нейросеть распознает страх по голосу, а злость — по тексту
Исследователи Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», который позволяет обучать нейросети распознавать человеческие эмоции. Работа демонстрирует трансформацию лингвистики в эпоху искусственного интеллекта.
Результаты исследования опубликованы в журнале «Вопросы лексикографии». Ученые создали источник данных об эмоциональной речи для обучения больших языковых моделей детектированию эмоций на основе признаков из разных каналов коммуникации. Датасет включает 909 видеофрагментов общей продолжительностью 173 минуты, каждый из которых оценивался разметчиками по шести базовым эмоциям в четырех форматах: полное видео, только аудио, только текст и только видеоряд без звука.
«Большие языковые модели могут улавливать скрытые паттерны, которые мы, может быть, чувствуем на подсознательном уровне, но не можем формализовать. Наш датасет — это грамотно организованные, хорошо размеченные данные, приспособленные для работы с нейросетями. То, что раньше делал лингвист на основе словаря, теперь делают вычислительные модели, только их словарь должен быть организован по-другому. Вместо пары «слово — толкование» используется пара «текстовый фрагмент — эмоциональная метка», — объясняет заведующая Лабораторией языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова.
Исследование опровергает распространенное мнение о том, что именно интонация помогает лучше понимать эмоции. По новым данным, люди наиболее согласованно распознают эмоции при чтении письменного текста и просмотре полного видео со звуком. При прослушивании речи мнения расходились сильнее, а худший результат показало немое видео.
Детальный анализ выявил специфику восприятия разных эмоций: радость и удивление лучше распознаются через интонацию, злость точнее идентифицируется по тексту (72,9 % против 67,4 % для аудио), а страх оказался наиболее «вербальной» эмоцией — он распознается по тексту и аудио в 87 % случаев, но практически не читается по мимике (всего 3,5 %).
Датасет уже применяется в реальных проектах. Исследовательская группа использовала его для анализа отзывов посетителей Владимиро-Суздальского музейного заповедника и создания эмпатичного чат-бота для Эрмитажа, способного определять эмоции пользователей и адекватно на них реагировать.
«Раньше для такого анализа нужны были огромные размеченные выборки и мощные вычислительные ресурсы. Сейчас достаточно показать нейросети несколько десятков качественных образцов из нашего датасета», — отмечает Анастасия Колмогорова.
Разработанный инструмент также позволяет оценить качество существующих систем автоматического распознавания эмоций. Исследователи протестировали восемь популярных моделей — текстовых, аудиальных, видео и мультимодальных. В результате текстовые модели показали лучшую точность (50-58 %), аудиальные — среднюю (около 40 %), а анализ мимики — самую низкую (25,6 %).
Словарь для нейросетей доступен исследовательскому сообществу. Команда Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург планирует расширять коллекцию и изучать работу со смешанными эмоциями.
Telegram 
Дзен 
VK Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Ученые синтезировали три новых комплекса металла европия и нашли способ управлять яркостью их свечения (люминесценции). Подобные светящиеся соединения востребованы в биологии и медицине для визуализации тканей и отслеживания распределения лекарств по организму, а также в технике при разработке энергоэффективных дисплеев и светодиодов.
Физики Центра фотоники и двумерных материалов МФТИ совместно с коллегами из Алферовского университета и ИТМО показали, как управлять свечением углеродных точек, помещая их на полупроводниковые нанопровода.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Плавящийся асфальт в США, многие тысячи погибших в Западной Европе, своеобразное лето в России — все это списывают на вредоносный феномен рекордного Эль-Ниньо. И конечно же, на него спихивают и ожидаемый рост цен на кофе и основные сельхозтовары. Правда, есть в этой картине и белые пятна: в прошлые Эль-Ниньо мировые урожаи росли. Что скорее всего случится в 2026 году и отчего роль этого события может быть куда больше, чем мы думаем?
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно