Нейросеть распознает страх по голосу, а злость — по тексту
Исследователи Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», который позволяет обучать нейросети распознавать человеческие эмоции. Работа демонстрирует трансформацию лингвистики в эпоху искусственного интеллекта.
Результаты исследования опубликованы в журнале «Вопросы лексикографии». Ученые создали источник данных об эмоциональной речи для обучения больших языковых моделей детектированию эмоций на основе признаков из разных каналов коммуникации. Датасет включает 909 видеофрагментов общей продолжительностью 173 минуты, каждый из которых оценивался разметчиками по шести базовым эмоциям в четырех форматах: полное видео, только аудио, только текст и только видеоряд без звука.
«Большие языковые модели могут улавливать скрытые паттерны, которые мы, может быть, чувствуем на подсознательном уровне, но не можем формализовать. Наш датасет — это грамотно организованные, хорошо размеченные данные, приспособленные для работы с нейросетями. То, что раньше делал лингвист на основе словаря, теперь делают вычислительные модели, только их словарь должен быть организован по-другому. Вместо пары «слово — толкование» используется пара «текстовый фрагмент — эмоциональная метка», — объясняет заведующая Лабораторией языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова.
Исследование опровергает распространенное мнение о том, что именно интонация помогает лучше понимать эмоции. По новым данным, люди наиболее согласованно распознают эмоции при чтении письменного текста и просмотре полного видео со звуком. При прослушивании речи мнения расходились сильнее, а худший результат показало немое видео.
Детальный анализ выявил специфику восприятия разных эмоций: радость и удивление лучше распознаются через интонацию, злость точнее идентифицируется по тексту (72,9 % против 67,4 % для аудио), а страх оказался наиболее «вербальной» эмоцией — он распознается по тексту и аудио в 87 % случаев, но практически не читается по мимике (всего 3,5 %).
Датасет уже применяется в реальных проектах. Исследовательская группа использовала его для анализа отзывов посетителей Владимиро-Суздальского музейного заповедника и создания эмпатичного чат-бота для Эрмитажа, способного определять эмоции пользователей и адекватно на них реагировать.
«Раньше для такого анализа нужны были огромные размеченные выборки и мощные вычислительные ресурсы. Сейчас достаточно показать нейросети несколько десятков качественных образцов из нашего датасета», — отмечает Анастасия Колмогорова.
Разработанный инструмент также позволяет оценить качество существующих систем автоматического распознавания эмоций. Исследователи протестировали восемь популярных моделей — текстовых, аудиальных, видео и мультимодальных. В результате текстовые модели показали лучшую точность (50-58 %), аудиальные — среднюю (около 40 %), а анализ мимики — самую низкую (25,6 %).
Словарь для нейросетей доступен исследовательскому сообществу. Команда Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург планирует расширять коллекцию и изучать работу со смешанными эмоциями.
Telegram 
Дзен 
VK Ученые из МФТИ и Объединенного института ядерных исследований завершили комплексный анализ поведения констант связи Стандартной модели на высоких энергиях. Используя ренормализационную группу, авторы оценили вероятность того, что наш вакуум — физическое состояние, в котором существует все вещество во Вселенной,— рано или поздно «провалится» в более глубокое энергетическое состояние.
В работе летчика-испытателя возникают тысячи нештатных ситуаций. У пилота нет времени на раздумья, действовать нужно очень быстро. Со временем у пилотов появляется так называемая летная интуиция. Однако испытатель Су-57, герой России Сергей Богдан не исключил, что со временем летную интуицию сможет заменить искусственный интеллект.
Если у вас есть выбор между лестницей и лифтом, выбирайте лестницу. Согласно результатам нового исследования, у людей, регулярно поднимающихся пешком по лестнице, риск скончаться от сердечно-сосудистых проблем ниже на 39%, а от любых других причин — на 24%, чем у тех, кто пользуется лестницей лишь иногда.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.
Со стороны профессия летчика-испытателя часто выглядит как череда опасных полетов, требующих бесстрашия и способности мгновенно импровизировать. В действительности ее основу составляют методика, дисциплина, технические знания и умение честно рассказать о каждой особенности машины. Его задача — не просто поднять самолет в воздух, но и понять, насколько точно он выполняет команды, предсказуемо ли ведет себя на сложных режимах и какие изменения необходимо внести в конструкцию или систему управления.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно