Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросеть распознает страх по голосу, а злость — по тексту
Исследователи Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», который позволяет обучать нейросети распознавать человеческие эмоции. Работа демонстрирует трансформацию лингвистики в эпоху искусственного интеллекта.
Результаты исследования опубликованы в журнале «Вопросы лексикографии». Ученые создали источник данных об эмоциональной речи для обучения больших языковых моделей детектированию эмоций на основе признаков из разных каналов коммуникации. Датасет включает 909 видеофрагментов общей продолжительностью 173 минуты, каждый из которых оценивался разметчиками по шести базовым эмоциям в четырех форматах: полное видео, только аудио, только текст и только видеоряд без звука.
«Большие языковые модели могут улавливать скрытые паттерны, которые мы, может быть, чувствуем на подсознательном уровне, но не можем формализовать. Наш датасет — это грамотно организованные, хорошо размеченные данные, приспособленные для работы с нейросетями. То, что раньше делал лингвист на основе словаря, теперь делают вычислительные модели, только их словарь должен быть организован по-другому. Вместо пары «слово — толкование» используется пара «текстовый фрагмент — эмоциональная метка», — объясняет заведующая Лабораторией языковой конвергенции НИУ ВШЭ — Санкт-Петербург Анастасия Колмогорова.
Исследование опровергает распространенное мнение о том, что именно интонация помогает лучше понимать эмоции. По новым данным, люди наиболее согласованно распознают эмоции при чтении письменного текста и просмотре полного видео со звуком. При прослушивании речи мнения расходились сильнее, а худший результат показало немое видео.
Детальный анализ выявил специфику восприятия разных эмоций: радость и удивление лучше распознаются через интонацию, злость точнее идентифицируется по тексту (72,9 % против 67,4 % для аудио), а страх оказался наиболее «вербальной» эмоцией — он распознается по тексту и аудио в 87 % случаев, но практически не читается по мимике (всего 3,5 %).
Датасет уже применяется в реальных проектах. Исследовательская группа использовала его для анализа отзывов посетителей Владимиро-Суздальского музейного заповедника и создания эмпатичного чат-бота для Эрмитажа, способного определять эмоции пользователей и адекватно на них реагировать.
«Раньше для такого анализа нужны были огромные размеченные выборки и мощные вычислительные ресурсы. Сейчас достаточно показать нейросети несколько десятков качественных образцов из нашего датасета», — отмечает Анастасия Колмогорова.
Разработанный инструмент также позволяет оценить качество существующих систем автоматического распознавания эмоций. Исследователи протестировали восемь популярных моделей — текстовых, аудиальных, видео и мультимодальных. В результате текстовые модели показали лучшую точность (50-58 %), аудиальные — среднюю (около 40 %), а анализ мимики — самую низкую (25,6 %).
Словарь для нейросетей доступен исследовательскому сообществу. Команда Лаборатории языковой конвергенции НИУ ВШЭ — Санкт-Петербург планирует расширять коллекцию и изучать работу со смешанными эмоциями.
Telegram 
Дзен 
VK Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Оказалось, что насекомые активно избегают влажных поверхностей.
Во время обследования почти 900 собак ученые выявили 12 пород, склонных к брахицефалическому обструктивному синдрому дыхательных путей, который может ухудшать сон и влиять на переносимость физических нагрузок. Авторы нового исследования выяснили, что список пород, предрасположенных к серьезным нарушениям дыхания, куда шире, чем считалось ранее.
Ученые проверили 100 популярных кормов для собак и кошек и во многих из них нашли ПФАС, так называемые «вечные химикаты», причем одни из самых высоких концентраций обнаружили в продуктах на основе рыбы. Во многих случаях их уровень превышает пороги безопасности для людей, установленные европейским регулятором.
Ученые из Института космических исследований РАН и МФТИ раскрыли химический механизм, объясняющий появление молекул воды на поверхностях астероидов.
Исследователи Санкт-Петербургского государственного университета разработали эффективный способ обнаружения в крови важнейшего биомаркера иммунитета — неоптерина — с помощью нанотехнологий и лазера.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно