В Пермском Политехе нашли способ научить роботов говорить более эмоционально
Сегодня в области искусственного интеллекта достаточно актуальны вопросы распознавания эмоций и эмоционального изменения голоса. В частности, эти технологии можно использовать в робототехнике, человеко-машинном взаимодействии, для голосового обучения, а также для определения физического состояния водителей. Ученые из Пермского Политеха предложили способ, который позволит роботам «считывать» эмоции людей и воспроизводить их в собственной речи. С помощью изменения интонации и ритма ученые создали эмоциональный голос.
Результаты исследования они представили в журнале 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). Эмоции — это особый вид психических процессов, которые выражают то, что человек думает о своих отношениях с окружающей средой и самим собой. Способность испытывать их развивалась в процессе эволюции живых существ, помогая им более успешно адаптироваться к условиям жизни.
Несмотря на то, что люди выражают чувства по-разному, есть универсальные эмоции, которые понятны для представителей различных культур. Но одна из проблем распознавания эмоций и синтеза речи состоит в том, что нет их точной формализации: люди могут интерпретировать чувства других неоднозначно и нечетко.
«В последнее время появилось много способов распознавания эмоций, в том числе с помощью искусственных нейронных сетей. Но научить робота воспроизводить эмоциональную речь все еще достаточно сложно. Это многоэтапный процесс, который включает анализ человеческой речи и обнаружение эмоций во всех фразах, а затем синтез речи робота с необходимыми эмоциями.
Каждый из этих шагов отличается высокой степенью неопределенности. Чтобы научить робота человеческому тону, тембру и эмоциям, мы предложили использовать прямое обучение по аналогии», – рассказывает один из разработчиков, магистрант кафедры «Автоматика и телемеханика» электротехнического факультета Пермского Политеха Ян Якубчик.
Разработчики обнаружили эмоциональный интонационный паттерн в речи и воссоздали его по той же фразе, произнесенной другим голосом. Из-за различий в говорении и эмоциях разных людей существует разница в скорости и ритме речи. По словам ученых, необходимо найти повторяющиеся звуки во фразах и сопоставить их, чтобы верно изменить высоту тона и ритм речи робота. Чтобы найти оптимальное соответствие между временными рядами, представляющими звуки, они использовали технику динамического преобразования времени.
Для оценки работы метода ученые провели эксперимент. С помощью студентов Пермского института культуры они записали восемь голосовых форматов эмоций и первый голос в спокойном тоне. Далее были разработаны матмодели эмоций голоса с помощью двух методов: наименьших квадратов и кепстральных коэффициентов. Таким образом удалось синтезировать измененные голоса.
«Чтобы добавить эмоции к полученному голосу робота, мы использовали третий метод – прямое обучение. Неэмоциональная фраза корректируется с помощью матмодели эмоций. Метод позволяет изменять интонацию фразы, оставляя текст прежним», — поясняет научный руководитель разработчика, доцент кафедры автоматики и телемеханики Пермского Политеха, кандидат технических наук Юрий Липин.
Алгоритм позволил создать несколько фраз, которые звучали достаточно естественно. В дальнейших планах разработчиков – создание языковой модели для распознавания и воссоздания эмоций, так как изменение речи в зависимости от эмоций во многом зависит от языка.
Telegram 
Дзен 
VK Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.
Мумии сохраняют следы не только болезней и травм, но и самих процедур, которым подвергали тела после смерти. Компьютерная томография головы мумии, много десятилетий пролежавшей в музее, раскрыла не совсем привычный способ извлечения мозга и другие детали бальзамирования.
Обычно место соединения двух деталей, даже из одного материала — слабая точка изделия. Но правильно сваренные друг с другом куски полиэтилена это правило нарушали, хотя ученые и не понимали почему.
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.
Телескоп «Роман» в несколько раз превосходит любого из своих американских предшественников по числу мегапикселей в матрице и будет отправлять на Землю больше данных, чем любой другой космический телескоп из когда-либо созданных. С его помощью астрономы надеются и прояснить природу темной энергии и материи, и найти немало новых экзопланет — в особенности планет-бродяг
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно