• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
14.06.2022
ПНИПУ
1 157

В Пермском Политехе нашли способ научить роботов говорить более эмоционально

Сегодня в области искусственного интеллекта достаточно актуальны вопросы распознавания эмоций и эмоционального изменения голоса. В частности, эти технологии можно использовать в робототехнике, человеко-машинном взаимодействии, для голосового обучения, а также для определения физического состояния водителей. Ученые из Пермского Политеха предложили способ, который позволит роботам «считывать» эмоции людей и воспроизводить их в собственной речи. С помощью изменения интонации и ритма ученые создали эмоциональный голос.

В Пермском Политехе нашли способ научить роботов говорить более эмоционально / ©Getty images / Автор: Ptolemocratia Acerronius

Результаты исследования они представили в журнале 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (ElConRus). Эмоции — это особый вид психических процессов, которые выражают то, что человек думает о своих отношениях с окружающей средой и самим собой. Способность испытывать их развивалась в процессе эволюции живых существ, помогая им более успешно адаптироваться к условиям жизни.

Несмотря на то, что люди выражают чувства по-разному, есть универсальные эмоции, которые понятны для представителей различных культур. Но одна из проблем распознавания эмоций и синтеза речи состоит в том, что нет их точной формализации: люди могут интерпретировать чувства других неоднозначно и нечетко.

Спектрограмма звука назначения / ©Пресс-служба ПНИПУ

«В последнее время появилось много способов распознавания эмоций, в том числе с помощью искусственных нейронных сетей. Но научить робота воспроизводить эмоциональную речь все еще достаточно сложно. Это многоэтапный процесс, который включает анализ человеческой речи и обнаружение эмоций во всех фразах, а затем синтез речи робота с необходимыми эмоциями.

Спектрограмма одного из эмоциональных источников звука / ©Пресс-служба ПНИПУ

Каждый из этих шагов отличается высокой степенью неопределенности. Чтобы научить робота человеческому тону, тембру и эмоциям, мы предложили использовать прямое обучение по аналогии», – рассказывает один из разработчиков, магистрант кафедры «Автоматика и телемеханика» электротехнического факультета Пермского Политеха Ян Якубчик.

Спектрограмма и формантные контуры записи слова «робот» / ©Пресс-служба ПНИПУ

Разработчики обнаружили эмоциональный интонационный паттерн в речи и воссоздали его по той же фразе, произнесенной другим голосом. Из-за различий в говорении и эмоциях разных людей существует разница в скорости и ритме речи. По словам ученых, необходимо найти повторяющиеся звуки во фразах и сопоставить их, чтобы верно изменить высоту тона и ритм речи робота. Чтобы найти оптимальное соответствие между временными рядами, представляющими звуки, они использовали технику динамического преобразования времени.

Спектрограмма результирующего звука / ©Пресс-служба ПНИПУ

Для оценки работы метода ученые провели эксперимент. С помощью студентов Пермского института культуры они записали восемь голосовых форматов эмоций и первый голос в спокойном тоне. Далее были разработаны матмодели эмоций голоса с помощью двух методов: наименьших квадратов и кепстральных коэффициентов. Таким образом удалось синтезировать измененные голоса.

Тональный контур результирующего звука / ©Пресс-служба ПНИПУ

«Чтобы добавить эмоции к полученному голосу робота, мы использовали третий метод – прямое обучение. Неэмоциональная фраза корректируется с помощью матмодели эмоций. Метод позволяет изменять интонацию фразы, оставляя текст прежним», — поясняет научный руководитель разработчика, доцент кафедры автоматики и телемеханики Пермского Политеха, кандидат технических наук Юрий Липин.

Алгоритм позволил создать несколько фраз, которые звучали достаточно естественно. В дальнейших планах разработчиков – создание языковой модели для распознавания и воссоздания эмоций, так как изменение речи в зависимости от эмоций во многом зависит от языка.  

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Пермский национальный исследовательский политехнический университет (национальный исследовательский, прошлые названия: Пермский политехнический институт, Пермский государственный технический университет) — технический ВУЗ Российской Федерации. Основан в 1960 году как Пермский политехнический институт (ППИ), в результате объединения Пермского горного института (организованного в 1953 году) с Вечерним машиностроительным институтом. В 1992 году ППИ в числе первых политехнических вузов России получил статус технического университета.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 17:59
Юлия Трепалина

Сниженная концентрация внимания у молодежи побуждает педагогов к внедрению новых, более увлекательных методик, способных поддерживать интерес к обучению у поколения Z. Проведенный на Филиппинах эксперимент показал, что использование специализированных мемов может положительно влиять на успеваемость учеников и их отношение к дисциплине.

Позавчера, 19:02
Игорь Байдов

Ученые исследовали человекообразных обезьян в одном из заповедников Японии и выявили у них необычное поведение, которое ранее не наблюдалось у других животных. Если один шимпанзе начинает мочиться, это стимулирует других особей делать то же самое. По мнению авторов новой научной работы, эффект, который они назвали «заразительным мочеиспусканием», может иметь глубокие эволюционные корни.

Позавчера, 11:09
ПНИПУ

Обострение экологических проблем ведет к росту популярности натуральных материалов. Все больше компаний и потребителей отказываются от синтетики в пользу шерстяных тканей, выбирая естественность. Эксперт Пермского Политеха рассказал, какими особыми свойствами обладает шерсть, что такое ланолин и как он успокаивает кожу с дерматитом, почему материал реже требует стирки и не сохраняет запах пота, кто поставляет самый теплый и износостойкий вид, чья шерсть считается самой редкой и дорогой.

18 января
Елена

Ученые Северо-Западного университета (США) синтезировали новый материал с исключительными свойствами. Очень прочный, но в то же время гибкий и легкий, полученный ими полимер может изготавливаться в больших объемах, а применяться при создании бронежилетов и баллистических тканей.

Позавчера, 17:59
Юлия Трепалина

Сниженная концентрация внимания у молодежи побуждает педагогов к внедрению новых, более увлекательных методик, способных поддерживать интерес к обучению у поколения Z. Проведенный на Филиппинах эксперимент показал, что использование специализированных мемов может положительно влиять на успеваемость учеников и их отношение к дисциплине.

17 января
Юлия Трепалина

Группа американских исследователей рассмотрела несколько десятков научных работ по теме родительского фаворитизма, чтобы разобраться в нюансах этого психологического явления и выяснить, как отношение родителей к детям связано с разными факторами, в том числе очередностью их рождения, возрастом, полом и чертами личности.

13 января
Юлия Трепалина

Многие предпочитают вступать в романтические отношения с людьми примерно своего возраста, но есть и пары с существенной возрастной разницей. Международная группа ученых недавно на крупной выборке людей проследила за изменениями возраста партнеров на старте отношений в разные годы жизни.

14 января
Елизавета Александрова

По распространению сейсмических волн в недрах Земли геологи словно «сканируют» планету и обнаруживают все больше интересных особенностей ее внутреннего строения. Недавно очередное такое исследование заставило ученых особенно внимательно рассмотреть то, что скрывается под Тихоокеанской литосферной плитой.

27.12.2024
ФизТех

Ученые из Троицкого института инновационных и термоядерных исследований, МФТИ и МЭИ совершили значительный прорыв в области защиты материалов от экстремальных тепловых нагрузок, характерных для условий управляемого термоядерного синтеза.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно