В Пермском Политехе сделают ответы чат-ботов более точными

Исследование было представлено в 2022 году на международной конференции European Semantic Web Conference в Греции и вызвало высокий интерес у представителей научного и профессионального сообщества, а прототип разработки вошел в тройку лучших демоверсий, по мнению жюри. Метод рекомендовали внедрить в существующие вопросно-ответные системы. Результаты работы ученые опубликовали в журнале The Semantic Web. ESWC 2022. Lecture Notes in Computer Science.

«Голосовые помощники, чат-боты, устройства на основе искусственного интеллекта и интернета вещей становятся неотъемлемой частью повседневной жизни. Но до сих пор существуют проблемы, связанные с качеством и точностью результатов, которые выдают вопросно-ответные системы. Низкий уровень достоверности информации вызывает негативное отношение к таким сервисам у общества, особенно у людей старшего поколения.

Давать компактные и правильные ответы на вопросы пользователей — сложная задача, поэтому мы повысили именно эти показатели с помощью нашей системы», – рассказывает одна из разработчиков, доцент кафедры иностранных языков и связей с общественностью Пермского Политеха, кандидат филологических наук, доцент Мария Ельцова.

В отличие от поисковых систем, которые предоставляют пользователю множество ответов, диалоговые интерфейсы должны выдавать только один ответ. Поэтому качество информации имеет решающее значение для широкого распространения таких устройств.

Почти все вопросно-ответные системы на основе баз или графов знаний работают по одинаковому принципу. Сначала в них поступает вопрос от пользователя. Затем формируются запросы на специальном языке, например, SPARQL, к базе данных, хранящей информацию в виде графа знаний (Knowledge Graph). После этого система выдает возможные варианты ответов, среди которых происходит выбор одного, как правило, случайным образом. При таком подходе точность результатов достаточно низка. Поэтому исследователи предложили еще на этапе генерации запросов исключать все неверные варианты с помощью их вербализации и валидации.

«Новый подход сокращает время на обработку запросов и показывает значительное улучшение качества ответов на вопросы. Для оценки нашего подхода мы использовали известную и признанную эталонной в научном сообществе вопросно-ответную систему «QAnswer». Нам удалось повысить точность ответов на 19,5 процентов, а показатель F1 – на 19,2 процента, что является очень весомым результатом», – отмечает исследовательница.

Использовать разработку можно будет в сфере искусственного интеллекта, интернета вещей и других областях, где применяют пользовательские интерфейсы на основе «общения» человека с компьютером. Новый метод также сможет улучшить качество работы поисковых систем, так как они будут выдавать больше релевантных запросов в начале. Уникальность метода состоит в том, что его можно применять к любой основанной на графе знаний системе. Результаты достигнуты на базе английского языка, в дальнейшем ученые планируют адаптировать разработку и для других языков.

ПНИПУ

877 статей

Пермский национальный исследовательский политехнический университет (национальный исследовательский, прошлые названия: Пермский политехнический институт, Пермский государственный технический университет) — технический ВУЗ Российской Федерации. Основан в 1960 году как Пермский политехнический институт (ППИ), в результате объединения Пермского горного института (организованного в 1953 году) с Вечерним машиностроительным институтом. В 1992 году ППИ в числе первых политехнических вузов России получил статус технического университета.

Показать больше