• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
20.07.2021
Сколтех
44
3 871

Нейросети отфильтруют «неуместные» высказывания чат-ботов

4.3

Исследователи из Сколтеха и МТС предложили научный подход к определению «неуместных» текстовых сообщений, представили корпус таких сообщений и нейросеть, обученную их находить. В числе возможных применений — предотвращение репутационного ущерба владельцам чат-ботов, модерация сообщений на форумах и родительский контроль.

Нейросети отфильтруют «неуместные» высказывания чат-ботов / ©Павел Одинев / Сколтех


Научная статья опубликована в сборнике Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing. Чат-боты известны своей способностью находить самые неожиданные и творческие способы опозорить компанию, которая их использует. Вдохновленные образцами живой речи расистские твиты, подстрекательство к самоубийству и оправдание рабовладельческого строя — лишь некоторые примеры взаимодействия чат-ботов с темами, которые авторы исследования называют «чувствительными».

Чувствительные темы дают благодатную почву для неуважительной коммуникации. Хотя само по себе их обсуждение вполне приемлемо, оно со сравнительно высокой вероятностью может нанести вред репутации говорящего и потому требует особого внимания со стороны разработчиков чат-ботов. Авторы исследования сформировали список из 18 таких тем, в числе которых религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления. В основу перечня легли рекомендации специалистов МТС по правовым вопросам и связям с общественностью.

©Павел Одинев / Сколтех

Понятие чувствительной темы служит основой для определения неуместных высказываний. Таковыми авторы работы называют сообщения на чувствительную тему, которые способны скомпрометировать говорящего, даже не будучи токсичными. При этом потенциал репутационного вреда определяется респондентом.

«Неуместность — шаг за рамки хорошо изученного понятия токсичности. Эта более тонкая категория охватывает более широкий круг ситуаций, в которых существует риск для репутации владельца чат-бота. Представьте, например, чат-бота, который любезно обсуждает с пользователем „лучшие способы покончить с собой“. Здесь явно имеет место нежелательный контент, но нет и намека на токсичность», — поясняет руководитель исследования, старший преподаватель Сколтеха Александр Панченко.

Для обучения моделей обнаружению чувствительных тем и неуместных сообщений авторы исследования сформировали два корпуса текстов с разметкой в рамках масштабного краудсорсингового проекта. На первом этапе носителям русского языка предложили опознать высказывания на чувствительные темы (и конкретную тему каждого) среди прочих сообщений, взятых с сайтов «Двач» и «Ответы Mail.ru».

На полученном таким образом корпусе обучили нейросетевую модель, которая затем набрала еще примерно столько же чувствительных высказываний с тех же сайтов. Расширенный таким образом датасет по чувствительности послужил основой для получения датасета по неуместности.

«Процент неуместных высказываний в реальных текстах, как правило, невысок. Поэтому для экономии ресурсов на втором этапе мы показывали разметчикам не произвольные сообщения, а примеры из корпуса чувствительных тем. Ведь про них мы подозревали, что они могут оказаться неуместными», — рассказывает Варвара Логачева, соавтор исследования. Увидев каждое сообщение, респондент должен был ответить на вопрос, навредит ли оно репутации отправителя. По итогам этого второго опроса сформировался корпус неуместных сообщений, на котором обучили новую модель распознавать такие сообщения.

Общая схема сбора данных / ©Варвара Логачева / Сколтех

«Мы продемонстрировали, что, хотя чувствительность темы и неуместность сообщения — довольно тонкие понятия, завязанные на человеческой интуиции, они тем не менее поддаются детектированию нейросетями, — комментирует результаты исследования один из его авторов, Николай Бабаков (Сколтех).

— В частности, наш классификатор в 89% случаев угадал, какие высказывания являются неуместными по версии респондентов». Коллектив из Сколтеха и МТС выложил в открытый доступ модели для распознавания неуместности и чувствительности высказываний и оба датасета: 163 тысяч предложений с разметкой «уместно — неуместно» и 33 тысяч высказываний на чувствительные темы.

«Наши модели можно усовершенствовать за счет ансамблей или альтернативных архитектур, — добавляет Бабаков. — Один из интересных вариантов продолжения работы — распространить понятие уместности на другие языки. Чувствительность тем варьируется между разными культурами. У каждой культуры свое понимание неуместности, поэтому переход к другим языкам меняет ситуацию.

Кроме того, можно расширить список из 18 чувствительных тем — мы не считаем его исчерпывающим». Результаты исследования были представлены на XVI Конференции европейского подразделения Ассоциации компьютерной лингвистики (EACL 2021).

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
23 сентября
Алиса Гаджиева

Ученые обнаружили, что древняя медная промышленность Израильского царства была организована так, что в итоге в ее центре не осталось ни растений, ни самой промышленности.

9 часов назад
Анна Новиковская

У бумажных ос, как и у некоторых других общественных насекомых, есть рабочие особи и царица, чья единственная задача — принесение потомства. Если удалить царицу из гнезда, одна из оставшихся ос займет освободившееся место, но почему же тогда в присутствии царицы осы не «бунтуют» и не пытаются занять ее место? Ответ оказался удивительно простым.

2 часа назад
Сергей Васильев

Несмотря на тусклое Солнце, атмосфера Юпитера раскаляется до сотен градусов благодаря не стихающим полярным сияниям. Волны аномальной жары быстро уносят тепло дальше к экватору.

23 сентября
Алиса Гаджиева

Ученые обнаружили, что древняя медная промышленность Израильского царства была организована так, что в итоге в ее центре не осталось ни растений, ни самой промышленности.

23 сентября
Анна Новиковская

За последние 50 лет на Аляске образовалось несколько новых термокарстовых озер, чья поверхность пузырится, выделяя в атмосферу метан — мощный парниковый газ. Поскольку такие озера образовались в результате таяния вечной мерзлоты, в ближайшем будущем их может стать еще больше.

23 сентября
Александр Березин

В инфопространство «утекло» нечто очень похожее на документ стратегического исследовательского центра RAND, адресованный в том числе ЦРУ. Автор этого документа утверждает, что конфликт на Украине полезен для Штатов, поскольку позволяет им «раздеть» своих экономических конкурентов — Германию и Францию, — попутно перекачав капитал из еврозоны в США. Действительно ли Вашингтону выгодны крупные финансово-экономические потери еврозоны, связанные с российско-украинским конфликтом? И если это так, то что это значит для России?

16 сентября
Алиса Гаджиева

Геродот в своей «Истории» утверждал, что блоки для пирамиды Хеопса и соседних пирамид доставляли по воде. Но сегодня от Нила до пирамид слишком далеко. Исследование кернов, взятых в пойме реки, позволило понять, как именно решался сложнейший вопрос транспортировки такого строительного материала.

15 сентября
Никита Логинов

Светодиоды потребляют намного меньше энергии, чем традиционные газоразрядные лампы, что должно сократить парниковые выбросы. Но при этом светодиодное освещение угрожает здоровью жителей и разрушает местные экосистемы в городах и селах.

26 августа
Алиса Гаджиева

Ученые предложили объяснение давней загадке: почему у жителей Азии неандертальских генов больше, чем у европейцев.

[miniorange_social_login]

Комментарии

44 Комментариев

22.07.2021
-
0
+
Цензура в ее проявлении.
20.07.2021
-
0
+
Ну если исходить из того, что культура - это принятая модель поведения здесь и сейчас, то совсем необязательно проблема может быть в языках. Даже на разных сайтах культура поведения различается.
20.07.2021
-
1
+
Какие забавные примеры в теме. В реальности чат-боты скучны до безобразия и не способны ответить на мало-мальски нестандартный запрос. Что до требований политкорректности так с ними порой не справляются и живые люди, куда уж там бедным алгоритмам.

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: