Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Нейросети отфильтруют «неуместные» высказывания чат-ботов
Исследователи из Сколтеха и МТС предложили научный подход к определению «неуместных» текстовых сообщений, представили корпус таких сообщений и нейросеть, обученную их находить. В числе возможных применений — предотвращение репутационного ущерба владельцам чат-ботов, модерация сообщений на форумах и родительский контроль.
Научная статья опубликована в сборнике Proceedings of the 8th Workshop on Balto-Slavic Natural Language Processing. Чат-боты известны своей способностью находить самые неожиданные и творческие способы опозорить компанию, которая их использует. Вдохновленные образцами живой речи расистские твиты, подстрекательство к самоубийству и оправдание рабовладельческого строя — лишь некоторые примеры взаимодействия чат-ботов с темами, которые авторы исследования называют «чувствительными».
Чувствительные темы дают благодатную почву для неуважительной коммуникации. Хотя само по себе их обсуждение вполне приемлемо, оно со сравнительно высокой вероятностью может нанести вред репутации говорящего и потому требует особого внимания со стороны разработчиков чат-ботов. Авторы исследования сформировали список из 18 таких тем, в числе которых религия, политика, сексуальные меньшинства, самоубийство, порнография и преступления. В основу перечня легли рекомендации специалистов МТС по правовым вопросам и связям с общественностью.
Понятие чувствительной темы служит основой для определения неуместных высказываний. Таковыми авторы работы называют сообщения на чувствительную тему, которые способны скомпрометировать говорящего, даже не будучи токсичными. При этом потенциал репутационного вреда определяется респондентом.
«Неуместность — шаг за рамки хорошо изученного понятия токсичности. Эта более тонкая категория охватывает более широкий круг ситуаций, в которых существует риск для репутации владельца чат-бота. Представьте, например, чат-бота, который любезно обсуждает с пользователем „лучшие способы покончить с собой“. Здесь явно имеет место нежелательный контент, но нет и намека на токсичность», — поясняет руководитель исследования, старший преподаватель Сколтеха Александр Панченко.
Для обучения моделей обнаружению чувствительных тем и неуместных сообщений авторы исследования сформировали два корпуса текстов с разметкой в рамках масштабного краудсорсингового проекта. На первом этапе носителям русского языка предложили опознать высказывания на чувствительные темы (и конкретную тему каждого) среди прочих сообщений, взятых с сайтов «Двач» и «Ответы Mail.ru».
На полученном таким образом корпусе обучили нейросетевую модель, которая затем набрала еще примерно столько же чувствительных высказываний с тех же сайтов. Расширенный таким образом датасет по чувствительности послужил основой для получения датасета по неуместности.
«Процент неуместных высказываний в реальных текстах, как правило, невысок. Поэтому для экономии ресурсов на втором этапе мы показывали разметчикам не произвольные сообщения, а примеры из корпуса чувствительных тем. Ведь про них мы подозревали, что они могут оказаться неуместными», — рассказывает Варвара Логачева, соавтор исследования. Увидев каждое сообщение, респондент должен был ответить на вопрос, навредит ли оно репутации отправителя. По итогам этого второго опроса сформировался корпус неуместных сообщений, на котором обучили новую модель распознавать такие сообщения.
«Мы продемонстрировали, что, хотя чувствительность темы и неуместность сообщения — довольно тонкие понятия, завязанные на человеческой интуиции, они тем не менее поддаются детектированию нейросетями, — комментирует результаты исследования один из его авторов, Николай Бабаков (Сколтех).
— В частности, наш классификатор в 89% случаев угадал, какие высказывания являются неуместными по версии респондентов». Коллектив из Сколтеха и МТС выложил в открытый доступ модели для распознавания неуместности и чувствительности высказываний и оба датасета: 163 тысяч предложений с разметкой «уместно — неуместно» и 33 тысяч высказываний на чувствительные темы.
«Наши модели можно усовершенствовать за счет ансамблей или альтернативных архитектур, — добавляет Бабаков. — Один из интересных вариантов продолжения работы — распространить понятие уместности на другие языки. Чувствительность тем варьируется между разными культурами. У каждой культуры свое понимание неуместности, поэтому переход к другим языкам меняет ситуацию.
Кроме того, можно расширить список из 18 чувствительных тем — мы не считаем его исчерпывающим». Результаты исследования были представлены на XVI Конференции европейского подразделения Ассоциации компьютерной лингвистики (EACL 2021).
Мытье рук после контакта с питомцами — это не просто гигиеническая мера, а важный шаг в поддержании здоровья как человека, так и четвероногого друга. Эксперт Пермского Политеха рассказал, какие виды глистов чаще всего передаются от животного, что за инфекция особенно опасна для беременных, можно ли заразиться бешенством без укуса, почему для нас вредны блохи кошек и собак и как отличить их от вшей, могут ли домашние любимцы подхватить от хозяев простуду и чем страшны кошачьи когти.
За последние 10 лет ученые наблюдали за необычным «поведением» красного сверхгиганта в соседней галактике. Сначала он становился ярче, потом принялся тускнеть, а теперь практически исчез. Причем никакого взрыва сверхновой, который в таких случаях бывает, астрономы не увидели.
Принято считать, что людям самыми красивыми кажутся женские тела, в которых соблюдается соотношение 0,7 между талией и бедрами. Однако немецкие ученые выяснили, что в ряде ситуаций этот критерий нельзя назвать решающим.
Проведенное в Швеции исследование не только подтвердило пользу сауны для хорошего самочувствия и настроения, но и показало, что для положительного эффекта нужно не так много посещений, как прежде указывалось в ряде статей финских авторов.
Археологи определили возраст памятника, который относили к раннему Средневековью, и выяснили, что люди облюбовали это место за четыре тысячи лет до легендарного короля.
В один и тот же момент древней истории Красной планеты произошли два противоречащих друг другу события: широкомасштабное замерзание марсианских вод и возникновение многочисленных новых водоемов. Теперь появилась версия, которая разрешает этот конфликт.
Под рыжим верхним слоем с виду обычного камня открылся целый калейдоскоп довольно неожиданных оттенков. Это особенно интересно с учетом того, где лежит камень — в марсианском кратере, который по всем признакам когда-то был озером.
Полторы тысячи лет назад климат в Северном полушарии резко изменился. В Дании так похолодало, что там стало невозможно заниматься сельским хозяйством. Авторы нового исследования считают, что именно этот период был прообразом Фимбульвинтера — зимы, предшествующей Рагнарёку.
Сейчас Япония привлекает людей со всего мира, но так было не всегда. На протяжение десяти тысяч лет архипелаг оставался изолированным от остального мира, пока туда не начали прибывать первые «мигранты» с континента. Это показал генетический анализ останков человека эпохи Яёй.
5 раз пытался комментарий написать со ссылкой на «Парламентскую газету»Как там сказано выше "пальцы бы тебе поотрубать" )) Да нет никакой политики просто движок глючит. А может ваши борцы с нежелательным контентом стараются.
The Golden Shield Project же в России внедряютКитайцы, когда им приспичивает, как-то обходят эту напасть. Россияне навряд ли глупее.
Там все уже приказано. Чуть выше давал Ивану ссылку на HabrВот только у вас в голове она перевернулось. Разумеется тестирование _работоспособности_ интернета проводилось на случай внешнего отключения. Вполне ожидаемая угроза в свете ваших скакалок "требуем отключить Россию от..." К примеру сейчаc Украина усиленно продавливает отключение России от SWIFT. Что конечно будет весьма неприятно, но отнюдь не катастрофа как думают ваши кравчуки и тарасы
Россияне умнее как раз.Задорный так сказал?
5 раз пытался комментарий написать со ссылкой на «Парламентскую газету»Как там сказано выше "пальцы бы тебе поотрубать" )) Да нет никакой политики просто движок глючит. А может ваши борцы с нежелательным контентом стараются.
Комментарии