В НИУ ВШЭ научили нейросети распознавать юмор по-человечески
Группа ученых факультета компьютерных наук НИУ ВШЭ провела исследование способности нейросетей распознавать юмор. Выяснилось, что для более надежного распознавания следует изменить подход к созданию наборов данных, на которых обучаются нейросети.
Доклад на основе исследования был представлен на одной из важнейших мировых конференций по теме обработки естественного языка — EMNLP 2023. Текст статьи доступен по ссылке.
Сегодня голосовые помощники могут только рассказать готовый анекдот, придумать же свой или распознать шутливый тон они не в состоянии. При этом пользователи голосовых помощников, созданных на основе технологии искусственного интеллекта, хотят от них большей человечности — способности распознать шутку и пошутить.
С середины 2000-х годов ученые занимаются распознаванием юмора как задачей классификации «смешно — не смешно», в этой же рамке собираются и размечаются датасеты (набор данных). Группа ученых из ВШЭ предложила изменить подходы к формированию таких датасетов — сделать их более разнообразными, причем наборы данных не обязательно должны быть очень большими.
Задача распознавания юмора сложна еще и потому, что отсутствуют формальные критерии для определения того, что смешно, а что нет. Сейчас большинство датасетов для обучения и оценки моделей распознавания юмора содержат каламбуры (puns). Сарказм и ирония еще более сложны, как и ситуативный юмор, требующий знания контекста или культурного кода.
«Мы хотели оценить переносимость и устойчивость моделей, обученных на разных датасетах. Переносимость — это то, насколько обученная на датасете с одним типом юмора модель хорошо определяет другой тип юмора. Было совсем не очевидно, как будет работать обучение, потому что юмор бывает разным», — рассказывает доцент факультета компьютерных наук НИУ ВШЭ Павел Браславский.
Устойчивость же ученые проверяли «состязательными атаками» — попытками заставить нейросеть увидеть юмор там, где его нет. Нейросеть получала несмешной, но формально похожий на юмористический текст — вместо каламбура в диалоге использовалось «неправильное» созвучное слово. Чем меньше сеть попадается в такие ловушки, тем она более устойчива.
Исследователи обучали модели на стандартных датасетах для распознавания юмора и на их смесях. Кроме того, модели проходили проверку диалогами из «Алисы в Стране чудес» Льюиса Кэрролла, «Лавки древностей» Чарльза Диккенса, «Троих в лодке, не считая собаки» Джерома К. Джерома, сериалов «Ходячие мертвецы», «Друзья» и коллекцией ироничных твитов.
Оказалось, что некоторые модели переобучаются и считают все смешным. «Мы показали разным моделям “Лавку древностей” Диккенса, а это очень грустная история, и попросили оценить происходящее. Выяснилось, что некоторые модели считают, что все диалоги из литературы XIX века смешные. И даже больше — все, что слишком непохоже на новости XXI века, принимается как юмор», — комментирует аспирант факультета компьютерных наук НИУ ВШЭ Александр Баранов.
Модели, натренированные на каламбурах, чаще ошибаются, если в несмешном тексте одно слово заменено на созвучное. Также выяснилось, что нейросети, натренированные на небольших частях разных датасетов, распознают юмор лучше, чем обученные на большом объеме однотипных данных. Авторы делают вывод, что существующие датасеты слишком узкие, юмор в каждом из них сильно ограничен, и это снижает качество распознавания шуток.
Исследователи предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, например ChatGPT, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились.
«Мы сейчас говорим только о бинарном распознавании юмора: смешно или не смешно. До определения оттенков юмора, различения сарказма и иронии, распознавания ситуативного, контекстуального юмора очень далеко. У наших голосовых помощников шутки пока “гвоздями приколочены” и обложены фильтрами, определяющими, какую шутку выдать в зависимости от слов пользователя. Такая запрограммированность ответов ощущается как неестественная. Запрос на большую человечность искусственного интеллекта абсолютно понятен, но удовлетворить его будет непросто», — говорит один из авторов исследования Владимир Княжевский, студент факультета компьютерных наук НИУ ВШЭ.
Исследование выполнено в рамках проекта Научно-учебной лаборатории моделей и методов вычислительной прагматики. Доклад на конференции в Сингапуре представлял аспирант факультета компьютерных наук НИУ ВШЭ Александр Баранов, его участие было профинансировано НИУ ВШЭ.
Telegram 
Дзен 
VK Дистанционное зондирование из космоса выявило 280 гигантских каменных кругов, разбросанных по пустыне Атбай в Судане. Исследователи пришли к выводу, что это погребальные сооружения, оставленные исчезнувшей культурой скотоводов. Эти люди пасли здесь стада в четвертом-третьем тысячелетии до нашей эры, когда климат в пустыне был более влажным.
Авторы нового исследования выяснили, почему летающие насекомые так не любят чеснок: в нем содержится органическое вещество, подавляющее процесс спаривания и откладывания яиц. Причем мух и комаров отпугивает не запах, а вкус чеснока, поскольку это соединение особым образом воздействует на вкусовые рецепторы.
Одни из самых таинственных явлений во Вселенной — мощные голубые вспышки — появляются внезапно, сияют почти как целые галактики и исчезают за считаные дни. Теперь астрономы, похоже, впервые приблизились к разгадке их происхождения: такие события могут возникать при слиянии нейтронной звезды или черной дыры с массивной звездой Вольфа — Райе.
Нейробиологи СПбГУ продемонстрировали, что активация рецептора следовых аминов TAAR1 эффективно подавляет агрессивное поведение, вызванное полным отсутствием серотонина в мозге. В дальнейшем этот результат поможет в разработке лекарственных препаратов, направленных на коррекцию патологических форм агрессии, возникающих при посттравматическом стрессовом расстройстве (ПТСР) и шизофрении.
Крупные травоядные утконосые майазавры известны своим развитым социальным поведением. Они жили семьями и строили гнезда для своих детенышей. Даже название вида переводится с греческого языка как «ящер — хорошая мать». Исследование окаменелых зубов майазавров показало, что они выращивали детенышей совсем не так, как это считалось типичным для животных глубокой древности.
Астрономы впервые использовали гравитационные волны, чтобы косвенно оценить параметры одного из ключевых процессов термоядерного горения в массивных светилах. Именно от него зависит, какие звезды взрываются, какие превращаются в черные дыры и как во Вселенной появляются углерод и кислород — элементы, без которых не было бы ни планет, ни жизни.
В последнее время пуски с российских северных космодромов осуществляют без предварительного уведомления, чего не было в прошлом. Вероятно, дело в недавно упомянутых главой «Роскосмоса» атаках на Плесецк во время пуска. Сегодняшний запуск обеспечил вывод на орбиту космических аппаратов военного назначения.
Химические связи в материале, из которого сделана электроника, разрываются не из-за накопительного износа от протекания тока через них, а из-за электронов с конкретной энергией.
Термоядерные электростанции не смогут конкурировать по цене с возобновляемыми источниками энергии из-за медленного удешевления технологии. По расчетам, расходы на каждую новую установку падали максимум на 8% — много раз ниже ранних ожиданий венчурных инвесторов. Это перечеркивает экономический смысл финансовых вливаний, и мир может никогда не увидеть дешевой термоядерной энергии.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно