Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В НИУ ВШЭ научили нейросети распознавать юмор по-человечески
Группа ученых факультета компьютерных наук НИУ ВШЭ провела исследование способности нейросетей распознавать юмор. Выяснилось, что для более надежного распознавания следует изменить подход к созданию наборов данных, на которых обучаются нейросети.
Доклад на основе исследования был представлен на одной из важнейших мировых конференций по теме обработки естественного языка — EMNLP 2023. Текст статьи доступен по ссылке.
Сегодня голосовые помощники могут только рассказать готовый анекдот, придумать же свой или распознать шутливый тон они не в состоянии. При этом пользователи голосовых помощников, созданных на основе технологии искусственного интеллекта, хотят от них большей человечности — способности распознать шутку и пошутить.
С середины 2000-х годов ученые занимаются распознаванием юмора как задачей классификации «смешно — не смешно», в этой же рамке собираются и размечаются датасеты (набор данных). Группа ученых из ВШЭ предложила изменить подходы к формированию таких датасетов — сделать их более разнообразными, причем наборы данных не обязательно должны быть очень большими.
Задача распознавания юмора сложна еще и потому, что отсутствуют формальные критерии для определения того, что смешно, а что нет. Сейчас большинство датасетов для обучения и оценки моделей распознавания юмора содержат каламбуры (puns). Сарказм и ирония еще более сложны, как и ситуативный юмор, требующий знания контекста или культурного кода.
«Мы хотели оценить переносимость и устойчивость моделей, обученных на разных датасетах. Переносимость — это то, насколько обученная на датасете с одним типом юмора модель хорошо определяет другой тип юмора. Было совсем не очевидно, как будет работать обучение, потому что юмор бывает разным», — рассказывает доцент факультета компьютерных наук НИУ ВШЭ Павел Браславский.
Устойчивость же ученые проверяли «состязательными атаками» — попытками заставить нейросеть увидеть юмор там, где его нет. Нейросеть получала несмешной, но формально похожий на юмористический текст — вместо каламбура в диалоге использовалось «неправильное» созвучное слово. Чем меньше сеть попадается в такие ловушки, тем она более устойчива.
Исследователи обучали модели на стандартных датасетах для распознавания юмора и на их смесях. Кроме того, модели проходили проверку диалогами из «Алисы в Стране чудес» Льюиса Кэрролла, «Лавки древностей» Чарльза Диккенса, «Троих в лодке, не считая собаки» Джерома К. Джерома, сериалов «Ходячие мертвецы», «Друзья» и коллекцией ироничных твитов.
Оказалось, что некоторые модели переобучаются и считают все смешным. «Мы показали разным моделям “Лавку древностей” Диккенса, а это очень грустная история, и попросили оценить происходящее. Выяснилось, что некоторые модели считают, что все диалоги из литературы XIX века смешные. И даже больше — все, что слишком непохоже на новости XXI века, принимается как юмор», — комментирует аспирант факультета компьютерных наук НИУ ВШЭ Александр Баранов.
Модели, натренированные на каламбурах, чаще ошибаются, если в несмешном тексте одно слово заменено на созвучное. Также выяснилось, что нейросети, натренированные на небольших частях разных датасетов, распознают юмор лучше, чем обученные на большом объеме однотипных данных. Авторы делают вывод, что существующие датасеты слишком узкие, юмор в каждом из них сильно ограничен, и это снижает качество распознавания шуток.
Исследователи предложили изменить подход к обучению и оценке моделей распознавания юмора. Нужны новые датасеты, более разнообразные и близкие к обычным разговорам, естественному общению. Большие языковые модели, например ChatGPT, обученные на огромных массивах данных разных типов, в среднем хорошо справляются с распознаванием юмора, и ученые предполагают, что дело именно в разнообразии данных, на которых они учились.
«Мы сейчас говорим только о бинарном распознавании юмора: смешно или не смешно. До определения оттенков юмора, различения сарказма и иронии, распознавания ситуативного, контекстуального юмора очень далеко. У наших голосовых помощников шутки пока “гвоздями приколочены” и обложены фильтрами, определяющими, какую шутку выдать в зависимости от слов пользователя. Такая запрограммированность ответов ощущается как неестественная. Запрос на большую человечность искусственного интеллекта абсолютно понятен, но удовлетворить его будет непросто», — говорит один из авторов исследования Владимир Княжевский, студент факультета компьютерных наук НИУ ВШЭ.
Исследование выполнено в рамках проекта Научно-учебной лаборатории моделей и методов вычислительной прагматики. Доклад на конференции в Сингапуре представлял аспирант факультета компьютерных наук НИУ ВШЭ Александр Баранов, его участие было профинансировано НИУ ВШЭ.
Telegram 
Дзен 
VK В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.
Ученые предложили новый способ оценки текущего темпа экспансии Вселенной с помощью едва уловимиого космического гравитационного «гула» от слияний неразличимых компактных объектов. Объединив данные наблюдений наземных интерферометров и статистику не выявленных сигналов, астрофизики получили уточненные ограничения параметра, вокруг которого разгорается один из самых острых споров в современной космологии.
Разное отношение домашних животных к хозяевам давно стало предметом споров, обсуждений и шуток. Ученые из Венгрии показали, что собаки демонстрируют по отношению к человеку уровень альтруизма, сходный с детским, тогда как кошки ищут в партнерстве с человеком прежде всего свою выгоду.
В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.
В мире оказалось гораздо больше диких пчел, чем кто-либо мог предположить. Ученые впервые оценили, сколько видов пчел существует на Земле, и обнаружили, что показатель превышает 26 тысяч — примерно на четверть больше, чем считалось.
Разное отношение домашних животных к хозяевам давно стало предметом споров, обсуждений и шуток. Ученые из Венгрии показали, что собаки демонстрируют по отношению к человеку уровень альтруизма, сходный с детским, тогда как кошки ищут в партнерстве с человеком прежде всего свою выгоду.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.
В той части Пиренеев, которые находятся на территории Испании, исследователи обнаружили первые доказательства добычи золота в эпоху Римской империи. На месте древних рудников нашли сложные гидравлические сооружения и остатки водохранилища, возраст которых определили с помощью метода оптического датирования. Открытие прольет свет на инженерные приемы римлян и поставит точку в многолетнем споре: действительно ли римляне добывали золото в этом регионе.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно