• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
9 июля
ТюмГУ
119

Ученые предложили эффективную модель для генерации ключевых слов в научном тексте

4.3

Исследователи Института проблем передачи информации имени А. А. Харкевича РАН и кафедры программного обеспечения Школы компьютерных наук ТюмГУ предложили подход к генерации ключевых слов для русскоязычных научных текстов с помощью модели mT5 (multilingual text-to-text transformer), дообученнной на материале текстового корпуса Keyphrases CS&Math Russian.

Ученые предложили эффективную модель для генерации ключевых слов в научном тексте / © Obi - @pixel8propix, unsplash.com

Ключевые слова – важный элемент научного текста. Их использование позволяет облегчить поиск статей, улучшить систематизацию научных текстов и резюмировать содержание статей для читателя.

Автоматизация подбора ключевых слов представляет собой актуальную задачу в условиях большого количества информационных ресурсов. Сегодня большинство методов подбора этой выборки протестировано на англоязычных текстовых корпусах, в то время как для анализа русскоязычных текстов используется достаточно узкий набор методов выделения ключевых слов.

Статья «Генерация ключевых слов для русскоязычных научных текстов с помощью модели mT5» ученых Анны Глазковой, Дмитрия Морозова, Марины Воробьевой и Андрея Ступникова вышла в журнале «Моделирование и анализ информационных систем».

Существует несколько подходов к подбору ключевых слов: извлечение их непосредственно из текста, подбор из заранее определенного перечня тематики или рубрики, генерация на основе семантики текста путем его обобщения и перефразирования. В последнем случае задача подбора ключевых слов схожа с задачей автоматического абстрактного реферирования текстов.

Большая часть широко используемых подходов к извлечению этих слов основана на выделении из текста наиболее значимых слов и словосочетаний по принципу обучения без учителя (unsupervised learning). К таким подходам относятся, в частности, статистические алгоритмы, такие как YAKE! и KP-Miner, графовые (TopicRank, TextRank) и ряд алгоритмов, основанных на применении методов машинного обучения и современных лингвистических моделей (KEA, KeyBERT).

Несмотря на впечатляющие результаты для ряда текстовых корпусов, алгоритмы, основанные на извлечении ключевых слов, обладают некоторыми ограничениями. В частности, они не способны определять количество этих слов автоматически и генерировать слова, отсутствующие в тексте в явном виде.

На практике же списки ключевых слов обычно включают в себя как слова и словосочетания, встречающиеся в тексте непосредственно, так и слова, семантически связанные с содержанием текста, но не упомянутые в нем явно. Данные ограничения могут быть преодолены при помощи нейросетевых моделей, в том числе современных лингвистических моделей для генерации текстов.

Ученые пытались преодолеть пробел в использовании современных лингвистических моделей для генерации ключевых слов для русскоязычных научных текстов. В статье представлены результаты экспериментов по генерации списка ключевых слов как последовательности токенов (единиц учета) на примере модели mT5.

Выбор модели обусловлен ее широким использованием для автоматического реферирования и, в частности, для реферирования русскоязычных текстов. Результаты сравниваются с результатами ряда широко используемых методов извлечения ключевых слов.

Среди преимуществ генерации ключевых слов с помощью предобученной лингвистической модели можно назвать отсутствие необходимости проводить нормализацию и задавать ограничения на количество и длину ключевых слов, возможность генерировать те слова, которые не упомянуты в исходном тексте в явном виде.

С другой стороны, указанные свойства могут быть также ограничениями указанного подхода. Дообучение рассмотренной модели требует наличия обучающей выборки и, вероятно, дообученная модель ограниченно пригодна для генерации ключевых слов для текстов других предметных областей.

Кроме того, эффективность предложенного подхода и значения метрик зависят от специфики корпуса текстов, используемого для экспериментов. В рассмотренном корпусе доля ключевых слов, не встречающих в тексте в явном виде, составляет 53.17 процента и 54.8 процента для обучающей и тестовой выборок соответственно.

Поскольку подходы, осуществляющие извлечение, а не генерацию ключевых слов, не способны генерировать слова данного типа, модели генерации текста, подобные mT5, имеют преимущество на таких корпусах. Работа выполнена в рамках проекта, поддержанного грантом Президента России для молодых ученых — кандидатов наук.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Тюменский государственный университет (ТюмГУ) — первый университет Тюменской области, был открыт в 1930 году. Готовит специалистов по 175 направлениям подготовки. Университет входит в число участников Проекта 5-100 — программы повышения международной конкурентоспособности российских вузов среди ведущих мировых научно-образовательных центров.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
Позавчера, 20:04
Юлия Трепалина

Для профилактики алкоголизма среди молодежи важно не только понимать, что побуждает употреблять спиртное, но и знать, почему молодые люди могут отказываться от выпивки. Более десятка таких причин в недавнем исследовании привели ученые из Соединенных Штатов. Комплексный учет мотивов позволит предупреждать развитие пагубной привычки, отметили специалисты.

Вчера, 11:39
Александр Березин

Традиционное представление о роли человека в земных экосистемах известно: он нарушает их нормальную работу и снижает биоразнообразие. Однако первая попытка изучить следы пыльцы за последние 12 тысяч лет принесла скорее противоположные данные — как минимум для континентов, полностью расположенных в Северном полушарии.

Вчера, 17:59
Татьяна

Аппарат «Кассини», работавший на орбите Сатурна с 2004 по 2017 год, детально картировал его крупнейший спутник — Титан. Выяснилось, что ближе к полярным областям на поверхности есть моря и озера с жидкими углеводородами, куда впадают пополняемые атмосферными осадками реки. По мере изучения этой информации у исследователей возникло все больше вопросов. Каков состав жидкости и что определило очертания береговых линий? Воспользовавшись данными радарной съемки, американские ученые уточнили состав морей Кракена, Лигеи и Пунги и описали свойства их поверхностей.

Позавчера, 18:00
Александр Березин

Авторы нового исследования впервые показали, что круглые провалы в лунной поверхности не просто близки к многокилометровым пещерам на естественном спутнике Земли, но и располагают тоннелями, ведущими в глубину.

12 июля
Александр Березин

Falcon 9 Block 5 впервые за три сотни запусков дал частично неудачный полет. Ракета выводила 20 спутников компании SpaceX, с 15 связь уже пропала, еще пять могут быть потеряны в ближайшее время.

13 июля
Татьяна

Все клеточные организмы ученые ведут от гипотетического предка — LUCA. Существует масса предположений и расчетов о том, как он был устроен, где и когда возник. В новой работе исследователи из Великобритании попытались ответить на эти вопросы.

25 июня
Игорь Байдов

Ученые из Китая и Бельгии воссоздали в лаборатории условия, существовавшие на Меркурии четыре миллиарда лет назад, и выяснили, что они были идеальными для образования слоя алмазов, который с течением времени становился лишь толще.

21 июня
Nadya

Земля начала формироваться примерно 4,5 миллиарда лет назад. Чтобы понять, как это происходило в ранние периоды развития нашей планеты, ученые ищут образцы древних горных пород. Одну из таких, возрастом почти 3,5 миллиарда лет, обнаружили рядом с городом Колли в Австралии.

1 июля
Александр Березин

Необычный биологический вид, по оценке авторов новой научной работы, пригоден для заселения четвертой планеты без каких-либо предварительных условий — уже в том виде, в котором он существует сейчас. Поскольку речь идет о фотосинтетическом организме, он способен нарабатывать существенное количество кислорода. Интересно, что кандидат на терраформирование Марса сохранил жизнеспособность после месяца в жидком азоте.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно