В МТУСИ классифицировали научные статьи с помощью многомерного статистического анализа
Ученые МТУСИ применили современные методы многомерного статистического анализа и NLP для классификации научных публикаций на основе аннотаций. Полученные результаты могут служить основой для разработки автоматизированных систем, способных эффективно обрабатывать большие объемы научной информации, что особенно актуально в условиях стремительного роста числа публикаций и необходимости их систематизации.
Обработка естественного языка, или NLP, — ключевой раздел науки о данных, популярный в промышленности и академических кругах. С развитием NLP растет количество докладов на конференциях и статей в научных журналах, что усложняет поиск нужной информации.
Классификация и выявление тематик в научных публикациях важны для нормализации цитирований и построения журнальных метрик, таких как квартили. В стандартных наукометрических инструментах, таких как Web of Science и Scopus, классификации присваиваются редакторами баз журналам, а публикации в этих источниках приписываются к этим же тематикам. Полноценная классификация на уровне отдельных статей существует только для мультидисциплинарных журналов, а наборы тематик устарели и почти не меняются.
Современные методы выявления тематик основываются на анализе ключевых слов и фраз, извлекаемых из названий, аннотаций и текстов статей, а также на анализе цитирований. Эти методы автоматизированы и способны обрабатывать большие объемы данных, но есть проблема с объективностью результатов, так как ключевые слова выделяет автор. Часто можно встретить набор ключевых слов, не отражающий содержание работы, к примеру: «artificial intelligence, intelligent systems, machine learning» и так далее.
В связи с этим возникла необходимость в применении универсальной методики с использованием современных алгоритмов кластеризации, которая может значительно улучшить понимание и интерпретацию научной литературы.
Владислав Головченко, бакалавр МТУСИ, под руководством доцента кафедры ТВиПМ, кандидата физико-математических наук Ирины Синевой применили современные методы многомерного статистического анализа и NLP для классификации научных публикаций на основе аннотаций.
Для более глубокого изучения текстов была применена комбинация известных подходов, но с аутентичными настройками и использованием более мощных вычислительных ресурсов. В качестве основы для анализа был взят набор публикаций с конференции Twenty-Eighth Conference on Artificial Intelligence, включающий 1406 статей. Из них 398 (28,3 процента) были приняты к публикации, что составило 3282 страницы текста, объединенных общей тематикой — искусственный интеллект. Для классификации этого массива данных были выбраны метод k-means и иерархический агломеративный алгоритм.
«Важный этап работы с датасетом – предобработка данных, включающая очистку (удаление знаков препинания, стоп-слов), токенизацию, векторизацию. Мы удалили все знаки препинания и лишние слова, а затем токенизировали текст — преобразовали его в набор слов, каждый из которых стал отдельным символом. Этот процесс известен как векторизация. Для классификации мы использовали алгоритмы k-means и иерархический на основе метода Уорда. Количество групп, которые мы определили, было основано на анализе метода силуэта (Silhouette).
Датасет включал информацию на английском языке: название работы, авторов, секцию конференции, ключевые слова, тематику и аннотацию (от 1500 знаков). На этапе отбора и предобработки мы обнаружили некоторые недостатки: дисбаланс между группами данных и пропуски знаков препинания. В частности, у двух статей отсутствовал атрибут group, а у шести — topic. Однако мы решили не учитывать эти недочеты в анализе. Частотный подход к анализу текстов, основанный на законе Ципфа-Мандельброта, ускорил процесс фильтрации и повысил эффективность. Для извлечения признаков использовался метод TF-IDF, который выделил значимые слова и определил вес каждого слова», — пояснила Ирина Синева.
Для оценки результатов при различных k использовался метод силуэта (Silhouette). Значение силуэта показывает, насколько объект соответствует своему классу и другим классам. Если многие объекты имеют низкие или отрицательные значения силуэта – в конфигурации слишком много или слишком мало классов. Этот подход позволяет обосновать число классов при обучении без учителя.
«Для нахождения количества классов были протестированы разные классификации, их сравнение проведено на основе силуэтов. Наилучшим результатом оказалось разбиение публикаций на 10 классов, для каждого класса обнаружены особенности контента. При этом было обнаружено, что распределение исходных разделов по генерализованным классам обладает рядом хороших свойств.
Агломеративный иерархический анализ на базе метода Уорда с квадратичной функцией потерь подтвердил, что массив аннотаций конференции AAAI-14 логичнее и эффективнее относить к 10 классам. Для проверки этой гипотезы о количестве классов было проведено сравнение результатов кластеризации при k=10 и k=15. Результаты показали, что при k=10 классы более сбалансированы и не перекрываются, что подтверждает предположение о количестве классов», — рассказал Владислав Головченко.
Методы, такие как k-means и агломеративный иерархический анализ, основанный на методе Уорда, продемонстрировали высокую точность и детализацию в классификации текстов с одинаковой тематикой. Исследование показало, что полученные классы носят контекстно-осмысленный характер, они легко различимы на основе наиболее часто используемых терминов. Были также выделены некоторые самостоятельные классы, связанные с изображениями, компьютерным зрением, теорией игр, экономикой, планированием, новыми алгоритмами.
В ходе исследования установлено, что математические алгоритмы, основанные на законе Ципфа-Мандельброта, а также их взвешенные модификации, обеспечивают более точное выявление терминологических особенностей и сравнение публикаций, особенно в научных статьях, где терминологическая классификация неоднозначна.
Ученые отмечают, что использование аннотаций научных работ вместо полных текстов показало свою оправданность с точки зрения экономии вычислительных ресурсов и времени, обеспечивая при этом адекватную точность классификации. Дальнейшие исследования могут быть направлены на использование полных текстов и более мощных вычислительных ресурсов, что позволит более точно идентифицировать смысловые компоненты и классифицировать научные публикации.
Исследование демонстрирует перспективность применения методов статистической обработки и их модификаций в задаче классификации научных текстов. Полученные результаты могут служить основой для разработки автоматизированных систем, способных эффективно обрабатывать большие объемы научной информации, что особенно актуально в условиях стремительного роста числа публикаций и необходимости их систематизации.
Telegram 
Дзен 
VK Сотрудники Центра языка и мозга НИУ ВШЭ приняли участие в редкой для детской нейрохирургии операции с пробуждением у 11-летнего пациента с фармакорезистентной эпилепсией. Совместно с врачами НПЦ специализированной медицинской помощи детям имени В.Ф. Войно-Ясенецкого в Солнцево они сопровождали удаление участка левой височной доли, где был выявлен эпилептический очаг.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Анализ ДНК и изотопный анализ зубов показали, что мужчина генетически был связан с саамскими популяциями, но часть жизни провел за пределами Финляндии — возможно, в Исландии. Авторы нового исследования пришли к выводу, что на рубеже XVI-XVII веков саамские сообщества не были изолированы, как предполагали многие исследователи. Люди путешествовали на далекие расстояния и поддерживали контакты с дальними регионами Северной Атлантики.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Последние несколько лет по всему миру выходит множество работ о том, что микрочастицы искусственных полимеров накапливаются в тканях человека и могут быть небезопасны. Мы решили обратиться к академику Алексею Хохлову, чтобы дать трибуну противоположной точке зрения. Выбор между ними предлагаем сделать читателю.
Ученые РГУ нефти и газа (НИУ) имени И. М. Губкина предложили подход к отбору малодебетных нефтегазовых месторождений, которые составляют около 88% нераспределенного фонда нефтяных участков. Модель расчета поможет вовлечь в экономический оборот от 400 до 600 миллионов тонн ранее нерентабельных запасов.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно