Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В НИУ ВШЭ предложили модель, которая лучше других определяет тематику текстов
Тематические модели — алгоритмы машинного обучения, способные сортировать большие объемы текстов по темам. Исследователи из НИУ ВШЭ в Санкт-Петербурге сравнили пять тематических моделей и определили, какие из них работают лучше. Наименьшее число ошибок показали две модели, одна из которых, GLDAW, — разработка Лаборатории социальной и когнитивной информатики НИУ ВШЭ в Санкт-Петербурге.
Статья опубликована в журнале PeerJ Computer Science. Подробнее — в материале IQ.HSE. Человеческому мозгу обычно нетрудно определить тему публикации. К примеру, к этой статье любой редактор с легкостью поставит теги «наука» и «машинное обучение», однако процесс сортировки информации человеком занимает много времени, что становится критичным при большом ее объеме. Современный компьютер может сделать это гораздо быстрее, но для этого нужно решить сложную задачу — выявить смысл документов по их содержимому и классифицировать их.
Этим занимается тематическое моделирование — область алгоритмов машинного обучения, которая направлена на сортировку текстов по темам. Оно используется для облегчения поиска информации, анализа масс-медиа, определения тематики сообществ в социальных сетях, выявления трендов в научных публикациях и решения прочих задач. К примеру, с помощью анализа финансовых новостей можно точнее предсказывать объем торгов на бирже, на который значительно влияют высказывания политиков, события в экономической сфере.
Работа с тематическими моделями выглядит так: алгоритм получает на входе коллекцию текстовых документов. На выходе каждому документу выдается оценка степени принадлежности какой-то теме. Эти оценки основываются на частоте употребления слов и связях между словами и предложениями. Так, встречающиеся в этом тексте слова «ученые», «лаборатория», «анализ», «исследовали», «алгоритмы» позволяют отнести его к теме «наука».
Однако многие слова встречаются в текстах на разные темы, например, слово «работа» часто употребляют в текстах про промышленное производство или рынок труда. Употребление этого слова в сочетании «научная работа» позволяет отнести текст к категории «наука». Такие взаимосвязи, выраженные математически с помощью матриц вероятностей, лежат в основе работы алгоритмов.
Улучшить качество работы тематических моделей можно за счет эмбедингов (векторов чисел фиксированной длины, которые описывают некую сущность по ряду параметров), которые выступают в качестве дополнительной информации, обученной на миллионах текстов.
Ученые Лаборатории социальной и когнитивной информатики НИУ ВШЭ в Санкт-Петербурге исследовали пять тематических моделей: ETM, GLDAW, GSM, WTM-GMM и W-LDA, которые основаны на разных математических принципах.
• ETM — модель авторитетного математика Дэвида Блея, одного из родоначальников направления тематического моделирования в машинном обучении. Его модель базируется на методе латентного размещения Дирихле и вариационном принципе расчета матриц вероятностей в сочетании с эмбедингами.
• Две модели — GSM, WTM-GMM — нейросетевые тематические модели.
• W-LDA реализована на основе процедуры сэмплирования Гиббса с учетом эмбедингов, но, как и в модели Блея, там используется распределение Дирихле.
• GLDAW в процессе определения принадлежности слов к темам опирается на большую коллекцию эмбедингов.
Для эффективной работы любой тематической модели необходимо определить, на сколько категорий, или кластеров, нужно разбить информационный поток. Это дополнительная сложная задача при настройке алгоритмов.
«Человеку обычно заранее не известно, сколько тем присутствует в информационном потоке, поэтому задачу определения числа тем надо переложить на машину. Для этого мы предложили измерять определенную величину информации как противоположную от хаоса. Если хаоса много, то информации мало, и наоборот. Это позволяет оценивать число кластеров, или в данном случае тем, присущих датасету. Эти принципы мы применили в модели GLDAW», — пояснил Сергей Кольцов, первый автор статьи, ведущий научный сотрудник Лаборатории социальной и когнитивной информатики НИУ ВШЭ в Санкт-Петербурге.
Исследователи протестировали модели по показателям стабильности (количеству ошибок), когерентности (определению связности) и энтропии Реньи (определению уровня хаоса). Качество работы алгоритмов испытывали на трех датасетах: материалах русскоязычного новостного ресурса Lenta.ru и двух англоязычных датасетах — 20 Newsgroups и WoS. Такой выбор был связан с тем, что в этих источниках всем текстам изначально были присвоены теги, что позволяло оценить работу алгоритмов по выявлению тем.
Эксперимент показал, что модель ETM — лучшая по когерентности для датасетов Lenta.ru и 20 Newsgroups, в то время как модель GLDAW заняла первое место для датасета WoS. Кроме того, GLDAW наиболее стабильна среди всех протестированных моделей, хорошо определяет оптимальное количество тем и эффективно работает с небольшими текстами, типичными для социальных сетей.
«Мы улучшили работу алгоритма GLDAW за счет использования большой коллекции внешних эмбеддингов, собранной на основе миллионов документов. Это позволило точнее определять семантическую связность между словами и, соответственно, точнее группировать тексты», — рассказал Сергей Кольцов.
Модели GSM, WTM-GMM и W-LDA продемонстрировали более низкие результаты, чем модели ETM и GLDAW, по всем трем показателям. Для исследователей это стало неожиданностью, поскольку считается, что модели на основе нейронных сетей во многом превосходят другие виды моделей в машинном обучении. Причины их неэффективности в тематическом моделировании ученым еще предстоит выяснить.
Telegram 
Дзен 
VK Арахнологи описали новый вид пауков, который копирует облик мертвой особи, пораженной паразитическим грибом, чтобы хищники меньше обращали на него внимание. В природе такой гриб заражает хозяина и воздействует на его нервную систему, после чего заставляет подниматься на возвышенность, откуда легче распространять споры. Открытие расширит представления ученых о мимикрии у животных.
Нанопластика становится все больше в диете среднего человека, но ученые ищут способы не дать ему переместиться из еды в организм навсегда. Оказалось, что источником защиты может стать квашеная капуста.
Масштабное 10-летнее исследование, проведенное учеными Института стоматологии имени Е.В. Боровского Сеченовского Университета, помогло найти способ значительно повысить успех дентальной имплантации. Ключом оказался системный контроль уровня витамина D в крови пациентов, готовящихся к этой процедуре, и коррекция его дефицита под наблюдением эндокринолога. Такой междисциплинарный подход позволяет достичь успеха в 97,4% случаев имплантации.
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Арахнологи описали новый вид пауков, который копирует облик мертвой особи, пораженной паразитическим грибом, чтобы хищники меньше обращали на него внимание. В природе такой гриб заражает хозяина и воздействует на его нервную систему, после чего заставляет подниматься на возвышенность, откуда легче распространять споры. Открытие расширит представления ученых о мимикрии у животных.
20 марта Московскому авиационному институту исполняется 96 лет. За эти годы университет прошел большой путь становления, и во многом его развитие определяли люди, посвятившие себя науке и подготовке инженерных кадров. Один из таких — выдающийся ученый, заслуженный работник высшей школы Российской Федерации, доктор технических наук, профессор Борис Семенович Зечихин. Более 70 лет его жизнь неразрывно связана с кафедрой 310 «Электроэнергетические, электромеханические и биотехнические системы» и НИО-310 МАИ. Научная и педагогическая работа Бориса Семеновича получила широкое признание в России и за рубежом, а его вклад в развитие электромеханических специальностей и подготовку инженерных кадров оказал существенное влияние на отечественную авиационную и электротехническую промышленность. Сегодня Борис Семенович продолжает свою работу, участвует в проектах по созданию электрических и гибридных силовых установок, передает опыт и знания молодым специалистам в рамках развития Передовой инженерной школы и всего МАИ в целом.
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.
За 10 лет лежания в почве сигаретные фильтры не растворились, а лишь замаскировались под грязь. Их пластиковые волокна распались на микрочастицы, намертво склеились с минералами и превратились во вторичный микропластик. Более того, на пятом году гниения мусор начал отравлять землю с новой силой.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно