В МТУСИ предложили метод машинного обучения для обнаружения фишингового сайта
Ученые МТУСИ проанализировали возможности интеграции предложенной ими модели в систему защиты веб-приложений. Внедрение автоматизированных инструментов для обнаружения потенциально фишинговых URL-адресов на ранних стадиях их проникновения в сеть поможет существенно снизить риски для пользователей и организаций.
Информационная безопасность веб-приложений является одним из наиболее актуальных вопросов современного мира, а фишинг — серьезная угроза для миллионов пользователей интернет-ресурсов. Фишинговые сайты создаются таким образом, чтобы максимально быть похожими на легитимные ресурсы, они заманивают миллионы пользователей на ложные веб-сайты, похищая конфиденциальную информацию, такую как пароль, данные банковской карты или адрес электронной почты. Последствия для организаций, чьи сайты были скомпрометированы, очень серьезны — это потеря прибыли, потеря доверия клиентов, санкции от поисковых систем и проблемы с индексацией сайта.
Машинное обучение становится все более популярным инструментом в борьбе с фишингом. С его помощью можно провести анализ свойств веб-страницы: процесс сводится к бинарной классификации, где веб-ресурсы определяются как фишинговые или легитимные на основе их атрибутов. После проведения классификации производится оценка качества результатов.
Формирование набора данных является важным аспектом исследования для обнаружения фишинговых сайтов на основе подмены адресов URL. Несмотря на то, что исследования в этой области имеют высокие оценки качества, существует проблема нехватки разнообразных и сбалансированных данных, что приводит к смещению оценок и делает результаты исследования необъективными.
Над решением проблемы работает магистрант МТУСИ Людмила Емец под руководством доцента кафедры «Информационная безопасность» Александра Большакова. Проведено исследование с целью выбора атрибутов и метода классификации мошеннических сайтов для обнаружения фишингового ресурса в интернете.
Одним из ключевых аспектов исследования стало применение методов бинарной классификации, основанных на машинном обучении на языке Python с использованием библиотеки Scikit-Learn.
В ходе исследования обнаружено, что использование метода бинарной классификации усложняется процессом формирования набора данных от сторонних сервисов. Время выполнения этих запросов зависит от скорости и стабильности интернет-соединения, что может привести к непредсказуемой задержке и, следовательно, к усложнению процесса анализа.
«Для создания более сбалансированного набора данных сформированы две случайные выборки адресов сайтов — фишинговые и легитимные. Затем получен набор данных из 8600 URL-адресов, включающий как безопасные, так и небезопасные адреса, которые были поделены на обучающий и тестовый в соотношении 70 процентов на 30. Далее проведен анализ данных, который осуществлялся с применением двух подходов: использование данных из открытых источников и лексический анализ доменных имён. Применение n-граммного метода позволило выделить ключевые слова и сформировать дополнительные атрибуты лексического типа. Оценка зависимости атрибутов показала, что между ними нет высокой корреляции, что подтверждает их информативность для модели машинного обучения», – рассказала Людмила Емец.
Ученые МТУСИ разработали модель классификации на основе алгоритмов «Градиентного бустинга», «K-Ближайших Соседей», «Логистической регрессии», «Наивного Байсса», «Случайного леса» и «Дерева принятых решений». Для оценки результатов работы моделей классификации и сравнения моделей между собой использовались меры точности, полноты, f1-мера и площадь под ROC-кривой. ROC-кривая позволила визуально иллюстрировать зависимость между количеством верно классифицированных фишинговых сайтов и количеством неверно классифицированных легитимных сайтов как вредоносных. Значение AUC (площадь под ROC-кривой) оказалось важным численным показателем качества моделей, где близкое к единице значение AUC характеризует лучший алгоритм классификации.
«Была обнаружена взаимосвязь между свойствами веб-страницы и наличием фишингового ресурса в интернете. Проведен анализ таких характеристик веб-страницы как адрес, информация о домене, параметры подключения и наличие ключевых слов. Для построения модели выделены атрибуты (признаки) веб-ресурсов и получен набор данных: обучающая выборка с известным статусом сайтов и тестовая выборка с неизвестным. Ключевым этапом в предварительной обработке данных стал анализ корреляции атрибутов с применением коэффициента Пирсона. Обнаружено отсутствие высоких корреляций между выделенными атрибутами. На основе выделенных атрибутов и анализа свойств веб-ресурсов была сформирована обучающая выборка, что позволило значительно улучшить точность модели», – пояснил Александр Большаков.
Отмечено, что лексический анализ URL-адресов фишинговых ресурсов помогает обнаружить специфические особенности и шаблоны, указывающие на их мошеннический характер. Эти особенности могут включать опечатки в популярных доменах, дополнительные поддомены, специальные символы и кодировки для маскировки. Исследователи особое внимание уделили частоте неалфавитных символов (точки, дефисы, цифры), поскольку такие символы часто используются злоумышленниками.
Применение «тепловой» карты показало отсутствие незначимых атрибутов, что подтверждает правомерность формирования выбранных атрибутов. Анализ ROC-кривых и результаты оценки качества моделей позволили выявить, что алгоритм классификации «Градиентный бустинг» демонстрирует наилучшие показатели среди рассмотренных моделей.
В ходе исследования проанализированы возможности интеграции предложенной модели в системы защиты веб-приложений. Внедрение автоматизированных инструментов для обнаружения потенциально фишинговых URL-адресов на ранних стадиях их проникновения в сеть может существенно снизить риски для пользователей и организаций. Результаты оценки качества классификации на полученных данных подтверждают, что предложенный подход способен с высокой степенью достоверности выявлять фишинговые сайты.
Дальнейшие исследования в этой области могут быть направлены на улучшение алгоритмов машинного обучения путём надстройки параметров модели классификатора и использование новых источников данных для создания более комплексных и надежных средств защиты от фишинговых атак. Это открывает возможности для разработки более совершенных и надежных систем защиты пользователей в сети интернет.
Материал подготовлен на основе статьи «Обнаружение фишингового сайта методами машинного обучения», размещенной в сборнике №1-2023 «Телекоммуникации и информационные технологии».
Telegram 
Дзен 
VK Плавящийся асфальт в США, многие тысячи погибших в Западной Европе, своеобразное лето в России — все это списывают на вредоносный феномен рекордного Эль-Ниньо. И конечно же, на него спихивают и ожидаемый рост цен на кофе и основные сельхозтовары. Правда, есть в этой картине и белые пятна: в прошлые Эль-Ниньо мировые урожаи росли. Что скорее всего случится в 2026 году и отчего роль этого события может быть куда больше, чем мы думаем?
Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Ученые синтезировали три новых комплекса металла европия и нашли способ управлять яркостью их свечения (люминесценции). Подобные светящиеся соединения востребованы в биологии и медицине для визуализации тканей и отслеживания распределения лекарств по организму, а также в технике при разработке энергоэффективных дисплеев и светодиодов.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно