Новое решение российских ученых позволит машинному обучению работать в десятки раз быстрее
Исследователи факультета компьютерных наук ВШЭ и Лаборатории искусственного интеллекта Сбера смогли увеличить скорость работы градиентного бустинга — одного из самых эффективных алгоритмов для решения задач машинного обучения. Предложенный подход позволит быстрее решать задачи классификации и регрессии машинного обучения.
Результаты их работы были представлены на конференции NeurIPS. Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определенному классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой.
В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.
«Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунĸу, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лунĸой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей», — поясняет один из авторов доклада, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Леонид Иосипой.
У градиентного бустинга есть проблема — в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели.
Решая задачу классификации, алгоритм не просто определяет классы, которые соответствуют каждому объекту, он определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдает алгоритм. Как следствие, растет вычислительная сложность этого алгоритма.
«Наши исследователи разработали уникальный фреймворк, который позволяет расширить границы применимости градиентного бустинга. Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта», — считает директор Лаборатории искусственного интеллекта Сбера Глеб Гусев.
Telegram 
Дзен 
VK Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Плавящийся асфальт в США, многие тысячи погибших в Западной Европе, своеобразное лето в России — все это списывают на вредоносный феномен рекордного Эль-Ниньо. И конечно же, на него спихивают и ожидаемый рост цен на кофе и основные сельхозтовары. Правда, есть в этой картине и белые пятна: в прошлые Эль-Ниньо мировые урожаи росли. Что скорее всего случится в 2026 году и отчего роль этого события может быть куда больше, чем мы думаем?
Ученые МИЭМ ВШЭ предложили математическую модель, которая позволяет понять, как взаимодействие между сообществами влияет на их устойчивость. Работа основана на классической теории эволюционных игр и демонстрирует неожиданный эффект: даже небольшое информационное воздействие одного сообщества на другое может привести к тому, что одно из них сохранит внешнюю стабильность, а в другом начнутся хаотические изменения на уровне отдельных участников.
Анализ более 150 тысяч древних звезд Млечного Пути показал, что возраст космоса, судя по всему, близок к 13,8 миллиарда лет. Авторы нового исследования заключили, что сценарии, в которых Вселенную приходится делать заметно «моложе» ради решения хаббловского кризиса, плохо согласуются с наблюдениями. Это важно, поскольку возраст старейших светил — один из немногих независимых способов проверить космологические модели не по данным ранней Вселенной, а по объектам нашей собственной Галактики.
Сканирующая туннельная микроскопия достигла квантово-механического предела пространства-времени. Физики провели эксперимент и смоделировали перемещение одиночного электрона с атомарной точностью и скоростью в доли фемтосекунды. Результат показал границы применимости квантовых законов и объяснил механику сверхбыстрых процессов.
Инфекции, такие как коронавирус, наносят серьезный удар организму, из-за чего даже после выздоровления он продолжительное время остается уязвимым. Сегодня для оценки иммунитета врачи смотрят в первую очередь на уровень антител в крови, однако такой подход не отражает реального состояния здоровья человека. Это не позволяет врачам точно прогнозировать, как будет протекать болезнь и насколько быстро пациент выздоровеет. Ученые Пермского Политеха и ПГАТУ впервые выяснили, как именно восстановление иммунитета зависит от пола человека и кто наиболее подвержен осложнениям после коронавирусной инфекции. Результаты исследования помогут правильно учитывать гендерные особенности пациента при лечении и реабилитации, что повысит точность прогнозов и эффективность терапии.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно