Новое решение российских ученых позволит машинному обучению работать в десятки раз быстрее
Исследователи факультета компьютерных наук ВШЭ и Лаборатории искусственного интеллекта Сбера смогли увеличить скорость работы градиентного бустинга — одного из самых эффективных алгоритмов для решения задач машинного обучения. Предложенный подход позволит быстрее решать задачи классификации и регрессии машинного обучения.
Результаты их работы были представлены на конференции NeurIPS. Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определенному классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой.
В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.
«Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в лунĸу, гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и лунĸой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей», — поясняет один из авторов доклада, эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Леонид Иосипой.
У градиентного бустинга есть проблема — в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели.
Решая задачу классификации, алгоритм не просто определяет классы, которые соответствуют каждому объекту, он определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдает алгоритм. Как следствие, растет вычислительная сложность этого алгоритма.
«Наши исследователи разработали уникальный фреймворк, который позволяет расширить границы применимости градиентного бустинга. Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта», — считает директор Лаборатории искусственного интеллекта Сбера Глеб Гусев.
Telegram 
Дзен 
VK Астрономы показали, что внутри космических пустот (войдов) все же формируются связанные группы галактик. Причем их свойства могут радикально отличаться от аналогичных систем в более «густонаселенных» регионах. Такие группы позволяют проверить, как окружающая среда влияет на рост космических структур и распределение темной материи там, где вещества очень мало.
Нейроморфные вычисления — это попытка скопировать принцип работы мозга: не последовательно выполнять команды, как обычный процессор, а обрабатывать информацию параллельно, через сеть взаимосвязанных «нейронов», которые активируются в зависимости от поступающих сигналов. Эта идея существует уже несколько десятилетий, но до недавнего времени ее реализовывали на обычной электронной элементной базе. Исследователи из МФТИ провели обширный обзор, в котором систематизировали последние достижения в области фотонных нейроморфных вычислений.
Интриги и тайные свидания — прерогатива не только людей. В мире дикой природы тоже случаются драмы, и одна из них развернулась в лесах Северной Америки. Маленькие серые птицы, известные в науке как гаички Гамбела, долгое время считались образцом супружеской верности, но на деле оказались хитрыми стратегами. Они заводят потомство не только от постоянного партнера, но и от самца-соседа с определенным набором качеств. Авторы нового исследования попытались выяснить, что толкает самок на измену и как это влияет на выживание всего вида.
Древнеримские инженеры проложили колоссальную сеть дорог через Европу, Северную Африку и Ближний Восток, многие участки которой до сих пор поражают безупречной прямолинейностью. Секрет строительства заключался в использовании трех особых геодезических инструментов, с помощью которых разбивали местность на ровные отрезки и размечали трассы.
На протяжении десятилетий Тель-Авив воздерживался от этого шага, чтобы не испортить отношения с Турцией. Но после действий Израиля 2023-2026 годов официальная Анкара, как и множество государств мира, неоднократно осуждала Израиль, из-за чего изменилась и его позиция по геноциду.
В рамках общей теории относительности и квантовой физики у исследователей не получается объяснить все данные наблюдений за космическими объектами. В этот раз ученые попытались описать Вселенную с точки зрения превращения энергии, и этот выбор позволил им составить стройное описание гравитации.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
Вселенная может оказаться «замкнутой» глобальной структурой, где свет от далеких галактик способен возвращаться к наблюдателю с разных направлений. Именно такой сценарий не удалось исключить авторам нового масштабного обзора. Проверить его предсказания астрономы смогут уже в ближайшие годы.
Ученые впервые на молекулярном уровне доказали, что обычная вода одновременно состоит из двух разных жидких состояний — более плотного и менее плотного, которые непрерывно сменяют друг друга. Раз молекулярная «двойственность» действительно существует, это подтверждает спорную 30-летнюю гипотезу. Новое открытие поможет, наконец, объяснить десятки «странных» физических аномалий воды, включая ее расширение при замерзании и парадоксальное изменение вязкости под давлением.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно