International Conference on Machine Learning (ICML) — одна из крупнейших международных конференций по машинному обучению. Она проходит в Сеуле (Южная Корея) с 6 по 11 июля.
ICML ежегодно собирает исследователей ведущих университетов, научных центров и технологических компаний мира. В 2026 году на ICML подали 23 918 научных работ. В основную программу вошли 6352 статьи — всего 26,6 процента от общего числа заявок.
Как эффективнее использовать вычислительные ресурсы
Разработчики искусственного интеллекта сегодня ищут способы повысить производительность моделей, не увеличивая вычислительные мощности. Исследователи «Яндекса» предложили несколько способов, как можно решить эту проблему.
В одной из работ авторы уделили внимание графовым нейросетям. Такие модели анализируют не только объекты, но и связи между ними, например между пользователями и товарами, документами или участками дорожной сети.
Исследователи «Яндекса» предложили новые программные модули, позволяющие гораздо эффективнее использовать память видеокарт. В экспериментах они смогли ускорить вычисления до 8,5 раза, сократить пиковое потребление памяти до 76 раз, а отдельные операции — в 3,9-10 раз.
«Яндекс» уже опубликовал код модулей в открытом доступе. Эта работа получила статус Spotlight — его присваивают статьям с самыми высокими оценками от программного комитета. В этом году такой статус получили 536 работ — всего 2,2 процента от всех поданных.
В другом исследовании авторы предложили, как можно ускорить обучение больших языковых моделей. При использовании метода конвейерного параллелизма (Pipeline Parallelism) часть видеокарт простаивает в ожидании других устройств. Хотя асинхронные схемы позволяют устранить простои, считалось, что задержка градиентов делает их фундаментально нестабильными для больших языковых моделей (LLM).
Как показали исследователи «Яндекса», деградация качества связана не с самой задержкой, а с выбором алгоритма оптимизации. В отличие от классического AdamW, чувствительного к устаревшим градиентам, современные методы, например Muon, значительно лучше переносят их задержку.
Исследователи дополнительно сократили ошибку асинхронного обновления, внедрив легковесную коррекцию, вдохновленную Error-Feedback, на уровне шагов оптимизатора. В результате на моделях Mixture of Experts (MoE) размером 10 миллиардов параметров, обученных на 200 миллиардах токенов, асинхронный метод достиг такого же качества, как при синхронном обучении.
В еще одной статье исследователи «Яндекса» рассказали, как сделать обучение моделей эффективнее. Они предложили два новых алгоритма оптимизации — SoftSignum и SoftMuon. Они определяют, как модель обновляет свои параметры во время обучения. В экспериментах новые методы стабильно превосходили несколько распространенных подходов, в том числе AdamW.
Как работать со сложными данными
Для графовых задач исследователи разработали GraphPFN — модель, предварительно обученную более чем на 1,6 миллиона синтетических графов. Она показала высокое качество даже без дополнительной настройки. Когда модель адаптировали под конкретную задачу, она превзошла все рассмотренные в работе подходы на большинстве реальных наборов данных. Метод позволил быстрее создавать модели для новых задач и использовать меньше данных для обучения.
Еще одно исследование показало, что современные нейросети лучше работают с таблицами, если умеют учитывать неопределенность в данных. Для этого авторы предложили более эффективный способ представления числовых признаков.
Как обучать модели при нехватке данных
Обычно во многих прикладных задачах хватает данных, а вот качественной разметки недостаточно. Это особенно заметно в медицине, промышленности и других областях, где разметка требует участия экспертов.
Чтобы решить эту проблему, исследователи «Яндекса» вместе с другими авторами предложили подход, позволяющий использовать небольшое количество размеченных данных в сочетании с большим объемом неразмеченных. Это помогло обучать модели в задачах, где разметка новых данных обходится слишком дорого или занимает много времени.
Как ускорить поиск и рекомендации
Поисковые и рекомендательные системы каждый день обрабатывают огромные объемы данных. В «Яндексе» предложили способ ускорить эту работу.
Во многих задачах самая точная модель оказывается слишком ресурсоемкой, чтобы применять ее ко всем возможным вариантам. Новый метод «Яндекса» помог заранее отбирать наиболее подходящих кандидатов, которых затем оценивала более точная модель. Это сократило вычислительные затраты.