Простой метод оценки неопределенности в машинном обучении оказался точным и менее затратным

Международная группа исследователей, в которой участвовали математики из Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, теоретически обосновала простой и вычислительно легкий метод оценки неопределенности для стохастического градиентного спуска (SGD).

НИУ ВШЭ

# алгоритмы

# искусственный интеллект

# математика

# машинное обучение

Робот читает книгу / © Vasilyev Alexandr, Shutterstock

Стохастические алгоритмы, включая SGD, широко применяются в задачах оптимизации и машинного обучения. Поскольку эти алгоритмы используют элементы случайности (например, случайные мини‑батчи данных), важной характеристикой их решений является доверительный интервал — диапазон, в котором с высокой вероятностью находится истинное решение. Традиционные способы построения таких интервалов требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы решения, что может быть дорого с точки зрения затрат времени и ресурсов или давать неточные оценки.

Ковариационная матрица — это таблица, которая показывает, как несколько случайных величин (признаков или параметров) связаны друг с другом и как они разбросаны относительно своих средних значений.

Международная группа исследователей с участием представителей Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ проанализировала один из эмпирически популярных подходов к оценке доверительных интервалов для усредненного SGD, который не требует повторного обучения модели и сложных вычислений. Авторы показали, что он корректно воспроизводит распределение усредненного решения SGD и не нуждается в явной оценке предельной ковариации. Работа опубликована на сервере научных препринтов arXiv.org и была представлена на AISTATS 2026.

«Подобные методы уже применялись на практике, и часто они показывали лучшие результаты по сравнению с альтернативами. Мы хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию», — пояснила Марина Шешукова, младший научный сотрудник Международной лаборатории стохастических алгоритмов и анализа многомерных данных Института ИИиЦН ФКН НИУ ВШЭ.

Математическое доказательство позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении: разработчики смогут получать надежные оценки неопределенности быстрее и с меньшими вычислительными затратами. Это особенно важно в областях, где критично знать не только предсказание, но и степень уверенности в нем, — например, в медицине, финансах и автономных системах.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.

Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».