Исследователи Центра искусственного интеллекта Сколтеха совместно с коллегами из Института проблем передачи информации РАН разработали метод, который позволяет нейросетям более точно оценивать собственную «уверенность» в прогнозах. Метод использует специальный набор тренировочных данных (Confidence-Aware Training Data) и направлен на повышение надежности нейросетевых моделей в задачах с высоким уровнем риска — например, в медицине или промышленности.
Сколтех научил ИИ сомневаться / © Uriel SC, unsplash.com
Результаты представлены на престижной Международной конференции по использованию компьютерного зрения (WACV-2025) и в сборнике конференции.
Современные нейросетевые модели нередко демонстрируют высокую точность, однако в ряде случаев проявляют избыточную уверенность в своих предсказаниях — даже в ситуациях, когда данные неоднозначные или содержат шум. Это может быть критичным для таких сфер, как медицина, промышленная безопасность или автономные системы. Разработанный подход позволяет повысить надежность моделей за счет более точного контроля над их поведением в сложных и пограничных сценариях.
Новый метод помогает нейросети обнаруживать случаи, в которых ее прогноз может требовать дополнительной проверки со стороны человека. Исследователи протестировали технологию на реальных данных, в том числе в задачах медицинской диагностики по типированию крови, и получили значительный рост точности оценки неопределенности в задачах классификации и сегментации.
В отличие от классических подходов, где в обучающих выборках используются только бинарные метки (0 или 1), в новой методике дополнительно вводятся «мягкие» метки — значения в диапазоне от 0 до 1, отражающие степень уверенности экспертов в правильности разметки данных. Это помогает модели формировать более осторожную стратегию принятия решений и эффективнее реагировать на ситуации с высокой степенью неопределенности.
Кроме того, метод позволяет учитывать два типа неопределенности: эпистемическую, связанную с недостаточностью и неполнотой обучающих данных, и алеаторную — возникающую из-за природного шума или неоднозначности в самих данных.
«Наш метод помогает нейросети понять, где стоит проявить осторожность. На практике это позволяет снизить риск излишней уверенности модели при обработке сложных или пограничных случаев. Мы протестировали метод на реальных данных и подтвердили его эффективность в оценке неопределенности», — рассказал Александр Югай, младший инженер-исследователь Центра искусственного интеллекта Сколтеха.
Новая технология может быть применена в ответственных областях, где важна надежность искусственного интеллекта, включая медицинские диагностические системы, промышленную автоматизацию, системы технического контроля и автономные решения.
«Мы сфокусировались на том, чтобы научить модель не только принимать решения, но и выделять случаи, в которых риск ошибки особенно высок. Благодаря использованию разметки уверенности, наше решение существенно превосходит существующие. Такая оценка „осторожности“ критически важна для принятия решений в медицине и других областях с высокой стоимостью ошибки», — комментирует Алексей Зайцев, доцент Сколтеха, заведующий Лабораторией прикладных исследований «Сколтех-Сбербанк».
