Российские ученые научили нейросеть сомневаться

Результаты представлены на престижной Международной конференции по использованию компьютерного зрения (WACV-2025) и в сборнике конференции.

Современные нейросетевые модели нередко демонстрируют высокую точность, однако в ряде случаев проявляют избыточную уверенность в своих предсказаниях — даже в ситуациях, когда данные неоднозначные или содержат шум. Это может быть критичным для таких сфер, как медицина, промышленная безопасность или автономные системы. Разработанный подход позволяет повысить надежность моделей за счет более точного контроля над их поведением в сложных и пограничных сценариях.

Новый метод помогает нейросети обнаруживать случаи, в которых ее прогноз может требовать дополнительной проверки со стороны человека. Исследователи протестировали технологию на реальных данных, в том числе в задачах медицинской диагностики по типированию крови, и получили значительный рост точности оценки неопределенности в задачах классификации и сегментации.

В отличие от классических подходов, где в обучающих выборках используются только бинарные метки (0 или 1), в новой методике дополнительно вводятся «мягкие» метки — значения в диапазоне от 0 до 1, отражающие степень уверенности экспертов в правильности разметки данных. Это помогает модели формировать более осторожную стратегию принятия решений и эффективнее реагировать на ситуации с высокой степенью неопределенности.

Кроме того, метод позволяет учитывать два типа неопределенности: эпистемическую, связанную с недостаточностью и неполнотой обучающих данных, и алеаторную — возникающую из-за природного шума или неоднозначности в самих данных.

«Наш метод помогает нейросети понять, где стоит проявить осторожность. На практике это позволяет снизить риск излишней уверенности модели при обработке сложных или пограничных случаев. Мы протестировали метод на реальных данных и подтвердили его эффективность в оценке неопределенности», — рассказал Александр Югай, младший инженер-исследователь Центра искусственного интеллекта Сколтеха.

Новая технология может быть применена в ответственных областях, где важна надежность искусственного интеллекта, включая медицинские диагностические системы, промышленную автоматизацию, системы технического контроля и автономные решения.

«Мы сфокусировались на том, чтобы научить модель не только принимать решения, но и выделять случаи, в которых риск ошибки особенно высок. Благодаря использованию разметки уверенности, наше решение существенно превосходит существующие. Такая оценка „осторожности“ критически важна для принятия решений в медицине и других областях с высокой стоимостью ошибки», — комментирует Алексей Зайцев, доцент Сколтеха, заведующий Лабораторией прикладных исследований «Сколтех-Сбербанк».

Сколтех

469 статей

Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.

Показать больше

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram