Искусственный интеллект обретает здравомыслие: новый метод заставил нейросети сомневаться в своих ответах
Команда исследователей из МИСиС и МФТИ с коллегами разработала новый метод, который значительно повышает надежность нейронных сетей, обучая их эффективно распознавать объекты и ситуации, с которыми они не сталкивались в процессе обучения. Предложенный подход, названный Identity Curvature Laplace Approximation (ICLA), позволяет искусственному интеллекту более точно оценивать собственную неуверенность, что является критически важным шагом для создания безопасных систем в таких областях, как беспилотный транспорт, медицинская диагностика и финансовый мониторинг.
Исследователи представили результаты работы на престижной Зимней конференции по применению компьютерного зрения (WACV 2025) в США, они опубликованы в ее официальных трудах издательством IEEE.
Современные глубокие нейронные сети демонстрируют поразительные способности в распознавании образов, обработке языка и прогнозировании. Однако у них есть опасная особенность — излишняя самоуверенность. Нейросеть, обученная различать кошек и собак, может с высокой степенью уверенности заявить, что изображение жирафа — это собака. В развлекательном приложении такая ошибка безобидна, но в системе автопилота, которая столкнулась с неизвестным препятствием на дороге, подобная «слепая» уверенность может привести к катастрофе. Способность системы распознавать, что входные данные выходят за рамки ее «компетенции», называется детектированием вне распределенных данных (out-of-distribution, OOD). Это одна из самых актуальных проблем в области безопасности искусственного интеллекта.
Один из классических подходов к оценке неопределенности в искусственном интеллекте — байесовские методы. Их можно сравнить с созданием не одной, а целого ансамбля из тысяч возможных моделей, что позволяет оценить разброс их предсказаний. Однако такой подход требует огромных вычислительных ресурсов. Более практичная альтернатива — аппроксимация Лапласа — метод, который пытается оценить неопределенность, анализируя «ландшафт» параметров модели в окрестности наилучшего найденного решения. Этот ландшафт можно представить как горную местность, где самая высокая точка — это оптимальная модель. Форма этой вершины, ее кривизна, говорит о том, насколько модель уверена в своих параметрах. Острая, узкая вершина традиционно интерпретируется как высокая уверенность, а пологая и широкая — как низкая. Стандартные методы пытаются измерить эту сложную кривизну с помощью математического объекта, известного как матрица Гессе.
Российские исследователи поставили под сомнение фундаментальное предположение о том, что точное измерение этой кривизны всегда полезно для детектирования аномалий.
Они обнаружили парадокс: на задачах, где классы данных очень легко различимы (например, грузовики и самолеты), ландшафт решений нейросети становится чрезвычайно «острым». Стандартная аппроксимация Лапласа интерпретирует это как очень высокую уверенность, из-за чего модель теряет способность распознавать что-либо новое. Кривизна, которая должна была помочь оценить неопределенность, становится источником проблемы.
Схематичное изображение «ландшафтов неопределенности» для стандартного подхода (справа) и нового метода (слева). Стандартный метод, пытаясь точно описать сложную «кривизну» решений, создает узкую и изрезанную область уверенности, что приводит к ошибкам. Метод ICLA формирует более гладкий и широкий ландшафт, позволяя нейросети эффективнее распознавать аномалии, находящиеся за пределами ее «знаний» / © WACV 2025
Исследователи столкнулись с ситуацией, в которой чем лучше модель разделяла известные ей классы, тем хуже она справлялась с неизвестностью. Стандартный подход, основанный на измерении кривизны, давал сбой. Они предположили, что эта сложная информация о геометрии решений не только не помогает, но и мешает. Поэтому ученые решили пойти на радикальное упрощение: вместо того чтобы вычислять сложную форму ландшафта, заменили ее на самую простую из возможных — идеальную, симметричную сферу, описываемую единичной матрицей.
Ключевым нововведением стало то, что исследователи не просто зафиксировали эту простую форму, а разработали алгоритм, который оптимизирует ее масштаб (параметр «априорной точности»), подстраивая его под конкретную задачу. В результате получился элегантный и вычислительно очень эффективный подход.
Тестирование на стандартных наборах данных для компьютерного зрения, таких как CIFAR-10, CIFAR-100 и ImageNet, показало, что ICLA значительно превосходит традиционную аппроксимацию Лапласа и другие популярные методы в задаче обнаружения вне распределенных данных. При этом он не снижает точность распознавания знакомых объектов и сохраняет калибровку модели — ее предсказания остаются честными.
Инновационность работы заключается в ее контринтуитивном выводе: для повышения надежности искусственного интеллекта в условиях неопределенности нужно не усложнять, а упрощать модель его «сомнений». Ученые показали, что в некоторых случаях избыточная информация о геометрии пространства решений вредна. Отказ от нее и переход к более общей и гладкой оценке неопределенности позволяет нейросети лучше очертить границы известного и вовремя сигнализировать о столкновении с чем-то новым.
Станислав Дерека, аспирант МФТИ, добавил: «Наш метод не только эффективен, но и практически выгоден. Он почти не требует дополнительных вычислений на этапе использования модели, что делает его легко применимым в реальных системах, где важна скорость реакции. По сути, мы предлагаем простой «апгрейд» для уже существующих нейросетей, который делает их значительно безопаснее. Это открывает путь к созданию более надежных систем искусственного интеллекта для беспилотных автомобилей, которые смогут лучше реагировать на нестандартные дорожные ситуации, или для медицинских систем, способных вовремя обратить внимание врача на редкий или атипичный случай».
Это исследование вносит важный вклад как в практическое применение искусственного интеллекта, так и в фундаментальную науку. Оно углубляет понимание того, как нейронные сети работают с неопределенностью, и указывает на ограничения существующих методов.
Telegram 
Дзен 
VK Ученые раскрыли причины удивительной сохранности крупнейшей из пирамид Гизы. Секрет того, что за прошедшие тысячелетия пирамиду не разрушили землетрясения, кроется в особенностях ее конструкции, в том числе в так называемых разгрузочных камерах, расположенных непосредственно над погребальной камерой фараона.
Последние несколько лет по всему миру выходит множество работ о том, что микрочастицы искусственных полимеров накапливаются в тканях человека и могут быть небезопасны. Мы решили обратиться к академику Алексею Хохлову, чтобы дать трибуну противоположной точке зрения. Выбор между ними предлагаем сделать читателю.
Больше половины студентов регулярно читают учебные тексты под музыку, хотя многие научные работы утверждают, что это вредит пониманию текста. Исследователи из Университета Эдит Коуэн выяснили, что эта привычка определяется не когнитивными способностями вроде силы внимания, а тем, насколько важную роль музыка играет в жизни конкретного человека.
Команда археологов в составе младшего научного сотрудника Отдела славяно-финской археологии ИИМК РАН Натальи Григорьевой и археозоологов Института экологии растений и животных УрО РАН Ольги Бачуры и Татьяны Лобановой завершила комплексное исследование коллекции костей животных из раскопок поселения на Земляном городище Старой Ладоги (Ленинградская область). В ходе работы удалось проследить изменения системы хозяйства жителей на протяжении почти 10 веков.
Астрофизики Южного федерального университета предложили объяснение одной из самых интригующих загадок современной физики — годичных колебаний сигнала в детекторе DAMA/LIBRA, который вот уже почти тридцать лет регистрирует странные сигналы в подземной лаборатории Гран-Сассо в Италии, интерпретируемые как взаимодействие частиц темной материи с обычным веществом.
В России 19 мая отмечается День фармацевтического работника. В современном мире эта отрасль подвержена большим изменениям: аптеки уходят в онлайн, производство локализуется, а требования к лекарствам растут. Вместе с отраслью меняется и сама профессия провизора. О том, почему фармацевтика нуждается в новом типе специалиста и что для этого нужно сделать, рассказывает доктор экономических наук, директор Института экономики и управления НИТУ МИСИС Алексей Митенков.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно