Искусственный интеллект обретает здравомыслие: новый метод заставил нейросети сомневаться в своих ответах
Команда исследователей из МИСиС и МФТИ с коллегами разработала новый метод, который значительно повышает надежность нейронных сетей, обучая их эффективно распознавать объекты и ситуации, с которыми они не сталкивались в процессе обучения. Предложенный подход, названный Identity Curvature Laplace Approximation (ICLA), позволяет искусственному интеллекту более точно оценивать собственную неуверенность, что является критически важным шагом для создания безопасных систем в таких областях, как беспилотный транспорт, медицинская диагностика и финансовый мониторинг.
Исследователи представили результаты работы на престижной Зимней конференции по применению компьютерного зрения (WACV 2025) в США, они опубликованы в ее официальных трудах издательством IEEE.
Современные глубокие нейронные сети демонстрируют поразительные способности в распознавании образов, обработке языка и прогнозировании. Однако у них есть опасная особенность — излишняя самоуверенность. Нейросеть, обученная различать кошек и собак, может с высокой степенью уверенности заявить, что изображение жирафа — это собака. В развлекательном приложении такая ошибка безобидна, но в системе автопилота, которая столкнулась с неизвестным препятствием на дороге, подобная «слепая» уверенность может привести к катастрофе. Способность системы распознавать, что входные данные выходят за рамки ее «компетенции», называется детектированием вне распределенных данных (out-of-distribution, OOD). Это одна из самых актуальных проблем в области безопасности искусственного интеллекта.
Один из классических подходов к оценке неопределенности в искусственном интеллекте — байесовские методы. Их можно сравнить с созданием не одной, а целого ансамбля из тысяч возможных моделей, что позволяет оценить разброс их предсказаний. Однако такой подход требует огромных вычислительных ресурсов. Более практичная альтернатива — аппроксимация Лапласа — метод, который пытается оценить неопределенность, анализируя «ландшафт» параметров модели в окрестности наилучшего найденного решения. Этот ландшафт можно представить как горную местность, где самая высокая точка — это оптимальная модель. Форма этой вершины, ее кривизна, говорит о том, насколько модель уверена в своих параметрах. Острая, узкая вершина традиционно интерпретируется как высокая уверенность, а пологая и широкая — как низкая. Стандартные методы пытаются измерить эту сложную кривизну с помощью математического объекта, известного как матрица Гессе.
Российские исследователи поставили под сомнение фундаментальное предположение о том, что точное измерение этой кривизны всегда полезно для детектирования аномалий.
Они обнаружили парадокс: на задачах, где классы данных очень легко различимы (например, грузовики и самолеты), ландшафт решений нейросети становится чрезвычайно «острым». Стандартная аппроксимация Лапласа интерпретирует это как очень высокую уверенность, из-за чего модель теряет способность распознавать что-либо новое. Кривизна, которая должна была помочь оценить неопределенность, становится источником проблемы.
Схематичное изображение «ландшафтов неопределенности» для стандартного подхода (справа) и нового метода (слева). Стандартный метод, пытаясь точно описать сложную «кривизну» решений, создает узкую и изрезанную область уверенности, что приводит к ошибкам. Метод ICLA формирует более гладкий и широкий ландшафт, позволяя нейросети эффективнее распознавать аномалии, находящиеся за пределами ее «знаний» / © WACV 2025
Исследователи столкнулись с ситуацией, в которой чем лучше модель разделяла известные ей классы, тем хуже она справлялась с неизвестностью. Стандартный подход, основанный на измерении кривизны, давал сбой. Они предположили, что эта сложная информация о геометрии решений не только не помогает, но и мешает. Поэтому ученые решили пойти на радикальное упрощение: вместо того чтобы вычислять сложную форму ландшафта, заменили ее на самую простую из возможных — идеальную, симметричную сферу, описываемую единичной матрицей.
Ключевым нововведением стало то, что исследователи не просто зафиксировали эту простую форму, а разработали алгоритм, который оптимизирует ее масштаб (параметр «априорной точности»), подстраивая его под конкретную задачу. В результате получился элегантный и вычислительно очень эффективный подход.
Тестирование на стандартных наборах данных для компьютерного зрения, таких как CIFAR-10, CIFAR-100 и ImageNet, показало, что ICLA значительно превосходит традиционную аппроксимацию Лапласа и другие популярные методы в задаче обнаружения вне распределенных данных. При этом он не снижает точность распознавания знакомых объектов и сохраняет калибровку модели — ее предсказания остаются честными.
Инновационность работы заключается в ее контринтуитивном выводе: для повышения надежности искусственного интеллекта в условиях неопределенности нужно не усложнять, а упрощать модель его «сомнений». Ученые показали, что в некоторых случаях избыточная информация о геометрии пространства решений вредна. Отказ от нее и переход к более общей и гладкой оценке неопределенности позволяет нейросети лучше очертить границы известного и вовремя сигнализировать о столкновении с чем-то новым.
Станислав Дерека, аспирант МФТИ, добавил: «Наш метод не только эффективен, но и практически выгоден. Он почти не требует дополнительных вычислений на этапе использования модели, что делает его легко применимым в реальных системах, где важна скорость реакции. По сути, мы предлагаем простой «апгрейд» для уже существующих нейросетей, который делает их значительно безопаснее. Это открывает путь к созданию более надежных систем искусственного интеллекта для беспилотных автомобилей, которые смогут лучше реагировать на нестандартные дорожные ситуации, или для медицинских систем, способных вовремя обратить внимание врача на редкий или атипичный случай».
Это исследование вносит важный вклад как в практическое применение искусственного интеллекта, так и в фундаментальную науку. Оно углубляет понимание того, как нейронные сети работают с неопределенностью, и указывает на ограничения существующих методов.
Telegram 
Дзен 
VK Большой адронный коллайдер многие воспринимают как инструмент изучения первых мгновений жизни Вселенной и поиска редких частиц. Но ушедший на обновление ускоритель частиц все еще приносит новые данные и о таких, казалось бы, хорошо изученных объектах, как ядро атома кислорода. Физики ЦЕРН выяснили, что и оно, и ядро атома неона ведут себя не так, как предсказывали модели.
Чешские археологи, изучая огромное древнее сооружение возрастом примерно 6500 лет, пришли к выводу, что входы в него расположены не случайным образом, а с учетом движения по небу Солнца и Луны. Судя по всему, этот неолитический памятник, который более чем на тысячу лет старше самого раннего этапа строительства Стоунхенджа, служил местом для проведения ритуалов, связанных с небесными светилами.
В пещере на востоке Испании археологи обнаружили подземное святилище, стены и потолок которого покрыты многочисленными надписями на латыни с упоминанием некой «Госпожи». Ученые предположили, что в римскую эпоху в пещере собирались поклонницы какой-то загадочной богини.
Анализ почти 69 тысяч видов насекомых помог опровергнуть главенствующую теорию эволюции, которая полвека объясняла устройство колоний пчел, муравьев и ос. Исследователи выяснили, что общепринятый генетический фактор сам по себе не приводит к разделению труда, а настоящий секрет их коллективного выживания кроется в совсем других биологических чертах.
У любителей кофе выявили расхождение в уровнях тестостерона: одна форма этого гормона повышалась вместе с количеством выпитого, а другая, напротив, снижалась. Результат оказался особенно интересным на фоне изменений других показателей, связанных с обменом веществ и здоровьем сердца.
С помощью ускорителей ученые имитируют процессы, происходившие в первые мгновения жизни Вселенной. Так пытаются решить загадки наблюдаемой реальности: почему материи больше, чем антиматерии, состоят ли кварки из других частиц, как сохраняется барионное число. В этот раз анализ столкновений на коллайдере RHIC предоставил сильное свидетельство того, что барионное число переносится не кварками, а глюонной перемычкой внутри протонов.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно