• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
24.11.2025, 17:58
ФизТех
2
9,6 тыс

Искусственный интеллект обретает здравомыслие: новый метод заставил нейросети сомневаться в своих ответах

❋ 4.9

Команда исследователей из МИСиС и МФТИ с коллегами разработала новый метод, который значительно повышает надежность нейронных сетей, обучая их эффективно распознавать объекты и ситуации, с которыми они не сталкивались в процессе обучения. Предложенный подход, названный Identity Curvature Laplace Approximation (ICLA), позволяет искусственному интеллекту более точно оценивать собственную неуверенность, что является критически важным шагом для создания безопасных систем в таких областях, как беспилотный транспорт, медицинская диагностика и финансовый мониторинг.

Искусственный интеллект обретает здравомыслие / © ИИ-генерация, пресс-служба МФТИ

Исследователи представили результаты работы на престижной Зимней конференции по применению компьютерного зрения (WACV 2025) в США, они опубликованы в ее официальных трудах издательством IEEE.

Современные глубокие нейронные сети демонстрируют поразительные способности в распознавании образов, обработке языка и прогнозировании. Однако у них есть опасная особенность — излишняя самоуверенность. Нейросеть, обученная различать кошек и собак, может с высокой степенью уверенности заявить, что изображение жирафа — это собака. В развлекательном приложении такая ошибка безобидна, но в системе автопилота, которая столкнулась с неизвестным препятствием на дороге, подобная «слепая» уверенность может привести к катастрофе. Способность системы распознавать, что входные данные выходят за рамки ее «компетенции», называется детектированием вне распределенных данных (out-of-distribution, OOD). Это одна из самых актуальных проблем в области безопасности искусственного интеллекта.

Один из классических подходов к оценке неопределенности в искусственном интеллекте — байесовские методы. Их можно сравнить с созданием не одной, а целого ансамбля из тысяч возможных моделей, что позволяет оценить разброс их предсказаний. Однако такой подход требует огромных вычислительных ресурсов. Более практичная альтернатива — аппроксимация Лапласа — метод, который пытается оценить неопределенность, анализируя «ландшафт» параметров модели в окрестности наилучшего найденного решения. Этот ландшафт можно представить как горную местность, где самая высокая точка — это оптимальная модель. Форма этой вершины, ее кривизна, говорит о том, насколько модель уверена в своих параметрах. Острая, узкая вершина традиционно интерпретируется как высокая уверенность, а пологая и широкая — как низкая. Стандартные методы пытаются измерить эту сложную кривизну с помощью математического объекта, известного как матрица Гессе.

Российские исследователи поставили под сомнение фундаментальное предположение о том, что точное измерение этой кривизны всегда полезно для детектирования аномалий.

Визуализация того, как нейросеть «видит» данные из разных наборов. Каждая точка — это отдельное изображение, а цвета соответствуют разным классам. В датасете CIFAR-10 (слева) классы образуют четкие, хорошо разделенные кластеры. Именно в таких, казалось бы, простых случаях стандартные методы оценки неопределенности дают сбой. В более сложном датасете CIFAR-100 (справа) кластеры сильно пересекаются. Метод ICLA эффективен именно для задач с высокой разделимостью классов / © WACV 2025

Они обнаружили парадокс: на задачах, где классы данных очень легко различимы (например, грузовики и самолеты), ландшафт решений нейросети становится чрезвычайно «острым». Стандартная аппроксимация Лапласа интерпретирует это как очень высокую уверенность, из-за чего модель теряет способность распознавать что-либо новое. Кривизна, которая должна была помочь оценить неопределенность, становится источником проблемы.


Схематичное изображение «ландшафтов неопределенности» для стандартного подхода (справа) и нового метода (слева). Стандартный метод, пытаясь точно описать сложную «кривизну» решений, создает узкую и изрезанную область уверенности, что приводит к ошибкам. Метод ICLA формирует более гладкий и широкий ландшафт, позволяя нейросети эффективнее распознавать аномалии, находящиеся за пределами ее «знаний» / © WACV 2025

Исследователи столкнулись с ситуацией, в которой чем лучше модель разделяла известные ей классы, тем хуже она справлялась с неизвестностью. Стандартный подход, основанный на измерении кривизны, давал сбой. Они предположили, что эта сложная информация о геометрии решений не только не помогает, но и мешает. Поэтому ученые решили пойти на радикальное упрощение: вместо того чтобы вычислять сложную форму ландшафта, заменили ее на самую простую из возможных — идеальную, симметричную сферу, описываемую единичной матрицей.

Ключевым нововведением стало то, что исследователи не просто зафиксировали эту простую форму, а разработали алгоритм, который оптимизирует ее масштаб (параметр «априорной точности»), подстраивая его под конкретную задачу. В результате получился элегантный и вычислительно очень эффективный подход.

Тестирование на стандартных наборах данных для компьютерного зрения, таких как CIFAR-10, CIFAR-100 и ImageNet, показало, что ICLA значительно превосходит традиционную аппроксимацию Лапласа и другие популярные методы в задаче обнаружения вне распределенных данных. При этом он не снижает точность распознавания знакомых объектов и сохраняет калибровку модели — ее предсказания остаются честными.

Инновационность работы заключается в ее контринтуитивном выводе: для повышения надежности искусственного интеллекта в условиях неопределенности нужно не усложнять, а упрощать модель его «сомнений». Ученые показали, что в некоторых случаях избыточная информация о геометрии пространства решений вредна. Отказ от нее и переход к более общей и гладкой оценке неопределенности позволяет нейросети лучше очертить границы известного и вовремя сигнализировать о столкновении с чем-то новым.

Работа разных методов на тестовой задаче. Синие и оранжевые точки — данные двух известных классов, красные — новые, неизвестные объекты (аномалии). Размытая переходная зона показывает неуверенность модели. Видно, как у метода ICLA (справа) зона неуверенности значительно шире, чем у стандартных подходов (в центре и слева), и она корректно охватывает аномальные данные, присваивая им наивысший уровень неопределенности (Average Entropy: 0.50) / © WACV 2025

Станислав Дерека, аспирант МФТИ, добавил: «Наш метод не только эффективен, но и практически выгоден. Он почти не требует дополнительных вычислений на этапе использования модели, что делает его легко применимым в реальных системах, где важна скорость реакции. По сути, мы предлагаем простой «апгрейд» для уже существующих нейросетей, который делает их значительно безопаснее. Это открывает путь к созданию более надежных систем искусственного интеллекта для беспилотных автомобилей, которые смогут лучше реагировать на нестандартные дорожные ситуации, или для медицинских систем, способных вовремя обратить внимание врача на редкий или атипичный случай».

Это исследование вносит важный вклад как в практическое применение искусственного интеллекта, так и в фундаментальную науку. Оно углубляет понимание того, как нейронные сети работают с неопределенностью, и указывает на ограничения существующих методов.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Московский физико-технический институт (национальный исследовательский университет), известен также как Физтех — ведущий российский вуз по подготовке специалистов в области теоретической, экспериментальной и прикладной физики, математики, информатики, химии, биологии и смежных дисциплин. Расположен в городе Долгопрудном Московской области, отдельные корпуса и факультеты находятся в Жуковском и в Москве.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
5 января, 10:53
Александр Березин

В конце 2025 года СМИ рассказали нам, что «новая» российская орбитальная станция (РОС) будет состоять из модулей, летающих в космосе до 30 лет. «И так сойдет!»: новую российскую орбитальную станцию соберут из остатков МКС», «Отцепим старье от МКС и будем бесконечно чинить» — это не издание «Панорама», а абсолютно реальные заголовки российских СМИ. Печально, но сходную позицию занял и лучший космический журналист и расследователь современного мира Эрик Бергер. Он зашел настолько далеко, чтобы пожалеть, что Дмитрий Рогозин уже не возглавляет «Роскосмос». А вот у тех, кто знает тему, решения по РОС, заявленные официальными лицами в конце прошлого года, вызвали положительную реакцию. Почему?

5 января, 11:42
ПНИПУ

Около 72% россиян отмечают православное Рождество, при этом большая часть проводит его дома, в кругу семьи, а около четверти — посещают церковь. Ученые Пермского Политеха рассказали, когда зародился этот праздник, как он пришел в Россию, почему РПЦ не разрешили отмечать его 25 декабря, почему именно Николай Чудотворец стал прообразом Санта Клауса, зачем советская власть отменила субботу и воскресенье, а также почему сейчас большинство воспринимает Рождество как мини-Новый год.

6 января, 10:19
ПНИПУ

Более 2,8 млн квадратных километров России — от Чукотки до Таймыра — остаются без центрального энергоснабжения, что ежегодно обходится экономике страны в десятки миллиардов рублей на завоз топлива и ремонт оборудования. Бесперебойное энергоснабжение на удаленных территориях может обеспечиваться за счет внедрения энергоустановок на топливных элементах. Ученые Пермского Политеха оценили жизненный цикл такой установки и исследовали оптимальные режимы работы. Это позволит увеличить срок эксплуатации оборудования, уменьшить углеродный след и снизить себестоимость до восьми рублей за киловатт-час для потребителя, что сопоставимо с ценами центральной России. Энергоустановки на топливных элементах в перспективе могут стать надежным и недорогим источником энергоснабжения удаленных поселков и промышленных объектов, снизить вредное воздействие на хрупкую арктическую природу.

2 января, 12:27
Адель Романова

Ученые задались вопросом: почему два расположенных по соседству спутника Юпитера такие разные, ведь на Ио повсеместно извергаются вулканы, а Европа полностью покрыта многокилометровой коркой льда. Есть версия, что Ио когда-то тоже была богата водой, но по итогам недавнего исследования это сочли неправдоподобным.

5 января, 10:53
Александр Березин

В конце 2025 года СМИ рассказали нам, что «новая» российская орбитальная станция (РОС) будет состоять из модулей, летающих в космосе до 30 лет. «И так сойдет!»: новую российскую орбитальную станцию соберут из остатков МКС», «Отцепим старье от МКС и будем бесконечно чинить» — это не издание «Панорама», а абсолютно реальные заголовки российских СМИ. Печально, но сходную позицию занял и лучший космический журналист и расследователь современного мира Эрик Бергер. Он зашел настолько далеко, чтобы пожалеть, что Дмитрий Рогозин уже не возглавляет «Роскосмос». А вот у тех, кто знает тему, решения по РОС, заявленные официальными лицами в конце прошлого года, вызвали положительную реакцию. Почему?

3 января, 20:06
Любовь С.

Медленное снижение дозировки антидепрессанта наряду с курсом психотерапии помогло пациентам избежать рецидива депрессии. К такому выводу ученые пришли, проанализировав результаты 76 клинических исследований с участием более 17 тысяч человек.

08.12.2025, 13:09
Александр Березин

С 2010-х в «Роскосмосе» говорили: будущая РОС сможет пролетать над полюсом, что даст ей возможности для новых научных экспериментов. Но вскоре после того, как в ноябре 2025 года Россия временно лишилась возможности запускать людей в космос, эта позиция изменилась. В результате запускать космонавтов с космодромов нашей страны станет довольно сложно.

17.12.2025, 14:19
Игорь Байдов

На скалистых берегах аргентинской Патагонии разворачивается настоящая драма. Магеллановы пингвины, долгое время чувствовавшие себя в безопасности на суше в своих многотысячных колониях, столкнулись с новым и беспощадным врагом. Их извечные морские страхи — касатки и морские леопарды — теперь блекнут перед угрозой, пришедшей из глубины материка. Виновник переполоха — грациозный и мощный хищник, недавно вернувшийся на эти земли после долгого изгнания.

12.12.2025, 13:48
Игорь Байдов

У побережья Канады морские биологи стали свидетелями необычного случая. Косатки и дельфины объединили свои силы, чтобы вместе охотиться на тихоокеанского лосося. Они погружались в темные глубины, а после удачной охоты делились пищей. Это первое задокументированное охотничье сотрудничество между двумя видами морских млекопитающих.

[miniorange_social_login]

Комментарии

2 Комментария
Так это всё, поиск оптимальной точки, градиентный спуск, "овражные" методы - применяется при обучении модели, а не при её использовании (по-научному, инференс). Поможет ли этот новый метод, когда у меня есть готовый набор весов (модель) и я запускаю с её помощью вывод-инференс?
Dmitriy
26.11.2025
-
0
+
Ну и продали бы это китайцы и с ними сотрудничали. Зачем это в Америку вести?
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Закрыть
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно