Искусственный интеллект научили смотреть на проблему под разными углами
Коллектив исследователей из T-Bank, МФТИ и МИСИС разработал новый подход к обучению ансамблей нейронных сетей, заставляющий каждую модель в группе смотреть на проблему под своим уникальным углом. Этот метод, названный Saliency-Diversified Deep Ensembles (SDDE), позволяет не просто повысить точность работы искусственного интеллекта, но и научить его лучше распознавать ситуации, с которыми он ранее не сталкивался. В результате ансамбль становится умнее, точнее и осторожнее при столкновении с неизвестными данными, что открывает новые горизонты для создания более надежных и безопасных ИИ-систем.
Современные нейронные сети достигли поразительных успехов в решении множества задач, от распознавания лиц на фотографиях до медицинской диагностики и управления беспилотными автомобилями. Однако у них есть фундаментальная уязвимость, известная как «сдвиг домена». Модель, блестяще обученная на одном наборе данных, может совершать грубые ошибки, столкнувшись с данными из реального мира, которые хоть немного отличаются от обучающих примеров. Это похоже на студента, который выучил ответы на конкретные билеты, но теряется, если вопрос сформулирован чуть иначе. Для решения этой проблемы инженеры часто используют «ансамбли» — группы из нескольких нейросетей, которые анализируют задачу параллельно, а их «мнения» усредняются для получения итогового ответа. Этот подход, подобно коллективному разуму, повышает надежность и точность.
Тем не менее, у классических ансамблей есть своя «ахиллесова пята» — интеллектуальная однородность. В процессе обучения разные модели в ансамбле, стремясь к максимальной точности на одних и тех же данных, часто начинают «думать» одинаково. Они выучивают одни и те же признаки и шаблоны, обращая внимание на одни и те же детали. В итоге вместо команды независимых экспертов с разными точками зрения получается эхо-камера, где все участники лишь подтверждают выводы друг друга. Это ограничивает эффективность ансамбля и делает его уязвимым перед по-настоящему новыми и нестандартными ситуациями.
Именно эту проблему «интеллектуальной однородности» и взялись решить российские ученые. Их целью было заставить модели внутри ансамбля не просто приходить к разным ответам, но и основывать свои выводы на разных аспектах исходных данных. Для этого они обратились к концепции «карт внимания» (saliency maps). Карта внимания — это своего рода «тепловая карта» изображения, которая показывает, на какие пиксели нейросеть обращает больше всего внимания при принятии решения. Это похоже на то, как человек, разглядывая картину, выделяет для себя ключевые детали: лицо персонажа, яркий элемент одежды или необычную деталь на фоне. Работа исследователей опубликована в виде препринта на научном портале arXiv и на конференции ICIP.
Ключевая идея метода SDDE заключается во внедрении в процесс обучения специальной математической «функции потерь», которая штрафует ансамбль за сходство карт внимания у его моделей. Если две нейросети пытаются сфокусироваться на одной и той же области изображения для вынесения вердикта, алгоритм вносит коррективы в их обучение, поощряя их искать альтернативные, но не менее важные признаки. Таким образом, одна модель учится распознавать кошку по форме ушей, другая — по текстуре шерсти, третья — по характерной позе, а четвертая — по контексту окружения. В качестве инструмента для построения карт внимания исследователи использовали хорошо зарекомендовавший себя метод GradCAM.
Для проверки эффективности своего подхода команда провела серию масштабных экспериментов на общепризнанных наборах данных для компьютерного зрения, включая CIFAR-10, CIFAR-100 и ImageNet. Они сравнили работу своего ансамбля SDDE с несколькими передовыми методами, включая классические глубокие ансамбли (Deep Ensembles) и другие подходы, направленные на повышение разнообразия. Результаты оказались убедительными: по всем ключевым метрикам — точности классификации, калибровке (умению модели адекватно оценивать собственную уверенность) и качеству детекции данных из посторонних источников — предложенный метод продемонстрировал значительное превосходство.
«Представьте, что вы собираете комитет экспертов для принятия важного решения. Если вы пригласите десять специалистов с абсолютно одинаковым опытом и взглядами, вы получите очень уверенный, но, возможно, ошибочный ответ. Гораздо эффективнее собрать команду с разным опытом: один — теоретик, другой — практик, третий — специалист по смежной области. Наш метод, SDDE, выступает в роли модератора, который на этапе обучения говорит каждой нейросети-эксперту: “Ты, пожалуйста, обрати внимание на текстуру. А ты — на форму. А ты — на общий контекст”. В результате их коллективное решение становится гораздо более взвешенным и устойчивым к неожиданностям, — прокомментировал суть работы Станислав Дерека, аспирант МФТИ. Затем он добавил: —Главное преимущество нашего подхода — это повышение надежности систем искусственного интеллекта в реальном мире, который всегда полон сюрпризов. Когда модель не просто классифицирует то, что знает, но и умеет сказать “я не уверена, что это такое”, это фундаментальный шаг к созданию ответственного и заслуживающего доверия ИИ. Наш метод делает ансамбли более “скромными” и осторожными, что в критических приложениях гораздо важнее самоуверенной точности».
Разработка российских исследователей смещает фокус с диверсификации конечных предсказаний на диверсификацию самого процесса анализа данных. Если предыдущие методы в основном пытались сделать так, чтобы модели давали немного разные ответы, то ученые пошли глубже: они заставили диверсифицироваться сам «мыслительный процесс» моделей — их внимание к входным данным. Это обеспечивает более фундаментальное и робастное разнообразие внутри ансамбля.
Повышение способности ИИ распознавать неизвестное — ключевой фактор для создания по-настоящему безопасных систем. Это критически важно для беспилотных автомобилей, которые должны адекватно реагировать на нестандартные дорожные ситуации или внезапно появившиеся на дороге объекты, которых не было в обучающих данных. В медицине такие системы смогут не просто ставить диагнозы на основе известных снимков, но и сигнализировать врачу, что столкнулись с редкой или атипичной патологией, требующей особого внимания человека. Другие возможные применения включают финансовый мониторинг для выявления новых видов мошенничества, системы контроля качества на производстве и обеспечение безопасности в киберпространстве.
В будущем исследователи планируют адаптировать свой подход для других типов данных, таких как аудиосигналы, тексты и временные ряды, а также исследовать возможность динамического управления разнообразием ансамбля в зависимости от сложности решаемой задачи. Разработка открывает путь к созданию следующего поколения ИИ-систем, которые будут не только эффективными, но и более устойчивыми и надежными перед лицом непредсказуемой реальности.
Telegram 
Дзен 
VK Сотрудники Центра языка и мозга НИУ ВШЭ приняли участие в редкой для детской нейрохирургии операции с пробуждением у 11-летнего пациента с фармакорезистентной эпилепсией. Совместно с врачами НПЦ специализированной медицинской помощи детям имени В.Ф. Войно-Ясенецкого в Солнцево они сопровождали удаление участка левой височной доли, где был выявлен эпилептический очаг.
Провинция Цзянсу была процветающим центром медицинской практики в Китае во времена династии Мин (1368-1644 годы нашей эры). Микроскопический анализ крошечных частиц на поверхности хирургических ножниц и пинцета из гробницы китайского врача помог выявить следы вещества, получаемого из ядовитого растения, которое, по мнению исследователей, применялось как местная анестезия во время операций.
Анализ ДНК и изотопный анализ зубов показали, что мужчина генетически был связан с саамскими популяциями, но часть жизни провел за пределами Финляндии — возможно, в Исландии. Авторы нового исследования пришли к выводу, что на рубеже XVI-XVII веков саамские сообщества не были изолированы, как предполагали многие исследователи. Люди путешествовали на далекие расстояния и поддерживали контакты с дальними регионами Северной Атлантики.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Последние несколько лет по всему миру выходит множество работ о том, что микрочастицы искусственных полимеров накапливаются в тканях человека и могут быть небезопасны. Мы решили обратиться к академику Алексею Хохлову, чтобы дать трибуну противоположной точке зрения. Выбор между ними предлагаем сделать читателю.
Ученые РГУ нефти и газа (НИУ) имени И. М. Губкина предложили подход к отбору малодебетных нефтегазовых месторождений, которые составляют около 88% нераспределенного фонда нефтяных участков. Модель расчета поможет вовлечь в экономический оборот от 400 до 600 миллионов тонн ранее нерентабельных запасов.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно