Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Искусственный интеллект научили смотреть на проблему под разными углами
Коллектив исследователей из T-Bank, МФТИ и МИСИС разработал новый подход к обучению ансамблей нейронных сетей, заставляющий каждую модель в группе смотреть на проблему под своим уникальным углом. Этот метод, названный Saliency-Diversified Deep Ensembles (SDDE), позволяет не просто повысить точность работы искусственного интеллекта, но и научить его лучше распознавать ситуации, с которыми он ранее не сталкивался. В результате ансамбль становится умнее, точнее и осторожнее при столкновении с неизвестными данными, что открывает новые горизонты для создания более надежных и безопасных ИИ-систем.
Современные нейронные сети достигли поразительных успехов в решении множества задач, от распознавания лиц на фотографиях до медицинской диагностики и управления беспилотными автомобилями. Однако у них есть фундаментальная уязвимость, известная как «сдвиг домена». Модель, блестяще обученная на одном наборе данных, может совершать грубые ошибки, столкнувшись с данными из реального мира, которые хоть немного отличаются от обучающих примеров. Это похоже на студента, который выучил ответы на конкретные билеты, но теряется, если вопрос сформулирован чуть иначе. Для решения этой проблемы инженеры часто используют «ансамбли» — группы из нескольких нейросетей, которые анализируют задачу параллельно, а их «мнения» усредняются для получения итогового ответа. Этот подход, подобно коллективному разуму, повышает надежность и точность.
Тем не менее, у классических ансамблей есть своя «ахиллесова пята» — интеллектуальная однородность. В процессе обучения разные модели в ансамбле, стремясь к максимальной точности на одних и тех же данных, часто начинают «думать» одинаково. Они выучивают одни и те же признаки и шаблоны, обращая внимание на одни и те же детали. В итоге вместо команды независимых экспертов с разными точками зрения получается эхо-камера, где все участники лишь подтверждают выводы друг друга. Это ограничивает эффективность ансамбля и делает его уязвимым перед по-настоящему новыми и нестандартными ситуациями.
Именно эту проблему «интеллектуальной однородности» и взялись решить российские ученые. Их целью было заставить модели внутри ансамбля не просто приходить к разным ответам, но и основывать свои выводы на разных аспектах исходных данных. Для этого они обратились к концепции «карт внимания» (saliency maps). Карта внимания — это своего рода «тепловая карта» изображения, которая показывает, на какие пиксели нейросеть обращает больше всего внимания при принятии решения. Это похоже на то, как человек, разглядывая картину, выделяет для себя ключевые детали: лицо персонажа, яркий элемент одежды или необычную деталь на фоне. Работа исследователей опубликована в виде препринта на научном портале arXiv и на конференции ICIP.
Ключевая идея метода SDDE заключается во внедрении в процесс обучения специальной математической «функции потерь», которая штрафует ансамбль за сходство карт внимания у его моделей. Если две нейросети пытаются сфокусироваться на одной и той же области изображения для вынесения вердикта, алгоритм вносит коррективы в их обучение, поощряя их искать альтернативные, но не менее важные признаки. Таким образом, одна модель учится распознавать кошку по форме ушей, другая — по текстуре шерсти, третья — по характерной позе, а четвертая — по контексту окружения. В качестве инструмента для построения карт внимания исследователи использовали хорошо зарекомендовавший себя метод GradCAM.
Для проверки эффективности своего подхода команда провела серию масштабных экспериментов на общепризнанных наборах данных для компьютерного зрения, включая CIFAR-10, CIFAR-100 и ImageNet. Они сравнили работу своего ансамбля SDDE с несколькими передовыми методами, включая классические глубокие ансамбли (Deep Ensembles) и другие подходы, направленные на повышение разнообразия. Результаты оказались убедительными: по всем ключевым метрикам — точности классификации, калибровке (умению модели адекватно оценивать собственную уверенность) и качеству детекции данных из посторонних источников — предложенный метод продемонстрировал значительное превосходство.
«Представьте, что вы собираете комитет экспертов для принятия важного решения. Если вы пригласите десять специалистов с абсолютно одинаковым опытом и взглядами, вы получите очень уверенный, но, возможно, ошибочный ответ. Гораздо эффективнее собрать команду с разным опытом: один — теоретик, другой — практик, третий — специалист по смежной области. Наш метод, SDDE, выступает в роли модератора, который на этапе обучения говорит каждой нейросети-эксперту: “Ты, пожалуйста, обрати внимание на текстуру. А ты — на форму. А ты — на общий контекст”. В результате их коллективное решение становится гораздо более взвешенным и устойчивым к неожиданностям, — прокомментировал суть работы Станислав Дерека, аспирант МФТИ. Затем он добавил: —Главное преимущество нашего подхода — это повышение надежности систем искусственного интеллекта в реальном мире, который всегда полон сюрпризов. Когда модель не просто классифицирует то, что знает, но и умеет сказать “я не уверена, что это такое”, это фундаментальный шаг к созданию ответственного и заслуживающего доверия ИИ. Наш метод делает ансамбли более “скромными” и осторожными, что в критических приложениях гораздо важнее самоуверенной точности».
Разработка российских исследователей смещает фокус с диверсификации конечных предсказаний на диверсификацию самого процесса анализа данных. Если предыдущие методы в основном пытались сделать так, чтобы модели давали немного разные ответы, то ученые пошли глубже: они заставили диверсифицироваться сам «мыслительный процесс» моделей — их внимание к входным данным. Это обеспечивает более фундаментальное и робастное разнообразие внутри ансамбля.
Повышение способности ИИ распознавать неизвестное — ключевой фактор для создания по-настоящему безопасных систем. Это критически важно для беспилотных автомобилей, которые должны адекватно реагировать на нестандартные дорожные ситуации или внезапно появившиеся на дороге объекты, которых не было в обучающих данных. В медицине такие системы смогут не просто ставить диагнозы на основе известных снимков, но и сигнализировать врачу, что столкнулись с редкой или атипичной патологией, требующей особого внимания человека. Другие возможные применения включают финансовый мониторинг для выявления новых видов мошенничества, системы контроля качества на производстве и обеспечение безопасности в киберпространстве.
В будущем исследователи планируют адаптировать свой подход для других типов данных, таких как аудиосигналы, тексты и временные ряды, а также исследовать возможность динамического управления разнообразием ансамбля в зависимости от сложности решаемой задачи. Разработка открывает путь к созданию следующего поколения ИИ-систем, которые будут не только эффективными, но и более устойчивыми и надежными перед лицом непредсказуемой реальности.
Telegram 
Дзен 
VK Ученые из Института космических исследований РАН и МФТИ раскрыли химический механизм, объясняющий появление молекул воды на поверхностях астероидов.
Пластичность мозга — его способность перестраиваться под влиянием приходящей информации. Это свойство необходимо для обучения и адаптации. Пластичность особенно высока в детском и юношеском возрасте, она помогает быстро выучить иностранный язык и освоить сложные моторные навыки (например, фигурное катание). Ресурс пластичности есть и у пожилых людей — благодаря альтернативным нейронным сетям они восстанавливаются после травмы или инсульта. Как выясняется, высокая пластичность это не всегда хорошо. Нарушение тонкого баланса между пластичностью и стабильностью может вести к неприятным последствиям, таким как хроническая боль, тиннитус (звон в ушах) и фобии.
Исследователи Санкт-Петербургского государственного университета разработали эффективный способ обнаружения в крови важнейшего биомаркера иммунитета — неоптерина — с помощью нанотехнологий и лазера.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
На наземные растения, в основном деревья, приходится 80 процентов всей биомассы Земли, 450 миллиардов тонн сухого углерода и более двух триллионов тонн «живого веса». Поэтому идея сажать новые леса для связывания СО2 из атмосферы долго казалась логичной. Новые данные показали, что реальность заметно сложнее.
«Любить лишь можно только раз», — писал поэт Сергей Есенин, а герои культовых сериалов приходили к выводу, что «настоящая» влюбленность случается в жизни максимум дважды. Однако ни один из этих тезисов не подкреплен научными данными. Американские исследователи подошли к вопросу иначе: опросили более 10 тысяч человек и вывели среднее число сильных влюбленностей, возможных в течение жизни.
Астрономы недавно проанализировали базу данных о падающих на Землю объектах и пришли к выводу, что два из них прибыли из межзвездного пространства. Известна не только дата, но и место падения каждого из них.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно