Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть
Исследователям Сколтеха удалось показать, что паттерны, способные приводить к ошибкам в работе нейронных сетей при распознавании изображений, по сути можно назвать широко встречающимися в природе Тьюринг-подобными паттернами. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми для внешних атак.
Результаты исследования были представлены авторами на 35-й Конференции AAAI по искусственному интеллекту (AAAI-21). Статья доступна в виде препринта на сервере arXiv.org. Глубокие нейронные сети, которые уже на данном этапе своего развития способны эффективно решать задачи распознавания и классификации изображений, до сих пор не могут противостоять так называемым адверсальным атакам в виде создания мелких, но характерных искажений на изображении, которые приводит к ошибочному результату работы нейронной сети. Некоторые из таких атак универсальные, то есть при их подаче на вход сети они неизменно нарушают ее работу.
Такие возмущения могут представлять серьезную угрозу для безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эпроблему.
Профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE), руководитель Лаборатории вычислительного интеллекта CDISE Иван Оселедец и его коллеги дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие «паттерна», лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных.
Поводом для этой работы стало счастливое стечение обстоятельств: в 2018 году Иван Оселедец и Валентин Хрульков представили доклад по проблеме универсальных адверсальных примеров на Конференции по компьютерному зрению и распознаванию образов (CVPR 2018). «На конференции к нам подошел незнакомый человек и сказал, что эти паттерны очень напоминают паттерны Тьюринга.
Это сходство несколько лет оставалось для нас загадкой, пока студенты магистратуры Сколтеха Нурислам Турсынбек, Мария Синдеева и аспирант Илья Вилковский не сформировали команду, которой удалось наконец разгадать тайну паттернов. Эта работа стала еще одним ярким примером внутреннего сотрудничества между центрами Сколтеха, в данном случае между Центром перспективных исследований (CAS) и CDISE», − рассказывает Иван Оселедец.
Природа и механизм адверсальных возмущений пока очень мало изучены. «Это долгая история игры в кошки-мышки между нападающим и обороняющимся. Одной из причин, по которой от таких атак до сих пор нет эффективной защиты – это недостаточность теоретической проработки. Выполнив это исследование, мы сделали еще один шаг в понимании необычных свойств UAP с помощью паттернов Тьюринга, которые имеют под собой прочную теоретическую базу. В перспективе это позволит построить теорию адверсальных примеров», − отмечает Иван Оселедец.
В предыдущих исследованиях было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут «обманывать» нейронную сеть. В этой работе исследователям Сколтеха удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. «Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях», − добавляет профессор Оселедец.
Telegram 
Дзен 
VK Ученые давно знают как с хорошим приближением прогнозировать рост поверхностей. Но экспериментально подтвердить точное соответствие реальных процессов и модели — гораздо более сложная задача, у которой, тем не менее, есть решение.
На Меркурии может появиться первый в истории «вечный рассвет»: ученые предложили отправить туда планетоход, который будет постоянно ехать вдоль границы дня и ночи. Подход открывает путь к изучению одного из самых загадочных миров Солнечной системы без риска разрушительного перегрева.
Энтомологи сравнили устойчивость коммерческих и диких гибридных медоносных пчел к главному паразиту ульев — клещу варроа. Полевые и лабораторные тесты показали, что гибриды заражаются в пять раз реже, поскольку их личинки не нравятся паразитам. Пчела-гибрид выживает без регулярных химических обработок и, что важно для пчеловодов, сохраняет миролюбивый характер.
Когда международная экспедиционная группа, исследующая море Уэдделла в Антарктиде на борту ледокола «Поларштерн», попыталась укрыться от шторма, ученые и экипаж судна удивились внезапному появлению острова, не обозначенного ни на одной морской карте.
Ученые давно знают как с хорошим приближением прогнозировать рост поверхностей. Но экспериментально подтвердить точное соответствие реальных процессов и модели — гораздо более сложная задача, у которой, тем не менее, есть решение.
Окаменелые остатки рептилии возрастом 289 миллионов лет сохранили полное анатомическое устройство грудной клетки ранних покорителей суши. Благодаря нетронутым хрящам исследователи реконструировали механику первого полноценного реберного дыхания. Наличие в тканях оригинальных белков подтвердило, что сложные органические молекулы способны сохраняться в палеонтологической летописи почти на 100 миллионов лет дольше, чем считалось.
В парках некоторых стран все чаще можно заметить странную картину: синицы и воробьи вместо пуха и веточек приносят в клювах сигаретные окурки. Орнитологи из Польши решили выяснить, зачем птицы выстилают гнезда мусором, пропитанным никотином. Оказалось, пернатые нашли способ использовать вредную человеческую привычку для защиты своего потомства. Но, как это часто бывает в природе, у медали есть обратная сторона.
Марсоход «Персеверанс» обнаружил в камнях на кромке кратера Езеро спектральные признаки минерала корунда, из которого на Земле образуются рубины и сапфиры. Такие спектры на Красной планете зарегистрировали впервые. Теперь ученые пытаются понять, при каких процессах он мог там сформироваться, ведь условия на Марсе заметно отличаются от тех, в которых корунд обычно образуется на Земле.
Четыре человека, летящие к Луне, столкнулись с целым рядом мелких неприятностей — от низкой температуры в начале работы до поломки мочевыводящей системы туалета на вторые сутки и необходимости взамен пользоваться пакетами. К счастью, пока самые крупные сложности удалось компенсировать. Но все они вместе могут сдвинуть ситуацию к решению, о котором Naked Science уже говорил в нашем видеоподкасте о миссии: не исключено, что при высадке астронавтов на Луне их корабль состыкуют со Starship не на окололунной, а уже на околоземной орбите.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно