Какие профессии востребованы сегодня?
Подробнее
  • Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
10.03.2021
Сколтех
1 771

В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть

4.3

Исследователям Сколтеха удалось показать, что паттерны, способные приводить к ошибкам в работе нейронных сетей при распознавании изображений, по сути можно назвать широко встречающимися в природе Тьюринг-подобными паттернами. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми для внешних атак.

Беспилотный автомобиль / ©Getty images

Результаты исследования были представлены авторами на 35-й Конференции AAAI по искусственному интеллекту (AAAI-21). Статья доступна в виде препринта на сервере arXiv.org. Глубокие нейронные сети, которые уже на данном этапе своего развития способны эффективно решать задачи распознавания и классификации изображений, до сих пор не могут противостоять так называемым адверсальным атакам в виде создания мелких, но характерных искажений на изображении, которые приводит к ошибочному результату работы нейронной сети. Некоторые из таких атак универсальные, то есть при их подаче на вход сети они неизменно нарушают ее работу.

Такие возмущения могут представлять серьезную угрозу для безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эпроблему.

Профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE), руководитель Лаборатории вычислительного интеллекта CDISE Иван Оселедец и его коллеги дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие «паттерна», лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных.

Поводом для этой работы стало счастливое стечение обстоятельств: в 2018 году Иван Оселедец и Валентин Хрульков представили доклад по проблеме универсальных адверсальных примеров на Конференции по компьютерному зрению и распознаванию образов (CVPR 2018). «На конференции к нам подошел незнакомый человек и сказал, что эти паттерны очень напоминают паттерны Тьюринга.

Это сходство несколько лет оставалось для нас загадкой, пока студенты магистратуры Сколтеха Нурислам Турсынбек, Мария Синдеева и аспирант Илья Вилковский не сформировали команду, которой удалось наконец разгадать тайну паттернов. Эта работа стала еще одним ярким примером внутреннего сотрудничества между центрами Сколтеха, в данном случае между Центром перспективных исследований (CAS) и CDISE», − рассказывает Иван Оселедец.

Природа и механизм адверсальных возмущений пока очень мало изучены. «Это долгая история игры в кошки-мышки между нападающим и обороняющимся. Одной из причин, по которой от таких атак до сих пор нет эффективной защиты – это недостаточность теоретической проработки. Выполнив это исследование, мы сделали еще один шаг в понимании необычных свойств UAP с помощью паттернов Тьюринга, которые имеют под собой прочную теоретическую базу. В перспективе это позволит построить теорию адверсальных примеров», − отмечает Иван Оселедец.

В предыдущих исследованиях было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут «обманывать» нейронную сеть. В этой работе исследователям Сколтеха удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. «Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях», − добавляет профессор Оселедец. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Вчера, 16:00
Александр Березин

Новое видео из зоны боевых действий показывает работу систем HIMARS — колесных пусковых установок реактивной артиллерии американского производства. Впрочем, по ряду причин они не смогут оказать заметное влияние на боевые действия. Несмотря на это, их применение может привести к серьезной эскалации конфликта в ином плане.

Позавчера, 21:11
Мария Азарова

По словам главы Европейского космического агентства, если ранее сотрудничество с Россией лишь формально приостановили, то сделка с NASA по ExoMars будет означать окончательное прекращение партнерства.

Позавчера, 17:16
Александр Березин

По размерам и массе он серьезно больше Су-25, а целый ряд компоновочных решений выглядит необычно. Проект резко отличается от российского тяжелого беспилотника С-70 «Охотник»: вероятно, это связано с тем, что европейские производители, в отличие от отечественных, не планируют использовать новинку в зоне работы ПВО противника. . Зато новый боевой дрон будут привлекать к патрулированию над городскими кварталами Германии.

Вчера, 16:00
Александр Березин

Новое видео из зоны боевых действий показывает работу систем HIMARS — колесных пусковых установок реактивной артиллерии американского производства. Впрочем, по ряду причин они не смогут оказать заметное влияние на боевые действия. Несмотря на это, их применение может привести к серьезной эскалации конфликта в ином плане.

22 июня
Анна Новиковская

Большая часть людей выступают средой обитания для множества разнообразных паразитов, и угревая железница, поселившаяся в наших волосяных фолликулах, — еще не самая зловредная из них. Теперь ученые выяснили, что этот крошечный клещик находится на пути превращения из паразита в постоянного симбионта, который будет жить с нами во взаимовыгодном сотрудничестве.

Позавчера, 14:08
Ольга Иванова

Международная команда ученых пришла к выводу, что несложный тест способен довольно точно предсказать, умрет ли человек в течение следующих семи лет. Правда, это касается лишь тех, кому за 50 лет.

2 июня
Алиса Гаджиева

Значительная часть научного сообщества отрицает само существование культуры Ацтатлан.

28 мая
Александр Березин

Флот продемонстрировал возможность наносить неперехватываемые ракетные удары на расстоянии, делающим его опасным для авианосных групп противника.

Вчера, 16:00
Александр Березин

Новое видео из зоны боевых действий показывает работу систем HIMARS — колесных пусковых установок реактивной артиллерии американского производства. Впрочем, по ряду причин они не смогут оказать заметное влияние на боевые действия. Несмотря на это, их применение может привести к серьезной эскалации конфликта в ином плане.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: