10 марта
Сколтех

В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть

4.3

Исследователям Сколтеха удалось показать, что паттерны, способные приводить к ошибкам в работе нейронных сетей при распознавании изображений, по сути можно назвать широко встречающимися в природе Тьюринг-подобными паттернами. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми для внешних атак.

Беспилотный автомобиль / ©Getty images

Результаты исследования были представлены авторами на 35-й Конференции AAAI по искусственному интеллекту (AAAI-21). Статья доступна в виде препринта на сервере arXiv.org. Глубокие нейронные сети, которые уже на данном этапе своего развития способны эффективно решать задачи распознавания и классификации изображений, до сих пор не могут противостоять так называемым адверсальным атакам в виде создания мелких, но характерных искажений на изображении, которые приводит к ошибочному результату работы нейронной сети. Некоторые из таких атак универсальные, то есть при их подаче на вход сети они неизменно нарушают ее работу.

Такие возмущения могут представлять серьезную угрозу для безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эпроблему.

Профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE), руководитель Лаборатории вычислительного интеллекта CDISE Иван Оселедец и его коллеги дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие «паттерна», лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных.

Поводом для этой работы стало счастливое стечение обстоятельств: в 2018 году Иван Оселедец и Валентин Хрульков представили доклад по проблеме универсальных адверсальных примеров на Конференции по компьютерному зрению и распознаванию образов (CVPR 2018). «На конференции к нам подошел незнакомый человек и сказал, что эти паттерны очень напоминают паттерны Тьюринга.

Это сходство несколько лет оставалось для нас загадкой, пока студенты магистратуры Сколтеха Нурислам Турсынбек, Мария Синдеева и аспирант Илья Вилковский не сформировали команду, которой удалось наконец разгадать тайну паттернов. Эта работа стала еще одним ярким примером внутреннего сотрудничества между центрами Сколтеха, в данном случае между Центром перспективных исследований (CAS) и CDISE», − рассказывает Иван Оселедец.

Природа и механизм адверсальных возмущений пока очень мало изучены. «Это долгая история игры в кошки-мышки между нападающим и обороняющимся. Одной из причин, по которой от таких атак до сих пор нет эффективной защиты – это недостаточность теоретической проработки. Выполнив это исследование, мы сделали еще один шаг в понимании необычных свойств UAP с помощью паттернов Тьюринга, которые имеют под собой прочную теоретическую базу. В перспективе это позволит построить теорию адверсальных примеров», − отмечает Иван Оселедец.

В предыдущих исследованиях было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут «обманывать» нейронную сеть. В этой работе исследователям Сколтеха удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. «Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях», − добавляет профессор Оселедец. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Вчера, 12:32
Алиса Гаджиева

Археологи обнаружили доказательства того, что доисторическое строение возрастом в 11 тысяч лет использовали для церемониальных действий, а потом преднамеренно засыпали землей.

Вчера, 13:37
Ольга Иванова

Американские исследователи пришли к выводу, что человеческий мозг уменьшился из-за процессов глобализации, кооперации и разделения труда.

Вчера, 13:46
Александр Березин

Повелители тундростепей Евразийского континента, оказывается, вовсе не вымерли с концом ледникового периода. Вопреки тому, что считалось ранее, они выжили — как минимум на Таймыре и как минимум до 1900 года до нашей эры. А это на много веков позже постройки пирамиды Хеопса. Получается, человек не привел мамонта к вымиранию? Или, напротив, нашел затерянные на Таймыре остатки вида и уничтожил их совсем недавно? Это сложный вопрос, от которого зависит ответ на другой: могут ли слоны заселить Север России и в наши дни?

18 октября
Елена Синицкая

На днях израильский ныряльщик обнаружил на дне Средиземного моря у Хоф-ха-Кармель древние предметы, среди которых оказался меч удивительной сохранности. По мнению специалистов Израильского управления древностей, железный меч с клинком около одного метра и 30-сантиметровой рукоятью принадлежал крестоносцу и датируется XII веком.

19 октября
Илья Ведмеденко

В КНР испытали монолитный твердотопливный ракетный двигатель, имеющий самую большую тягу в мире. Разработка изделия важна для создания ракет тяжелого класса.

20 октября
Александр Березин

Новая работа в авторитетном научном журнале показала, что за восемь месяцев титр антител от мРНК-вакцин падает в десятки раз, а от векторной — на том же аденовирусе, что «Спутник-лайт» — почти не уменьшается вовсе. На сегодня ясно, что снижение уровня антител — главная причина падения защиты от Pfizer с 90% до 47% за полгода. Значит ли это, что страны, поставившие на аденовирусно-векторные вакцины, сделали лучший выбор? И за счет чего они могли опередить такую вроде бы революционную вакцинную платформу, как мРНК? Наконец: действительно ли «Спутник» может повысить риск заражения ВИЧ, как это утверждают медицинские власти ЮАР?

13 октября
Мария Азарова

Анализ образцов крови, взятых у российских космонавтов до и после их полета на МКС, показал, что длительное пребывание в космосе может провоцировать повреждение мозга.

12 октября
Алиса Гаджиева

Две тысячи лет назад многие сооружения строили лучше, чем сегодня.

27 сентября
Мария Азарова

Новое исследование генетиков из Германии и Италии, похоже, помогло найти ответ на вопрос, который занимал ученых свыше двух тысяч лет: откуда взялись этруски?

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: