В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть — Naked Science
7 минут
Сколтех

В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть

4.3

Исследователям Сколтеха удалось показать, что паттерны, способные приводить к ошибкам в работе нейронных сетей при распознавании изображений, по сути можно назвать широко встречающимися в природе Тьюринг-подобными паттернами. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми для внешних атак.

Беспилотный автомобиль / ©Getty images

Результаты исследования были представлены авторами на 35-й Конференции AAAI по искусственному интеллекту (AAAI-21). Статья доступна в виде препринта на сервере arXiv.org. Глубокие нейронные сети, которые уже на данном этапе своего развития способны эффективно решать задачи распознавания и классификации изображений, до сих пор не могут противостоять так называемым адверсальным атакам в виде создания мелких, но характерных искажений на изображении, которые приводит к ошибочному результату работы нейронной сети. Некоторые из таких атак универсальные, то есть при их подаче на вход сети они неизменно нарушают ее работу.

Такие возмущения могут представлять серьезную угрозу для безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эпроблему.

Профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE), руководитель Лаборатории вычислительного интеллекта CDISE Иван Оселедец и его коллеги дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие «паттерна», лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных.

Поводом для этой работы стало счастливое стечение обстоятельств: в 2018 году Иван Оселедец и Валентин Хрульков представили доклад по проблеме универсальных адверсальных примеров на Конференции по компьютерному зрению и распознаванию образов (CVPR 2018). «На конференции к нам подошел незнакомый человек и сказал, что эти паттерны очень напоминают паттерны Тьюринга.

Это сходство несколько лет оставалось для нас загадкой, пока студенты магистратуры Сколтеха Нурислам Турсынбек, Мария Синдеева и аспирант Илья Вилковский не сформировали команду, которой удалось наконец разгадать тайну паттернов. Эта работа стала еще одним ярким примером внутреннего сотрудничества между центрами Сколтеха, в данном случае между Центром перспективных исследований (CAS) и CDISE», − рассказывает Иван Оселедец.

Природа и механизм адверсальных возмущений пока очень мало изучены. «Это долгая история игры в кошки-мышки между нападающим и обороняющимся. Одной из причин, по которой от таких атак до сих пор нет эффективной защиты – это недостаточность теоретической проработки. Выполнив это исследование, мы сделали еще один шаг в понимании необычных свойств UAP с помощью паттернов Тьюринга, которые имеют под собой прочную теоретическую базу. В перспективе это позволит построить теорию адверсальных примеров», − отмечает Иван Оселедец.

В предыдущих исследованиях было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут «обманывать» нейронную сеть. В этой работе исследователям Сколтеха удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. «Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях», − добавляет профессор Оселедец. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Позавчера, 16:23
5 минут
Илья Ведмеденко

Согласно представленным данным, строительству российской орбитальной станции дали зеленый свет. Практическая реализация программы должна начаться вскоре.

Позавчера, 10:28
5 минут
Ольга Иванова

Ученые из Австралии узнали, на протяжении какого периода времени сохраняется эффект эйфории после употребления марихуаны. Это необходимо, например, для более эффективного применения лекарств на основе каннабиса или понимания того, сколько времени необходимо, чтобы сесть за руль.

6 часов назад
4 минуты
Илья Ведмеденко

Истребитель F-15C Eagle Военно-воздушных сил США уничтожил цель ракетой AIM-120 AMRAAM на максимальной дистанции из всех известных.

Позавчера, 10:28
5 минут
Ольга Иванова

Ученые из Австралии узнали, на протяжении какого периода времени сохраняется эффект эйфории после употребления марихуаны. Это необходимо, например, для более эффективного применения лекарств на основе каннабиса или понимания того, сколько времени необходимо, чтобы сесть за руль.

8 апреля
13 минут
Мария Азарова

Когда знаменитый епископ Лунда Педер Винструп умер, его похоронили в семейном склепе в Лундском соборе вместе с женой. После реставрации собора в XIX веке гробы перенесли в общее хранилище, а в 2012 году ученые решили исследовать мумифицированные останки. Неожиданно в ногах Винструпа обнаружили небольшой кулек — завернутое в ткань тело недоношенного ребенка. Это открытие вызвало резонный вопрос: как эмбрион попал в гроб к епископу и имели ли они родственную связь?

Позавчера, 16:23
5 минут
Илья Ведмеденко

Согласно представленным данным, строительству российской орбитальной станции дали зеленый свет. Практическая реализация программы должна начаться вскоре.

17 марта
12 минут
Василий Парфенов

Продолжавшееся более пяти лет уголовное дело подошло к завершению: серийного сетевого сексуального маньяка осудили на 75 лет тюремного заключения. Чтобы поймать человека, растлившего 375 несовершеннолетних девушек, потребовалось пойти на беспрецедентные и этически спорные меры: создать вредоносное ПО и подсунуть злоумышленнику видеоловушку со встроенным вирусом.

25 марта
36 минут
Александр Березин

Улыбающийся мультимиллиардер планирует понять, насколько эффективно мел в стратосфере защищает планету от солнечного света, и если результат хорош, распылить его там в гигантских количествах. Потенциально это результативная задумка: ученые давно показали, что так можно добиться полного покрытия Земли устойчивыми льдами — вплоть до экватора. Увы, идея Гейтса — плагиат, причем не лучший. Советский исследователь предложил похожее полвека назад с более эффективной серой. Интереснее другое: подобные мероприятия один раз едва не уничтожили человечество. Разбираемся в деталях, а также в том, грозит ли нам повторение.

31 марта
51 минута
Александр Березин

Самый зловещий оружейный проект всех времен и народов — термоядерная торпеда, предназначенная для радиационного поражения огромных площадей и создания искусственного цунами. Никогда до этого ни одна страна даже не заявляла о намерении сделать нечто настолько опасное для живых существ. Поэтому российский проект «Посейдон», обещающий именно это, вызывает бурю эмоций. Однако тщательный технический анализ показывает: в реальности он будет совсем не таким, как об этом пишут в СМИ. Даже если он предназначен для радиационного поражения обширных площадей, оно не будет долгим. А уже через год «омытые» им районы будут абсолютно безопасны. Тем не менее новая система действительно изменит стратегический баланс на планете — но не так, как все думают. Попробуем разобраться в ситуации подробнее.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: