Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
В Сколтехе показали, как паттерны Тьюринга «обманывают» нейронную сеть
Исследователям Сколтеха удалось показать, что паттерны, способные приводить к ошибкам в работе нейронных сетей при распознавании изображений, по сути можно назвать широко встречающимися в природе Тьюринг-подобными паттернами. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми для внешних атак.
Результаты исследования были представлены авторами на 35-й Конференции AAAI по искусственному интеллекту (AAAI-21). Статья доступна в виде препринта на сервере arXiv.org. Глубокие нейронные сети, которые уже на данном этапе своего развития способны эффективно решать задачи распознавания и классификации изображений, до сих пор не могут противостоять так называемым адверсальным атакам в виде создания мелких, но характерных искажений на изображении, которые приводит к ошибочному результату работы нейронной сети. Некоторые из таких атак универсальные, то есть при их подаче на вход сети они неизменно нарушают ее работу.
Такие возмущения могут представлять серьезную угрозу для безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эпроблему.
Профессор Центра Сколтеха по научным и инженерным вычислительным технологиям для задач с большими массивами данных (CDISE), руководитель Лаборатории вычислительного интеллекта CDISE Иван Оселедец и его коллеги дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие «паттерна», лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных.
Поводом для этой работы стало счастливое стечение обстоятельств: в 2018 году Иван Оселедец и Валентин Хрульков представили доклад по проблеме универсальных адверсальных примеров на Конференции по компьютерному зрению и распознаванию образов (CVPR 2018). «На конференции к нам подошел незнакомый человек и сказал, что эти паттерны очень напоминают паттерны Тьюринга.
Это сходство несколько лет оставалось для нас загадкой, пока студенты магистратуры Сколтеха Нурислам Турсынбек, Мария Синдеева и аспирант Илья Вилковский не сформировали команду, которой удалось наконец разгадать тайну паттернов. Эта работа стала еще одним ярким примером внутреннего сотрудничества между центрами Сколтеха, в данном случае между Центром перспективных исследований (CAS) и CDISE», − рассказывает Иван Оселедец.
Природа и механизм адверсальных возмущений пока очень мало изучены. «Это долгая история игры в кошки-мышки между нападающим и обороняющимся. Одной из причин, по которой от таких атак до сих пор нет эффективной защиты – это недостаточность теоретической проработки. Выполнив это исследование, мы сделали еще один шаг в понимании необычных свойств UAP с помощью паттернов Тьюринга, которые имеют под собой прочную теоретическую базу. В перспективе это позволит построить теорию адверсальных примеров», − отмечает Иван Оселедец.
В предыдущих исследованиях было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут «обманывать» нейронную сеть. В этой работе исследователям Сколтеха удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. «Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях», − добавляет профессор Оселедец.
В архивах английского поместья столетиями пылилась ничем не примечательная книга учета XVI века. Никто не подозревал, что внутри ее переплета скрываются фрагменты пергамента с историями, которые переписывали монахи семь веков назад. Тайна раскрылась, когда архивариус заметил странные символы на обложке. Так началось расследование, объединившее разных ученых. Исследователи три года пытались прочитать текст, не прикасаясь к нему. Теперь они представили результат своего труда — мир получил два ранее неизвестных эпизода о волшебнике Мерлине, короле Артуре и рыцаре Гавейне.
Могут ли истории о далеких галактиках и технологиях будущего объединить человечество? Согласно новому исследованию ученых из Китая, научная фантастика, вызывающая чувство благоговения, усиливает ощущение глобальной взаимосвязи между людьми.
Американские зоологи задались вопросом: как можно улучшить условия содержания птиц в неволе? Они добавили в лабораторные клетки подстилку из искусственной травы, чтобы птица могла питаться в знакомой среде, а не из стандартной миски. Опыты проводили на воробьях — исследователи несколько недель замеряли их реакцию на стресс. Результаты показали, что искусственная трава может улучшить состояние птиц в неволе, но переселять их потом не стоит.
Ученые из Сколтеха исследовали разнообразие молекул, которые могут образовываться из атомов кислорода и углерода. Помимо широко известных углекислого и угарного газов, моделирование обнаружило две сотни экзотических, но относительно стабильных соединений этих двух элементов, многие из которых не были описаны ранее. Этот класс веществ представляет интерес для исследований космоса, аккумуляторных технологий, биохимии и — неожиданным образом — для разработки промышленной взрывчатки и ракетного топлива. Как оказалось, некоторые из открытых веществ при распаде будут высвобождать более 75 процентов взрывной энергии тротила.
Antares и Exlabs подписали соглашения о сотрудничестве в разработке космического зонда с ядерным двигателем. В ее рамках разработчики планируют вывести реактор в космос уже в 2020-х годах — впервые в XXI веке.
В архивах английского поместья столетиями пылилась ничем не примечательная книга учета XVI века. Никто не подозревал, что внутри ее переплета скрываются фрагменты пергамента с историями, которые переписывали монахи семь веков назад. Тайна раскрылась, когда архивариус заметил странные символы на обложке. Так началось расследование, объединившее разных ученых. Исследователи три года пытались прочитать текст, не прикасаясь к нему. Теперь они представили результат своего труда — мир получил два ранее неизвестных эпизода о волшебнике Мерлине, короле Артуре и рыцаре Гавейне.
Когда пара расстается, многие люди продолжают испытывать чувства к своим бывшим. Если разрыв произошел по инициативе другой стороны и отношения длились много лет, полностью «забыть» еще недавно близкого человека может быть непросто. Существует мнение, что и после расставания привязанность к экс-партнерам в какой-то мере сохраняется. Впрочем, согласно другой точке зрения, со временем эта эмоциональная связь ослабевает и утрачивается. Разобраться, как происходит на самом деле и сколько времени может потребоваться на полный эмоциональный разрыв с бывшими возлюбленными, взялись психологи из Иллинойсского университета в Урбане-Шампейне (США).
В двойственных, или обратимых, изображениях зритель может увидеть разные объекты в зависимости от того, на каких деталях концентрируется его внимание. Среди известных примеров таких рисунков — иллюзия «кролик-утка», сочетающая двух животных, и обратимая ваза (или ваза Рубина), которая может казаться двумя силуэтами лиц, если сосредоточиться на фоне. В соцсетях и популярных СМИ часто публикуют подобные картинки, утверждая, что по тому, какое изображение человек видит в первую очередь, можно судить о его личностных чертах и особенностях мышления. Двое психологов из Великобритании недавно проверили, так ли это на самом деле.
Масштабный анализ геномов показал, что вид Homo sapiens возник в результате смешения двух древних популяций. Они разделились полтора миллиона лет назад, а затем воссоединились до расселения по миру.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии