Мультяшные очки научили нейросети иллюзиям

Работа современных систем распознавания лиц основана на технологии машинного обучения. Точность некоторых из них, например FaceNet и FaceNLarge, может достигать 100 процентов, однако в естественных условиях показатель может быть ниже. При этом для искажения результатов человеку необязательно частично или полностью скрывать лицо: исследования показали, что на качество распознавания влияет даже объем обрабатываемых данных.

В новой работе ученые использовали для обмана систем солнцезащитные очки. На оправу без стекол они накладывали цветную накладку из фотобумаги с узором, которая была распечатана на 3D-принтере. При анализе изображения очки занимали около шести процентов от общего числа пикселей.

С помощью онлайн-платформы Face++ авторы обучили три различных нейросети распознаванию лиц. Одна из нейросетей обучалась на базе фотографий 2622 знаменитостей (около тысячи снимков для каждого человека), две другие — методом переноса обучения от первой. Кроме того, дополнительные нейросети обучались идентификации лиц пяти авторов работы и трех авторов соответственно — в очках и без очков. Затем они провели два эксперимента: с полным «исчезновением» и подменой личности.

Результаты первой серии исследования показали, что «вторичная» нейросеть, натренированная на 143 людях, не способна распознать ученых в 100 процентах случаев. Другая «вторичная» нейросеть (десять человек) не смогла распознать трех авторов в 100, 97,2 и 80 процентах соответственно. По мнению ученых, частичное распознавание в последнем случае может быть связано с тем, что субъект носит очки в повседневной жизни, и нейросеть обучалась по соответствующим фотографиям.

На втором этапе фотографии авторов сравнивались со знаменитостями. Точность распознавания в этом случае также была незначительной: так, нейросети «перепутали» одного ученого (мужчину в очках) с актрисой Милой Йовович (87,9 процента), другого — с актером Карсоном Дейли (100 процентов). В одном случае машина «подменила» снимок автора в очках с узором на коллегу в традиционных очках. Между тем некоторых знаменитостей нейросети узнавали чаще — например, актера Клайва Оуэнна (в 89,3 процентах случаев).