Нейросети не умеют распознавать людей с темной кожей

Несколько лет назад авторы статьи уже обнаружили некоторые неточности в работе нейросетей. Они заметили, что системы, обрабатывающие данные с помощью ИИ, без проблем идентифицируют светлокожих людей и часто допускают ошибки при распознавании тех, чей тон кожи несколько темнее. Чтобы это доказать, исследователь из медиалаборатории МТИ Джой Буоламвини (Joy Buolamwini) собрала коллекцию из 1200 фотографий разных людей, где в большинстве были представлены женщины с темной кожей. Затем она обратилась к шкале Фитцпатрика, согласно которой существует 6 фототипов кожи (где I – самый светлый, VI – самый темный). Все собранные материалы специалист использовала для анализа трех коммерческих программ.

В итоге выяснилось, что во время идентификации женщин с более темной кожей одна программа допускала 20,8% ошибок при определении лиц с IV типом кожи, 34,5% – с V типом и 34,7% –с VI типом. Результаты проверки работы двух других программ тоже неутешительны: более 46% ошибок при распознавании женщин с самой темной кожей. Кроме того, оказалось, что фототип влияет и на точность определения пола: чем он темнее, тем чаще нейросеть делает неверные выводы. Ошибки же при идентификации мужчин со светлой кожей не превышали 0,8%.

Эти выводы подняли множество вопросов о качестве работы нейросетей, которые используются при розыске преступников или в приложениях для разблокировки смартфона с помощью фото. Например, одна американская компания, разрабатывающая софт-обеспечение, утверждала, что их системы могут точно распознавать лица в 97% случаев. Но после оценки выяснилось, что валидные результаты получаются только при работе со светлокожими мужчинами.

Рушир Пури, сотрудник IBM Watson, говорит, что это исследование оказало влияние на модель, которая создается в данный момент. «Выводы Буоламвини дали нам много пищи для размышлений, и, возможно, мы внесем в продукт некоторые изменения», – добавляет он. Результаты исследования в скором времени будут представлены на Конференции по вопросам справедливости, подотчетности и транспарентности в Нью-Йорке.