Американцы уличат нейросети в дискриминации

С развитием искусственных нейросетей растет интерес к их ограничениям. Опытные образцы таких алгоритмов часто обучаются распознаванию речи и лиц; подобные, но менее «интеллектуальные», системы уже применяются для автоматизации рутинных процессов, например в банковской сфере. При этом способов проверить адекватность решений, которые приняты машиной в этом случае, до сих пор не существовало — этому мешает высокая сложность процессов.

Чтобы восполнить пробел, специалисты из Google и Чикагского университета предложили использовать принцип равных возможностей в обучении с привлечением учителя (Equality of Opportunity in Supervised Learning). Он заключается в том, что ученые анализируют входящие и исходящие данные и сопоставляют их. С помощью статистики они оценивают вероятность того или иного решения и делают вывод о «мотивах» искусственной нейросети.

В качестве иллюстрации авторы привели пример с обработкой заявлений о выдаче кредитов. При условии, что алгоритм обучался на данных, согласно которым мужчины в среднем чаще имеют задолженность по выплатам, в дальнейшем он может отказывать некоторым клиентам (мужчинам) только на основании половой принадлежности. Такие проявления дискриминации могут быть предсказаны и скорректированы — за счет ввода дополнительных данных.

Технологией заинтересовалось Бюро по финансовой защите потребителей (CFPB) США: предполагается, что она может применяться для оценки деятельности банков. Тем не менее, новый подход вызвал и критику: так, вмешательство в работу алгоритмов повлечет за собой раскрытие информации, которая использовалась для их обучения. В результате обнародованию, например, будет подлежать статистика преступлений, связанная с расовой принадлежностью.