В алгоритме для оценки здоровья нашли «расовые предрассудки» — Naked Science
7 минут
София Жаботинская

В алгоритме для оценки здоровья нашли «расовые предрассудки»

Программное обеспечение, которое должно быть беспристрастным, унаследовало вредные человеческие стереотипы.

Кадр из сериала «Доктор Хаус»
Кадр из сериала «Доктор Хаус»

Ученые из Калифорнийского университета в Беркли совместно с коллегами из Чикаго выяснили, что компьютерные алгоритмы, созданные для исключения предвзятости при оказании медицинской помощи, вместо этого демонстрируют расовые предпочтения. Свою работу авторы опубликовали в Science.

Исследователи проанализировали, как алгоритмы отбирают пациентов для попадания в госпрограмму медицинской поддержки. Предполагается, что это программное обеспечение поможет выделить пациентов с высоким риском здоровью, не руководствуясь человеческими стереотипами, предубеждениями, предрассудками или склонностями. Важно, чтобы нуждающийся в лечении пациент не получал по решению сотрудника отказ из-за «неправильного» пола, расы, образования, религии или образа жизни.

Однако, как показывают работы последнего времени и, в частности, исследование авторов, алгоритмы активно набирают в качестве критериев отбора предубеждения, свойственные людям. Почему так получается? Иногда проблема в подходе к обучению, если речь идет о нейросетях. В случае же, описанном в статье, проблема была в недостатке переменных, которыми оперировала программа.

Ученые рассмотрели данные 43 539 белых пациентов и 6079 чернокожих, которых алгоритм должен был либо поместить в группу людей, которым требуется помощь, либо отказать в ней. Задача перед программой стояла такая: выбрать тех пациентов, кому можно помочь с наибольшей эффективностью соотношения «риск — результат — затраты». Выбор, сделанный компьютером, сравнили с объективными показаниями (учитывающими биомаркеры и жизненные показатели), сделанными вручную без учета расы пациента. Оказалось, при отборе программа показала расовую предвзятость, предпочитая здоровых белых американцев и обходя чернокожих пациентов.

График А (слева) показывает, насколько больше количество хронических болезней у чернокожих пациентов (фиолетовый цвет на графике), чем у белых пациентов (морковный цвет). График B показывает, как предсказания «предвзятого» алгоритма (непрерывная линия) отличаются от предсказаний исправленной программы (штриховая линия) / © Obermeyer, Powers, Vogeli, Mullainathan, Science, 2019.

Исследователи выяснили, что перекос возник из-за ошибки при построении алгоритма отбора. Чернокожее население при современном состоянии здравоохранения в США хуже обеспечивалось медпомощью и, как следствие, в среднем имеет худшее состояние здоровья. В результате, учитывая сопутствующие заболевания и зачастую большую запущенность основных недугов, раса в алгоритмах программы становится сцепленной с худшими прогнозами и большей стоимостью лечения.

«Сами по себе алгоритмы не являются ни хорошими, ни плохими. Это просто вопрос заботы о том, как они построены. В этом случае проблема в высшей степени решаема, и по крайней мере один производитель [программного обеспечения], кажется, работает над исправлением. Мы призываем других сделать это», — поясняет автор работы профессор Сендхил Малленатан. Внеся в алгоритмы больше переменных — например, учитывающих снижение последующих затрат на лечение за счет небольших расходов на профилактику, — ученые получили нормальное расовое распределение пациентов, прошедших отбор.

По словам исследователей, это показывает, что важно учитывать все факторы при принятии решений, чтобы не получать нежизнеспособные методы оценки. Необходимы регулярные проверки, которые помогут устранять ошибки в вычислениях. «Для алгоритмов, как и для медицины, мы бы предпочли предотвращать проблемы, а не лечить их», — шутит ведущий автор работы Зиад Обермейер.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Вчера, 20:00
10 минут
Мария Азарова

Ученые провели анализ по 353 профессиям и оценили, насколько различия в статусе потребления алкоголя можно объяснить родом занятий.

6 часов назад
4 минуты
Илья Ведмеденко

Немцы заключили соглашение, предполагающее поставку израильских комплексов активной защиты Trophy для оснащения основных боевых танков Leopard 2.

10 часов назад
4 минуты
Сергей Васильев

Моделирование показало, что Фобос и Деймос могли появиться пару миллиардов лет назад, в результате гибели древнего спутника Марса.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

Позавчера, 09:49
4 минуты
Виктория Сафронова

Звук — шум от передвижения марсохода — записан одним из его микрофонов.

22 февраля
5 минут
Илья Ведмеденко

Новое видео демонстрирует использование новейшего российского разведывательно-ударного БПЛА «Орион» на территории Сирии. Ранее этот комплекс приняли на вооружение.

27 января
6 минут
Василий Парфенов

Интересным наблюдением поделились сотрудники Чернобыльского радиационно-экологического биосферного заповедника. Они уже более трех лет следят за жизнью стада одичавших коров, поведение которого сильно отличается от того, что можно наблюдать у домашних сельскохозяйственных животных.

21 февраля
20 минут
Василий Парфенов

Кого и что только ни успели уже обвинить в технологической катастрофе, которая произошла на этой неделе в США. Но эмоции плавно оседают, и начинают появляться первые результаты разбирательства. А они порой вызывают искреннее недоумение, честно говоря.

2 февраля
44 минуты
Александр Березин

В научном журнале The Lancet появились итоги клинических испытаний «Спутника-V», и на первый взгляд эта публикация — триумф. Российская вакцина показала эффективность выше, чем у Pfizer и Moderna. Увы, на этом хорошие новости закончились. Плохих две.

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: