Уровень доверия к ИИ и стратегии принятия решений исследовал профессор кафедры психологии ФСГН Государственного университета «Дубна» Александр Венгер. Совместно с профессором МФТИ Виктором Дозорцевым они разработали математическую модель, описывающую возможные стратегии оператора для устранения аварий на объектах повышенной опасности.
В университете «Дубна» узнали, как человек и ИИ могут вместе не допускать аварий / © Patrick Hendry, unsplash.com
В престижном международном журнале Mathematics опубликована статья доктора психологических наук, профессора кафедры психологии ФСГН Александра Венгера «Доверие рекомендациям искусственного интеллекта при принятии ответственных решений».
Важное направление применения ИИ – это опознание ситуаций, угрожающих аварией на объектах повышенной опасности. Обнаружив такую угрозу, ИИ предлагает оператору изменить режим технологического процесса, в простейшем случае – остановить его. Однако остановка влечет очень большие экономические потери, хотя и несопоставимые с последствиями аварии. Абсолютно точные предсказания невозможны, поэтому предупреждения ИИ носят вероятностный характер. ИИ только дает рекомендации, а решение принимает оператор – человек. При этом он должен практически исключить возможность аварии, но и не допустить слишком больших убытков.
Совместно с профессором МФТИ Виктором Дозорцевым Александр Венгер разработал математическую модель, описывающую возможные стратегии оператора.
Компьютерное моделирование показало, что в зависимости от характеристик технологического процесса и от точности предсказаний ИИ оптимальными (обеспечивающими достаточно надежное избегание аварий и при этом приносящими минимальный экономический ущерб) будут разные стратегии. Исходя из этого можно определять профессиональную пригодность оператора на основе свойственной ему стратегии.
Надо сказать, что в последние годы проблеме доверия ИИ посвящено большое количество исследований. Однако подавляющее большинство из них относится к ситуациям, в которых риск сводится к нежелательным, но не радикальным потерям. Между тем, на производствах повышенной опасности приходится учитывать риск события, которое приводит к неприемлемому ущербу.
Новизна подхода, предложенного в настоящем исследовании, определяется тем, что выделены индивидуально-психологические характеристики, влияющие на степень доверия оператора аварийным предупреждениям ИИ.
Одна из них – это степень «опасливости» оператора, то есть та вероятность аварии, которую он считает допустимой (достаточно малой). Например, у оператора, для которого допустима вероятность аварии в один процент, «опасливость» ниже, чем у оператора, для которого максимальная допустимая вероятность 0,1 процента. При чрезмерно высокой «опасливости» оператор будет нередко останавливать процесс, ориентируясь на ошибочный аварийный сигнал, что приведет к значительным экономическим потерям. При слишком низкой появляется риск проигнорировать правильный сигнал и спровоцировать катастрофу.
Вторая характеристика – это «склонность к сомнениям», то есть необходимая для принятия решения надежность оценки. Так, у оператора, которому необходима 99-процентная надежность оценки, «склонность к сомнениям» выше, чем у того, для которого достаточно 98-процентной надежности. Чрезмерная «склонность к сомнениям» чревата неоправданной тратой времени и ресурсов на сбор и проверку информации, недостаточная – принятием решений на основе случайных и недостаточно достоверных данных.
В дальнейшем предполагается выявлять индивидуальные стратегии операторов (соотношение указанных двух параметров) с помощью тренажеров, моделирующих технологический процесс. Это позволит проводить профотбор персонала для объектов повышенной опасности. Более отдаленная перспектива – это разработка программ обучения операторов оптимальной стратегии.
Описанное исследование вызвало интерес на VI отраслевой научно-практической конференции «Психофизиологическое обеспечение профессиональной надежности персонала предприятий и организаций атомной отрасли» (Сочи, 25-26.10.2023). В настоящее время начата совместная работа со специалистами по подготовке кадров для атомной отрасли.
