В университете «Дубна» узнали, как человек и ИИ могут вместе не допускать аварий

В престижном международном журнале Mathematics опубликована статья доктора психологических наук, профессора кафедры психологии ФСГН Александра Венгера «Доверие рекомендациям искусственного интеллекта при принятии ответственных решений».

Важное направление применения ИИ – это опознание ситуаций, угрожающих аварией на объектах повышенной опасности. Обнаружив такую угрозу, ИИ предлагает оператору изменить режим технологического процесса, в простейшем случае – остановить его. Однако остановка влечет очень большие экономические потери, хотя и несопоставимые с последствиями аварии. Абсолютно точные предсказания невозможны, поэтому предупреждения ИИ носят вероятностный характер. ИИ только дает рекомендации, а решение принимает оператор – человек. При этом он должен практически исключить возможность аварии, но и не допустить слишком больших убытков.

Совместно с профессором МФТИ Виктором Дозорцевым Александр Венгер разработал математическую модель, описывающую возможные стратегии оператора.

Компьютерное моделирование показало, что в зависимости от характеристик технологического процесса и от точности предсказаний ИИ оптимальными (обеспечивающими достаточно надежное избегание аварий и при этом приносящими минимальный экономический ущерб) будут разные стратегии. Исходя из этого можно определять профессиональную пригодность оператора на основе свойственной ему стратегии.

Надо сказать, что в последние годы проблеме доверия ИИ посвящено большое количество исследований. Однако подавляющее большинство из них относится к ситуациям, в которых риск сводится к нежелательным, но не радикальным потерям. Между тем, на производствах повышенной опасности приходится учитывать риск события, которое приводит к неприемлемому ущербу.

Новизна подхода, предложенного в настоящем исследовании, определяется тем, что выделены индивидуально-психологические характеристики, влияющие на степень доверия оператора аварийным предупреждениям ИИ.

Одна из них – это степень «опасливости» оператора, то есть та вероятность аварии, которую он считает допустимой (достаточно малой). Например, у оператора, для которого допустима вероятность аварии в один процент, «опасливость» ниже, чем у оператора, для которого максимальная допустимая вероятность 0,1 процента. При чрезмерно высокой «опасливости» оператор будет нередко останавливать процесс, ориентируясь на ошибочный аварийный сигнал, что приведет к значительным экономическим потерям. При слишком низкой появляется риск проигнорировать правильный сигнал и спровоцировать катастрофу.

Вторая характеристика – это «склонность к сомнениям», то есть необходимая для принятия решения надежность оценки. Так, у оператора, которому необходима 99-процентная надежность оценки, «склонность к сомнениям» выше, чем у того, для которого достаточно 98-процентной надежности. Чрезмерная «склонность к сомнениям» чревата неоправданной тратой времени и ресурсов на сбор и проверку информации, недостаточная – принятием решений на основе случайных и недостаточно достоверных данных.

В дальнейшем предполагается выявлять индивидуальные стратегии операторов (соотношение указанных двух параметров) с помощью тренажеров, моделирующих технологический процесс. Это позволит проводить профотбор персонала для объектов повышенной опасности. Более отдаленная перспектива – это разработка программ обучения операторов оптимальной стратегии.

Описанное исследование вызвало интерес на VI отраслевой научно-практической конференции «Психофизиологическое обеспечение профессиональной надежности персонала предприятий и организаций атомной отрасли» (Сочи, 25-26.10.2023). В настоящее время начата совместная работа со специалистами по подготовке кадров для атомной отрасли. 

Университет «Дубна»

3 статей

Университет «Дубна» – это федеральный университет, который обеспечивает технологическое лидерство России, развивая фундаментальные и прикладные исследования в сотрудничестве с ведущими научными и инновационными центрами страны. Университет «Дубна» входит в топ-100 лучших вузов России и признан одним из ведущих технических университетов страны. Университет находится в наукограде Дубна, крупнейшем российском центре по исследованиям в области ядерной физики, химии, IT. Процент трудоустройства выпускников университета по специальности составляет более 85%.

Показать больше