Колумнисты

Менее компетентные люди склонны переоценивать себя, но этому нашли статистическое объяснение

Почему люди иногда переоценивают свои знания, причем чаще этим грешат те, кто плохо разбирается в предмете? Это явление 20 лет назад изучили и попытались объяснить с точки зрения психологии двое ученых, по их именам оно известно как эффект Даннинга — Крюгера. Согласно докладу, сделанному на семинаре департамента прикладной экономики ВШЭ, этому эффекту есть чисто статистическое объяснение.

В работе 1999 года Джастин Крюгер и Дэвид Даннинг описали эксперимент, в ходе которого исследователи попросили студентов пройти тесты, оценивающие их чувство юмора, логическое мышление и знание грамматики английского языка, а также предположить, насколько хорошо они справились по сравнению с остальными. Участники в целом значительно переоценили свои способности (в среднем они считали, что выполнили задание лучше 66 процентов однокурсников), причем чем ниже был результат теста, тем сильнее предполагаемая оценка отличалась от реальной; недооценивали себя только наиболее сильные участники. Авторы статьи объяснили это тем, что люди с низкими способностями не только хуже справляются с заданиями, но и неадекватно оценивают свои знания.

Работы с критикой выводов Даннинга и Крюгера стали появляться уже через несколько лет после публикации оригинального исследования. Многие авторы подтверждали существование эффекта, но не соглашались с предложенным объяснением. В одной из первых таких статей эффект Даннинга — Крюгера объяснялся склонностью людей в целом довольно высоко оценивать свои знания и регрессией к среднему. Регрессию впервые описал Фрэнсис Гальтон в 1886 году: он заметил, что у высоких отцов сыновья в среднем были ниже их, а у низких — наоборот, то есть значения «стремятся к среднему».

Профессор-исследователь факультета экономических наук ВШЭ Анатолий Пересецкий и его соавтор Ян Магнус из Амстердамского университета также предложили объяснение эффекта Даннинга — Крюгера с помощью статистики, а не психологии. Дело в том, что в экспериментах, в ходе которых изучался этот эффект, за тест можно было получить оценки, лежащие в строго оговоренном интервале, например от 0 до 10 или от 0 до 100. В двух работах этот факт отмечался, но развития идея ранее не получала.

Предположим, что люди могут угадывать свой результат с некоторой погрешностью, но в целом верно (то есть с равной вероятностью недо- и переоценивают себя). Но из-за того, что нельзя получить меньше 0 или больше 100 баллов, две группы участников ограничены в своих предположениях: написавшие очень плохо не могут сказать, что выполнили задания на –5 или –10, а решившие все правильно — что рассчитывают на 110. Получается, что предполагаемые оценки первых будут в среднем выше, а вторых — ниже, чем могли бы быть, если бы шкала не была ограничена.

Предположение авторы проверили на данных 665 студентов ВШЭ, которые сдавали экзамен по статистике в 2016–2019 годах. В середине экзамена студентов просили написать, какую оценку они ожидают получить в итоге (за верное предположение был обещан небольшой бонус). Результаты показали наличие эффекта Даннинга — Крюгера.

Чтобы проверить, можно ли получить такие же отклонения ожидаемых оценок от фактических, используя только законы статистики, авторы предложили простую статистическую модель (обобщающую хорошо известную в экономике Tobit-модель), учитывающую ограниченность прогноза — число от 0 до 100. Форма графика, который можно построить на основе модели, зависит от трех параметров: от того, насколько могут ошибаться участники в своих предположениях, и от двух случайных величин, характеризующих отклонение прогноза оценки от 0 и 100 баллов (с их помощью выполняется требование об ограничении оценок сверху и снизу). Исследователи показали, что при реалистичных значениях этих параметров можно получить график, почти идеально описывающий реальные данные.

«Эффект Даннинга — Крюгера действительно существует, но является статистическим артефактом и не требует для своего объяснения концепций из области психологии и когнитивной науки. Вопрос, почему “психологические” объяснения этого эффекта до сих пор популярны в психологической литературе, пожалуй, может являться предметом исследования психологов», — подытожил соавтор работы Анатолий Пересецкий. 

Комментарии

  • Человека же просили оценить свои знания, а не поставить случайное число от 1 до 100.

  • Ну так студентов ВШЭ спрашивали. Мне кажется если делать исследование на обычных людях, то эффект будет более выражен. К тому же в проведённом исследовании есть фактор побуждающий оценивать правильно, наверняка испытуемые корректировали свои первоначальные оценки, исходя из соображений получения для себя выгоды. Так что исследование отвечает только на вопрос могут ли студенты ВУЗа оценивать свои знания адекватно, если хорошо об этом подумают. Да, могут.

  • Авторы провели исследование с выборкой из 655 человек, у которых был доступ к объективной оценке их знаний на предыдущей сессии, и решили, что результат опровергает теорию Д.К.
    Похоже, что исследователи сами пали жертвой эффекту, какая ирония!

  • Работая с людьми, наблюдал этот эффект и пытался понять, почему чем глупее человек, тем более он убежден в своей правоте?
    Все выходит банально:
    Человек с высоким уровнем интеллекта в своей голове выстраивает логические цепочки, пытаясь найти опровержение каким-либо выводам, чтобы уменьшить вероятность ошибки. Поэтому, чаще высокий интеллект делает выводы с поправками на ошибку и занижает предварительную оценку. Такие люди способны к самоанализу и самокритике.
    Люди с меньшим уровнем интеллекта такие цепочки выстраивать не умеют и опираются лишь на полученные знания. Чаще всего такие люди не способны принимать критику, не умеют взвешивать и анализировать полученные данные.
    К полученному опыту это отношения не имеет. Здесь в точности наоборот, с высоким интеллектом люди выполняют задачи повторно медленнее, чем с низким уровнем И.
    Теперь я знаю, как называется этот эффект)))

  • По моему всё гораздо проще: чем меньше фактическое знание материала у ученика, тем труднее ему определить на сколько правильно он ответил на вопросы, а значит будет выше самооценка, и ниже оценка преподавателя!
    То есть чем тупее человек, тем проще убедить его, что он гений!

    • По моему всё гораздо

      на сколько правильно

      В данном случае "по-моему" и "насколько" -- наречия и пишутся только так!.. )
      Кстати, самооценка никоим образом с количеством знаний не коррелирует. Сколько раз было, когда я и мои товарищи по учебе с изумлением видели неожиданно высокую (или низкую) оценку в своих зачетках.
      Оценка в принципе имеет весьма опосредованное отношение к знаниям, в чем я имел возможность неоднократно убедиться на личном опыте. )))
      Один из них запомнился очень ярко на двух попытках сдать педагогику (чтобы больше про нее не вспоминать!). В первый раз я рассказал все, что знал на тот момент по двум вопросам в билете (слава богу, попались знакомые). Был совершенно уверен, что тройку-то я получу, так как отвечаю на твердую четверку... Но не учел степень озлобления преподавателя на редко посещавших практические занятия и проигнорировавших предэкзаменационный семинар. Утешило только то, что неуд получили 2 кандидата на красный диплом и еще три-четыре однокурсника гораздо умнее меня...
      При пересдаче произошел фантастический казус -- достался тот же самый билет! Неосторожно произнес нечленораздельный возглас изумления.
      -- В чем дело?! -- Спросил преподаватель. И я, дурак, ответил!
      -- Ну, идите готовьтесь... -- недобро процедил тот...
      И тут я решил подергать тигра за усы: сел и скрупулезно восстановил в памяти свои предыдущие ответы, записал и тщательно из повторил почти дословно экзаменатору.
      -- Ну, вот видите! Может же выучить, когда захотите! Если бы вы мне так на первом экзамене ответили, я бы вам 5 поставил, а при пересдаче больше четверки я не ставлю.
      -- Иван Иванович! Я вам все слово в слово повторил, что тогда говорил!
      -- Не может быть!
      Спрашивается, чего стоит статистическое исследование ВШЭ в сравнении с этим богатством эмоций и хитросплетений жизни?...

  • В исследовании допущена существенная методологическая ошибка: "В середине экзамена студентов просили написать, какую оценку они ожидают получить в итоге (за верное предположение был обещан небольшой бонус)".
    В результате были получены данные о способности оценивать вероятность получения выгоды вне зависимости от самооценки уровня знаний.
    Здесь имеет место то же заблуждение, что и у Ф. Гальтона: рост сыновей -- производное не только от роста отцов, но и предков-мужчин как по мужским, так и по женским линиям...
    Так что эффект регрессии имеет не статистическую, а как минимум биологическую природу... Конечно, применительно к эксперименту во ВШЭ, он каким-то образом зависит от умственных способностей учащихся, но отнюдь не так прямолинейно, как изложено в данной публикации на сайте (я не А. Березин. а потому копать глубже задаром не стану)... )))

  • Меня в этом эксперименте больше беспокоит то, что за него получили грант как за научное исследование, которое можно было провести в частном порядке без привлечения средств из бюджета. Для науки этот эксперимент не несет ни какой пользы.