09.02.2022, 12:00
НИУ ВШЭ
8
20,4 тыс

Менее компетентные люди склонны переоценивать себя, но этому нашли статистическое объяснение

❋ 4.8

Почему люди иногда переоценивают свои знания, причем чаще этим грешат те, кто плохо разбирается в предмете? Это явление 20 лет назад изучили и попытались объяснить с точки зрения психологии двое ученых, по их именам оно известно как эффект Даннинга — Крюгера. Согласно докладу, сделанному на семинаре департамента прикладной экономики ВШЭ, этому эффекту есть чисто статистическое объяснение.

Кадр из к/ф "Училка"
Кадр из к/ф "Училка" / ©Getty images

В работе 1999 года Джастин Крюгер и Дэвид Даннинг описали эксперимент, в ходе которого исследователи попросили студентов пройти тесты, оценивающие их чувство юмора, логическое мышление и знание грамматики английского языка, а также предположить, насколько хорошо они справились по сравнению с остальными. Участники в целом значительно переоценили свои способности (в среднем они считали, что выполнили задание лучше 66 процентов однокурсников), причем чем ниже был результат теста, тем сильнее предполагаемая оценка отличалась от реальной; недооценивали себя только наиболее сильные участники. Авторы статьи объяснили это тем, что люди с низкими способностями не только хуже справляются с заданиями, но и неадекватно оценивают свои знания.

Работы с критикой выводов Даннинга и Крюгера стали появляться уже через несколько лет после публикации оригинального исследования. Многие авторы подтверждали существование эффекта, но не соглашались с предложенным объяснением. В одной из первых таких статей эффект Даннинга — Крюгера объяснялся склонностью людей в целом довольно высоко оценивать свои знания и регрессией к среднему. Регрессию впервые описал Фрэнсис Гальтон в 1886 году: он заметил, что у высоких отцов сыновья в среднем были ниже их, а у низких — наоборот, то есть значения «стремятся к среднему».

Профессор-исследователь факультета экономических наук ВШЭ Анатолий Пересецкий и его соавтор Ян Магнус из Амстердамского университета также предложили объяснение эффекта Даннинга — Крюгера с помощью статистики, а не психологии. Дело в том, что в экспериментах, в ходе которых изучался этот эффект, за тест можно было получить оценки, лежащие в строго оговоренном интервале, например от 0 до 10 или от 0 до 100. В двух работах этот факт отмечался, но развития идея ранее не получала.

Предположим, что люди могут угадывать свой результат с некоторой погрешностью, но в целом верно (то есть с равной вероятностью недо- и переоценивают себя). Но из-за того, что нельзя получить меньше 0 или больше 100 баллов, две группы участников ограничены в своих предположениях: написавшие очень плохо не могут сказать, что выполнили задания на –5 или –10, а решившие все правильно — что рассчитывают на 110. Получается, что предполагаемые оценки первых будут в среднем выше, а вторых — ниже, чем могли бы быть, если бы шкала не была ограничена.

Предположение авторы проверили на данных 665 студентов ВШЭ, которые сдавали экзамен по статистике в 2016–2019 годах. В середине экзамена студентов просили написать, какую оценку они ожидают получить в итоге (за верное предположение был обещан небольшой бонус). Результаты показали наличие эффекта Даннинга — Крюгера.

Чтобы проверить, можно ли получить такие же отклонения ожидаемых оценок от фактических, используя только законы статистики, авторы предложили простую статистическую модель (обобщающую хорошо известную в экономике Tobit-модель), учитывающую ограниченность прогноза — число от 0 до 100. Форма графика, который можно построить на основе модели, зависит от трех параметров: от того, насколько могут ошибаться участники в своих предположениях, и от двух случайных величин, характеризующих отклонение прогноза оценки от 0 и 100 баллов (с их помощью выполняется требование об ограничении оценок сверху и снизу). Исследователи показали, что при реалистичных значениях этих параметров можно получить график, почти идеально описывающий реальные данные.

«Эффект Даннинга — Крюгера действительно существует, но является статистическим артефактом и не требует для своего объяснения концепций из области психологии и когнитивной науки. Вопрос, почему “психологические” объяснения этого эффекта до сих пор популярны в психологической литературе, пожалуй, может являться предметом исследования психологов», — подытожил соавтор работы Анатолий Пересецкий. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl (Cmd) + Enter.
НИУ ВШЭ
Национальный исследовательский университет «Высшая школа экономики» — один из крупнейших и самых востребованных вузов России. В университете учится 54 тысячи студентов и работает почти 4,5 тысячи учёных и преподавателей. НИУ ВШЭ ведёт фундаментальные и прикладные исследования в области социально-экономических, гуманитарных, юридических, инженерных, компьютерных, физико-математических наук, а также креативных индустрий. В университете действуют 47 центров превосходства, или международных лабораторий. Вышка объединяет ведущих мировых исследователей в области изучения мозга, нейротехнологий, биоинформатики и искусственного интеллекта. Университет входит в первую группу программы «Приоритет-2030» в направлении «Исследовательское лидерство». Кампусы НИУ ВШЭ расположены в четырех городах — Москве, Санкт-Петербурге, Нижнем Новгороде и Перми, а также в цифровом пространстве — «Вышка Онлайн».
Подписывайтесь на нас в Telegram, Дзен и в последнюю очередь на VK
Предстоящие мероприятия
21 сентября, 10:52
Елизавета З.

Королевская обсерватория в Гринвиче определила призеров ежегодного конкурса «Астрономический фотограф года». Победителем стал фотограф Али Аль-Обейдли, представивший детализированный снимок туманности Акула, напоминающей ожившего хищника.

21 сентября, 13:25
ПНИПУ

Ежегодно миллионы людей во всем мире покупают или готовят дома комбучу — ферментированный живой напиток на основе чайного гриба. Его ценят за пробиотики, витамины и антиоксиданты. Только в России за последние пять лет объем продаж этого продукта вырос в несколько раз. Однако, для того чтобы поставить его на рынок производитель должен остановить процесс брожения и зафиксировать вкус, иначе товар быстро превратится в уксус. В итоге покупатели оказываются перед выбором: пастеризованная версия, лишенная большей части полезных компонентов, или вариант с консервантами. Ученые Пермского Политеха нашли третий путь — кратковременное кипячение, которое стабилизирует продукт без потери восьми ключевых витаминов и без использования химических добавок.

21 сентября, 11:21
Игорь Байдов

Во время раскопок в провинции Хэнань обнаружили скелет женщины, умершей между 1298 и 1404 годами. На ее черепе ученые увидели необычно широкую, грушевидную апертуру носа и обширные повреждения носовых костей. Характер травм показал, что она получила их при жизни, а раны со временем зажили. Женщина, вероятно, подверглась карательной ампутации носа. Если данные подтвердятся, эта находка станет первым известным археологическим свидетельством такого наказания в Китае.

16 сентября, 14:29
Татьяна Зайцева

Анализ данных о почти 300 тысячах километров римских дорог, проложенных по территории бывшей империи, показал, что они вовсе не были такими прямыми, как принято считать. Кроме того, выяснилось, что известная поговорка «Все дороги ведут в Рим» тоже не соответствует истине.

21 сентября, 09:24
Елизавета З.

Европейское космическое агентство опубликовало снимок галактики NGC 4698, расположенной в созвездии Дева. Хотя на фотографии, сделанной телескопом «Хаббл», галактика кажется безмятежной, она хранит удивительную тайну: находящиеся в центре звезды и газ вращаются под прямым углом по отношению к остальной части диска.

21 сентября, 16:53
Елизавета З.

«Яндекс» опубликовал в открытом доступе Alice AI Foundation LLM — претрейн-версию новой большой языковой модели, которую разработчики обучили полностью с нуля. Она хорошо справляется с рассуждениями и задачами по программированию, а качество ответов на русском языке опережает многие зарубежные аналоги. В первую очередь это касается задач на знание фактов, интересных русскоязычной аудитории. Модель обошла даже более крупные опенсорс-модели, при этом для ее интерфейса не нужны большие вычислительные мощности. Свободная лицензия Apache 2.0. позволяет задействовать ее как в исследовательских, так и в коммерческих проектах.

9 сентября, 22:44
Александр Березин

Нейросеть OpenAI добилась серьезного прорыва в математике, решив одну из семи «задач тысячелетия». Получат ли США, чьи нейросети опираются на гораздо более мощное «железо», чем у Китая, монополию на конвейер научных открытий? Даст ли это возможности сравнимые с их атомной монополией 80 лет назад?

28 августа, 15:43
Татьяна Зайцева

Сопротивление жителей Европы самой идее употребления насекомых в пищу может иметь эволюционные корни, уходящие вглубь тысячелетий, пришли к выводу авторы нового исследования. Оказалось, предки современных европейцев ели насекомых лишь эпизодически. Кроме того, из-за генетических мутаций они плохо переваривали их экзоскелеты.

29 августа, 16:51
Александр Березин

Госдолг США достиг 40 триллионов долларов и растет все быстрее и быстрее. На Западе переполох: при таких размерах его не выплатить. Следовательно, полагают многие, надо решить проблему как древние шумеры — долг обнулить и начать занимать заново. Рецепт кажется здравым, но есть нюансы. Причем поучительнее всего они даже не для Штатов, а, как ни странно, именно для России.

[miniorange_social_login]

Комментарии

8 Комментариев
Меня в этом эксперименте больше беспокоит то, что за него получили грант как за научное исследование, которое можно было провести в частном порядке без привлечения средств из бюджета. Для науки этот эксперимент не несет ни какой пользы.
В исследовании допущена существенная методологическая ошибка: "В середине экзамена студентов просили написать, какую оценку они ожидают получить в итоге (за верное предположение был обещан небольшой бонус)". В результате были получены данные о способности оценивать вероятность получения выгоды вне зависимости от самооценки уровня знаний. Здесь имеет место то же заблуждение, что и у Ф. Гальтона: рост сыновей -- производное не только от роста отцов, но и предков-мужчин как по мужским, так и по женским линиям... Так что эффект регрессии имеет не статистическую, а как минимум биологическую природу... Конечно, применительно к эксперименту во ВШЭ, он каким-то образом зависит от умственных способностей учащихся, но отнюдь не так прямолинейно, как изложено в данной публикации на сайте (я не А. Березин. а потому копать глубже задаром не стану)... )))
По моему всё гораздо проще: чем меньше фактическое знание материала у ученика, тем труднее ему определить на сколько правильно он ответил на вопросы, а значит будет выше самооценка, и ниже оценка преподавателя! То есть чем тупее человек, тем проще убедить его, что он гений!
    По моему всё гораздо
    на сколько правильно
    В данном случае "по-моему" и "насколько" -- наречия и пишутся только так!.. ) Кстати, самооценка никоим образом с количеством знаний не коррелирует. Сколько раз было, когда я и мои товарищи по учебе с изумлением видели неожиданно высокую (или низкую) оценку в своих зачетках. Оценка в принципе имеет весьма опосредованное отношение к знаниям, в чем я имел возможность неоднократно убедиться на личном опыте. ))) Один из них запомнился очень ярко на двух попытках сдать педагогику (чтобы больше про нее не вспоминать!). В первый раз я рассказал все, что знал на тот момент по двум вопросам в билете (слава богу, попались знакомые). Был совершенно уверен, что тройку-то я получу, так как отвечаю на твердую четверку... Но не учел степень озлобления преподавателя на редко посещавших практические занятия и проигнорировавших предэкзаменационный семинар. Утешило только то, что неуд получили 2 кандидата на красный диплом и еще три-четыре однокурсника гораздо умнее меня... При пересдаче произошел фантастический казус -- достался тот же самый билет! Неосторожно произнес нечленораздельный возглас изумления. -- В чем дело?! -- Спросил преподаватель. И я, дурак, ответил! -- Ну, идите готовьтесь... -- недобро процедил тот... И тут я решил подергать тигра за усы: сел и скрупулезно восстановил в памяти свои предыдущие ответы, записал и тщательно из повторил почти дословно экзаменатору. -- Ну, вот видите! Может же выучить, когда захотите! Если бы вы мне так на первом экзамене ответили, я бы вам 5 поставил, а при пересдаче больше четверки я не ставлю. -- Иван Иванович! Я вам все слово в слово повторил, что тогда говорил! -- Не может быть! Спрашивается, чего стоит статистическое исследование ВШЭ в сравнении с этим богатством эмоций и хитросплетений жизни?...
Работая с людьми, наблюдал этот эффект и пытался понять, почему чем глупее человек, тем более он убежден в своей правоте? Все выходит банально: Человек с высоким уровнем интеллекта в своей голове выстраивает логические цепочки, пытаясь найти опровержение каким-либо выводам, чтобы уменьшить вероятность ошибки. Поэтому, чаще высокий интеллект делает выводы с поправками на ошибку и занижает предварительную оценку. Такие люди способны к самоанализу и самокритике. Люди с меньшим уровнем интеллекта такие цепочки выстраивать не умеют и опираются лишь на полученные знания. Чаще всего такие люди не способны принимать критику, не умеют взвешивать и анализировать полученные данные. К полученному опыту это отношения не имеет. Здесь в точности наоборот, с высоким интеллектом люди выполняют задачи повторно медленнее, чем с низким уровнем И. Теперь я знаю, как называется этот эффект)))
Авторы провели исследование с выборкой из 655 человек, у которых был доступ к объективной оценке их знаний на предыдущей сессии, и решили, что результат опровергает теорию Д.К. Похоже, что исследователи сами пали жертвой эффекту, какая ирония!
Sherl Murk
12.02.2022
Ну так студентов ВШЭ спрашивали. Мне кажется если делать исследование на обычных людях, то эффект будет более выражен. К тому же в проведённом исследовании есть фактор побуждающий оценивать правильно, наверняка испытуемые корректировали свои первоначальные оценки, исходя из соображений получения для себя выгоды. Так что исследование отвечает только на вопрос могут ли студенты ВУЗа оценивать свои знания адекватно, если хорошо об этом подумают. Да, могут.
Человека же просили оценить свои знания, а не поставить случайное число от 1 до 100.