Эффект Даннинга — Крюгера

Dunning–Kruger effect · «не знаю, чего не знаю»

АудиторияКомандаДоказательность C — есть данные и есть спорыНе хватает смысла

Кто слабее справляется с задачей, тот сильнее переоценивает свой результат: для точной самооценки нужен тот же навык.

Как работает

Чтобы заметить свою ошибку, нужно знать, как правильно, а этого знания у новичка как раз нет. Поэтому слабые в задаче ставят себе оценку ближе к средней, чем заслуживают. Часть эффекта статистическая: при любом шуме в самооценке крайние результаты сползают к середине, а популярной кривой с «пиком глупости» в исследованиях нет.

Механизм: Что видишь, то и есть. Из того, что попало в поле зрения, строится самая связная история. Уверенность растёт от связности истории, а не от объёма и качества данных. Чего нет перед глазами, того для суждения нет. (Канеман, гл. 7, 19–24)

Классический опыт

Крюгер и Даннинг, 1999. Студенты решали тесты на грамматику, логику и чувство юмора, а потом оценивали, какой процентиль заняли. Нижняя четверть набрала в среднем 12-й процентиль, а себе поставила 62-й.

В дизайне

Продукт

Аудитория

Новичок в редакторе вёрстки выбирает при регистрации уровень «уверенный» и пропускает обучение. Через пару дней он застревает на базовых функциях, которые обучение как раз показывало.

Команда

Дизайнер, впервые проводящий интервью, уверен, что пяти бесед с наводящими вопросами хватит для вывода. Сколько ошибок в его методике, он увидит, только когда освоит её.

Управление

Команда

На ревью слабые сотрудники ставят себе оценки почти как сильные. Руководитель, который опирается на самооценку, получает сжатую шкалу, где разница между людьми почти не видна.

Связи

  • Более общее явление. Переоценка своего результата сильнее всего у тех, кто справился хуже.

  • Общий ход мысли. Себя оценивают выше, чем позволяют навык и статистика.

Противоядия

  • Критерии до просмотра. До того как смотреть кандидата, макет или данные, записать критерии и шкалу. Оценивать по каждому критерию отдельно, общее впечатление записать в самом конце.
  • Поведение вместо мнений. Спрашивать о прошлых случаях, а не о намерениях: «Когда вы последний раз…». В тесте считать, дошёл ли человек до цели, сколько времени ушло и где он ошибся. Ответ на вопрос «удобно ли» считать дополнением.
  • Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.

Источники