Сверхуверенность
Overconfidence · чрезмерная уверенность, иллюзия значимости, иллюзия валидности, иллюзия умения, плохая калибровка, эффект «сложно — легко»
Уверенность в своих оценках выше, чем их реальная точность.
Как работает
Уверенность Система 1 берёт из связности истории, а не из количества и качества данных. Чего не знаешь, того в истории нет, поэтому неизвестное уверенности не снижает. Интервалы прогнозов выходят слишком узкими, а успех в случайной игре кажется умением: Канеман называет это иллюзией значимости.
Механизм: Что видишь, то и есть. Из того, что попало в поле зрения, строится самая связная история. Уверенность растёт от связности истории, а не от объёма и качества данных. Чего нет перед глазами, того для суждения нет. (Канеман, гл. 7, 19–24)
Классический опыт
Бен-Давид, Грэм и Харви, 2013. Финансовые директора крупных компаний годами давали прогноз индекса S&P 500 с интервалом, в который будущее должно было попасть с вероятностью 80 %. Реальность вышла за интервал в 64 % случаев.
В дизайне
Продукт
«Пользователи точно поймут, это же стандартная иконка». Фичу выпускают без теста, а через неделю в поддержку идут вопросы, где кнопка.
Коммуникация
Креативный директор уверен, что слоган поймут все. Его не показывают никому за пределами агентства.
Управление
Продакт обещает рост удержания на 15 % от новой фичи. В истории компании большинство фич давали меньше процента, но этой статистики в разговоре нет.
Канеман получил данные инвестиционной фирмы о 25 консультантах за 8 лет. Корреляция их рейтингов между годами в среднем равна 0,01, то есть премии платили за удачу. Сами консультанты и их начальство считали результаты делом умения.
Связи
Частный случай. Свои сроки и бюджет оценивают слишком уверенно.
Усиливает это. Подобранные подтверждения делают историю связной, а связность даёт уверенность.
Усиливает это. Если прошлое казалось предсказуемым, будущее тоже кажется предсказуемым.
Противовес. Канеман называет это «смелые прогнозы и робкий выбор»: оптимизм толкает к риску, неприятие потерь удерживает от него.
Усиливает это. Лёгкость ответа ощущается как уверенность в нём (Канеман, гл. 5 и 7).
Усиливает это. Понятная история о прошлом даёт уверенность в прогнозе (Канеман, гл. 19–20).
Усиливает это. Кажется, что понимаешь механизм, и прогноз по нему кажется надёжным.
Частный случай. Переоценка своего результата сильнее всего у тех, кто справился хуже.
Усиливает это. Кто считает себя лучше среднего, тот уверен и в своих прогнозах.
Противоядия
- Пре-мортем. Перед запуском сказать: «Прошёл год, проект провалился». Каждый молча пишет, почему, потом причины сводят и закрывают самые вероятные.
- Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.
- Внешний взгляд. Сначала спросить, как часто такое бывает вообще: найти класс похожих случаев, взять их реальные сроки и результаты. Потом поправить на особенности своего случая.
- Красная команда. Назначить человека или пару, чья задача — найти слабые места решения и вред для пользователя. Роль назначают заранее, чтобы критика не была личной.
Источники
- Канеман, «Думай медленно… решай быстро», гл. 20, 24
- Ben-David I., Graham J. R., Harvey C. R. Managerial miscalibration. Quarterly Journal of Economics, 2013
- Moore D. A., Healy P. J. The trouble with overconfidence. Psychological Review, 2008
- Канеман Д. Думай медленно… решай быстро, гл. 20, 24