Сверхуверенность

Overconfidence · чрезмерная уверенность, иллюзия значимости, иллюзия валидности, иллюзия умения, плохая калибровка, эффект «сложно — легко»

КомандаДоказательность A — устойчиво воспроизводитсяНужно действовать быстро

Уверенность в своих оценках выше, чем их реальная точность.

Как работает

Уверенность Система 1 берёт из связности истории, а не из количества и качества данных. Чего не знаешь, того в истории нет, поэтому неизвестное уверенности не снижает. Интервалы прогнозов выходят слишком узкими, а успех в случайной игре кажется умением: Канеман называет это иллюзией значимости.

Механизм: Что видишь, то и есть. Из того, что попало в поле зрения, строится самая связная история. Уверенность растёт от связности истории, а не от объёма и качества данных. Чего нет перед глазами, того для суждения нет. (Канеман, гл. 7, 19–24)

Классический опыт

Бен-Давид, Грэм и Харви, 2013. Финансовые директора крупных компаний годами давали прогноз индекса S&P 500 с интервалом, в который будущее должно было попасть с вероятностью 80 %. Реальность вышла за интервал в 64 % случаев.

В дизайне

Продукт

Команда

«Пользователи точно поймут, это же стандартная иконка». Фичу выпускают без теста, а через неделю в поддержку идут вопросы, где кнопка.

Коммуникация

Команда

Креативный директор уверен, что слоган поймут все. Его не показывают никому за пределами агентства.

Управление

Команда

Продакт обещает рост удержания на 15 % от новой фичи. В истории компании большинство фич давали меньше процента, но этой статистики в разговоре нет.

Команда

Канеман получил данные инвестиционной фирмы о 25 консультантах за 8 лет. Корреляция их рейтингов между годами в среднем равна 0,01, то есть премии платили за удачу. Сами консультанты и их начальство считали результаты делом умения.

Связи

  • Частный случай. Свои сроки и бюджет оценивают слишком уверенно.

  • Усиливает это. Подобранные подтверждения делают историю связной, а связность даёт уверенность.

  • Усиливает это. Если прошлое казалось предсказуемым, будущее тоже кажется предсказуемым.

  • Противовес. Канеман называет это «смелые прогнозы и робкий выбор»: оптимизм толкает к риску, неприятие потерь удерживает от него.

  • Усиливает это. Лёгкость ответа ощущается как уверенность в нём (Канеман, гл. 5 и 7).

  • Усиливает это. Понятная история о прошлом даёт уверенность в прогнозе (Канеман, гл. 19–20).

  • Усиливает это. Кажется, что понимаешь механизм, и прогноз по нему кажется надёжным.

  • Частный случай. Переоценка своего результата сильнее всего у тех, кто справился хуже.

  • Усиливает это. Кто считает себя лучше среднего, тот уверен и в своих прогнозах.

Противоядия

  • Пре-мортем. Перед запуском сказать: «Прошёл год, проект провалился». Каждый молча пишет, почему, потом причины сводят и закрывают самые вероятные.
  • Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.
  • Внешний взгляд. Сначала спросить, как часто такое бывает вообще: найти класс похожих случаев, взять их реальные сроки и результаты. Потом поправить на особенности своего случая.
  • Красная команда. Назначить человека или пару, чья задача — найти слабые места решения и вред для пользователя. Роль назначают заранее, чтобы критика не была личной.

Источники