Ретроспективное искажение

Hindsight bias · эффект «я так и знал», задний ум, ползучий детерминизм

КомандаДоказательность A — устойчиво воспроизводитсяНе хватает смысла

Узнав исход, люди считают, что он был предсказуем и они его предвидели.

Как работает

Исход встраивается в историю, и она перестраивается вокруг него. Прежние сомнения и другие варианты забываются, а свой прошлый прогноз вспоминается ближе к случившемуся. Меняется память о прогнозе; когда по исходу судят само решение, это уже искажение результатом.

Механизм: Что видишь, то и есть. Из того, что попало в поле зрения, строится самая связная история. Уверенность растёт от связности истории, а не от объёма и качества данных. Чего нет перед глазами, того для суждения нет. (Канеман, гл. 7, 19–24)

Классический опыт

Фишхофф и Бейт, 1975. Перед поездкой Никсона в Китай и СССР в 1972 году студенты оценили вероятности её исходов. После поездки они вспоминали, что давали сбывшимся исходам более высокие шансы, чем на деле.

В дизайне

Продукт

Команда

Тест показал, что новая навигация хуже. Команда тут же объясняет почему, и урок кажется очевидным. Повторить прогноз до следующего теста она бы не смогла.

Коммуникация

Команда

После скандала вокруг рекламной кампании все говорят, что слоган был двусмысленным с самого начала. Тот же слоган месяц назад утвердили единогласно.

Управление

Команда

На ретро после провального релиза звучит «было очевидно, что не взлетит». До релиза никто этого не говорил, а записей прогнозов нет.

Связи

  • Усиливается этим. Если прошлое казалось предсказуемым, будущее тоже кажется предсказуемым.

  • Усиливается этим. Раз провал был «очевиден», виноват тот, кто его проглядел.

  • Общий ход мысли. Вспоминающая личность переписывает прошлое: и опыт, и то, что о нём думали.

  • Усиливается этим. Исход кажется предсказуемым, значит, тот, кто его не предвидел, решал плохо (Канеман, гл. 19).

  • Усиливает это. Связная история делает исход задним числом неизбежным.

  • Общий ход мысли. Прошлые взгляды не восстановить: память подгоняет их к нынешним, как подгоняет прогноз к исходу (Канеман, гл. 19).

Противоядия

  • Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.
  • Протокол теста до старта. До запуска эксперимента зафиксировать гипотезу, главную метрику, размер выборки и срок. Не останавливать тест раньше срока и не искать задним числом сегмент, где вариант выиграл.
  • Разбор без виноватых. Разбирать сбой вопросом «что в системе позволило ошибке случиться?» и не искать виноватого. Судить решения по тому, что люди знали в тот момент; исход, известный теперь, в оценку не брать.

Источники