Ретроспективное искажение
Hindsight bias · эффект «я так и знал», задний ум, ползучий детерминизм
Узнав исход, люди считают, что он был предсказуем и они его предвидели.
Как работает
Исход встраивается в историю, и она перестраивается вокруг него. Прежние сомнения и другие варианты забываются, а свой прошлый прогноз вспоминается ближе к случившемуся. Меняется память о прогнозе; когда по исходу судят само решение, это уже искажение результатом.
Механизм: Что видишь, то и есть. Из того, что попало в поле зрения, строится самая связная история. Уверенность растёт от связности истории, а не от объёма и качества данных. Чего нет перед глазами, того для суждения нет. (Канеман, гл. 7, 19–24)
Классический опыт
Фишхофф и Бейт, 1975. Перед поездкой Никсона в Китай и СССР в 1972 году студенты оценили вероятности её исходов. После поездки они вспоминали, что давали сбывшимся исходам более высокие шансы, чем на деле.
В дизайне
Продукт
Тест показал, что новая навигация хуже. Команда тут же объясняет почему, и урок кажется очевидным. Повторить прогноз до следующего теста она бы не смогла.
Коммуникация
После скандала вокруг рекламной кампании все говорят, что слоган был двусмысленным с самого начала. Тот же слоган месяц назад утвердили единогласно.
Управление
На ретро после провального релиза звучит «было очевидно, что не взлетит». До релиза никто этого не говорил, а записей прогнозов нет.
Связи
Усиливается этим. Если прошлое казалось предсказуемым, будущее тоже кажется предсказуемым.
Усиливается этим. Раз провал был «очевиден», виноват тот, кто его проглядел.
Общий ход мысли. Вспоминающая личность переписывает прошлое: и опыт, и то, что о нём думали.
Усиливается этим. Исход кажется предсказуемым, значит, тот, кто его не предвидел, решал плохо (Канеман, гл. 19).
Усиливает это. Связная история делает исход задним числом неизбежным.
Общий ход мысли. Прошлые взгляды не восстановить: память подгоняет их к нынешним, как подгоняет прогноз к исходу (Канеман, гл. 19).
Противоядия
- Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.
- Протокол теста до старта. До запуска эксперимента зафиксировать гипотезу, главную метрику, размер выборки и срок. Не останавливать тест раньше срока и не искать задним числом сегмент, где вариант выиграл.
- Разбор без виноватых. Разбирать сбой вопросом «что в системе позволило ошибке случиться?» и не искать виноватого. Судить решения по тому, что люди знали в тот момент; исход, известный теперь, в оценку не брать.
Источники
- Канеман, «Думай медленно… решай быстро», гл. 19
- Fischhoff B., Beyth R. «I knew it would happen»: Remembered probabilities of once-future things. Organizational Behavior and Human Performance, 1975
- Guilbault R. L., Bryant F. B., Brockway J. H., Posavac E. J. A meta-analysis of research on hindsight bias. Basic and Applied Social Psychology, 2004
- Канеман Д. Думай медленно… решай быстро, гл. 19