В начале 1970-х Канеман убедил министерство образования Израиля, что старшеклассникам нужен курс о принятии решений, и собрал команду писать к нему учебник. Через год работы, когда были готовы план лекций и несколько глав, он предложил каждому участнику команды отдельно, не обсуждая с другими, оценить, сколько ещё времени понадобится, чтобы сдать рукопись. Средняя оценка была два года, крайние — полтора и два с половиной.
Потом Канеман спросил Сеймура Фокса, декана факультета педагогики и самого опытного в команде, помнит ли он другие группы, которые писали курс с нуля. Фокс помнил. Около 40 % таких групп работу не закончили. Закончившие потратили, по его памяти, не меньше семи лет и не больше десяти. На вопрос, насколько их команда сильнее тех групп, Фокс ответил, что она чуть ниже среднего.
Через пять минут после этого ответа разговор вернулся к работе, как будто ничего не случилось. Рукопись сдали через восемь лет. Сам Канеман к тому времени уже уехал из Израиля, а учебником министерство так и не воспользовалось.
Поучительнее всего в истории с учебником даже не ошибка в оценке, а то, что Фокс сам разделял оптимизм команды. Нужная информация была у него в голове, но в первой оценке он ею не воспользовался. Он думал о своём проекте, а не о похожих.
Из этого эпизода Канеман и Тверски вывели два способа прогноза, один от своего проекта, другой от похожих. Взгляд изнутри (inside view) строится из подробностей своего проекта: что сделано, что осталось, какие у команды силы. Взгляд снаружи (outside view) начинается с класса похожих проектов, с того, сколько они обычно длятся и какая их доля проваливается, и только потом поправляется на особенности своего.
Взгляд изнутри естественен для Системы 1, потому что он и есть WYSIATI. В нём есть всё, что команда видит, и нет того, что может случиться, но пока не случилось. Болезни, увольнения, смена приоритетов у заказчика — для каждого проекта такие события маловероятны по отдельности, но вместе почти неизбежны. Ошибку, которая отсюда возникает, Канеман и Тверски назвали ошибкой планирования, и состоит она в том, что прогноз ближе к лучшему сценарию, чем к реальному, и не учитывает опыт похожих проектов.
Поправка на опыт похожих проектов проста по форме и трудна по исполнению. Сначала найти класс похожих случаев и его статистику: сколько длились прошлые редизайны, сколько итераций занял прошлый запуск, какая доля фич дошла до плановой метрики. Потом взять эту цифру за базу и сдвигать её от базы только на то, чем проект действительно отличается. В управлении крупными проектами этот приём оформлен как прогноз по референтному классу (reference class forecasting), о нём подробнее — на последней странице серии.
Будущее кажется предсказуемым отчасти потому, что прошлое кажется понятным. Когда событие произошло, Система 1 тут же встраивает его в связную историю, и всё, что ей противоречило, забывается. Нассим Талеб назвал это ошибкой нарратива. Истории успеха и провала объясняют исход талантом, глупостью и намерениями, а удачу и случай почти не учитывают.
Как связная история переписывает память о собственных прогнозах, первым измерил Барух Фишхоф. В 1972 году перед визитом Никсона в Китай и СССР он вместе с Рут Бейт просил людей оценить вероятность разных исходов визита. После возвращения Никсона тех же людей просили вспомнить свои оценки. Если событие произошло, участники «вспоминали», что считали его более вероятным, чем на самом деле. Если не произошло — что всегда в нём сомневались. Это ретроспективное искажение, эффект «я так и знал».
Для команды из ретроспективного искажения следуют две ловушки. Первая — разбор провала задним числом: «было же очевидно, что пользователи не захотят платить», хотя до запуска это было не очевидно никому. Вторая — искажение результатом, когда решение оценивают по исходу, а не по тому, что было известно в момент решения. Удачный запуск без исследования делает команду смелее, неудачный запуск после хорошего исследования — осторожнее, и оба вывода неверны.
Разбор после запуска, который начинается с исхода, почти неизбежно находит виноватых и «очевидные» сигналы. Помогает записать прогноз и основания решения до запуска — в описании фичи или в журнале решений. Тогда на разборе сравнивают с тем, что команда думала тогда, а не с тем, что ей кажется теперь.
В молодости Канеман служил психологом в израильской армии и отбирал кандидатов в офицерскую школу. Восемь солдат без знаков различия должны были перебраться через стену с бревном, и наблюдатели оценивали, кто проявил себя лидером. Впечатления складывались ясные, оценки выходили однозначные. Каждые несколько месяцев наблюдатели получали сведения о том, как кандидаты учатся в офицерской школе, и каждый раз выяснялось, что их прогнозы почти ничего не предсказывают. Это не меняло уверенности при следующей партии кандидатов.
Канеман назвал это иллюзией значимости (illusion of validity). Уверенность в суждении определяется связностью впечатления, а не точностью прошлых суждений такого рода. Позже он нашёл то же самое у инвестиционных консультантов, когда посчитал корреляцию между результатами 25 консультантов за разные годы, и по 28 парам лет среднее значение вышло 0,01, то есть ноль. Год удачи одного консультанта не предсказывал его следующий год. В русском издании здесь опечатка — 0,1; в оригинале 0,01.
Связанные записи каталога — сверхуверенность и иллюзия контроля. Дизайнеру знакома та же иллюзия в найме и в ревью, где ясное впечатление о кандидате или макете ощущается как знание, хотя связь таких впечатлений с результатом никто не проверял.
В 1954 году психолог Пол Мил выпустил небольшую книгу, в которой сравнил примерно двадцать исследований, и в каждом проверяли, что точнее предсказывает успеваемость студентов, рецидив или исход лечения, суждение специалиста или простое правило с несколькими показателями. Почти везде правило было не хуже, а часто лучше. Позже число таких сравнений выросло примерно до двухсот. По Канеману, в 60 % из них формула оказалась заметно точнее, в остальных — так же точна, как человек.
Самый известный пример простого правила — шкала Апгар. В 1953 году анестезиолог Вирджиния Апгар предложила оценивать новорождённого через минуту после рождения по пяти признакам: пульс, дыхание, мышечный тонус, рефлексы, цвет кожи, от 0 до 2 баллов за каждый. Раньше врачи и акушерки решали по общему впечатлению и часто пропускали опасные признаки, а шкала заставила смотреть на одно и то же у каждого ребёнка.
Причина превосходства формул — не в том, что эксперты плохо знают своё дело. Люди непоследовательны. Один и тот же специалист, оценивая один и тот же случай дважды, даёт разные ответы, а формула постоянна. Этой непоследовательности посвящена страница о шуме. Для продуктовой работы вывод не в том, чтобы заменить дизайнера таблицей. Полезнее разбить суждение на несколько заранее выбранных признаков, оценить каждый отдельно и только потом составить общее мнение. Так устроены хорошие рубрики дизайн-ревью и структурированные интервью при найме. Канеман пишет о том же, что интуиции стоит дать слово в конце, когда признаки уже оценены.
У главы об интуиции есть второй автор, хотя он и не писал книгу. Гэри Кляйн изучал интуицию пожарных, медсестёр и командиров и защищал её от критики, а Канеман изучал психологов, консультантов и финансистов и видел в основном её провалы. Несколько лет они работали вместе, чтобы понять, где проходит граница, и в 2009 году опубликовали общую статью. Ответ уложился в два условия. Интуиция становится навыком, когда
- среда достаточно регулярна, чтобы её можно было предсказывать;
- у человека есть возможность выучить эти закономерности долгой практикой с быстрой и ясной обратной связью.
Шахматист, пожарный, анестезиолог работают в таких условиях. Биржевой аналитик и политический обозреватель — нет, потому что их среда почти непредсказуема, а ошибки обнаруживаются не сразу и не явно. Уверенность при этом признаком не служит, ведь она есть и у тех, и у других.
Для дизайна граница проходит внутри профессии. Опытный дизайнер интерфейсов надёжно видит, что форма сломается на мобильном или что подпись кнопки двусмысленна, потому что такие суждения проверяются тестом за день и обратной связи по ним было много. С интуицией о том, взлетит ли продукт на рынке, дело обстоит иначе, потому что среда нерегулярна, а обратная связь приходит через месяцы и смешана с удачей. Такое суждение стоит записать как гипотезу и проверить, а не принимать как экспертизу.
Самое распространённое искажение уверенности — оптимизм, и Канеман называет его двигателем капитализма. Пять лет в США выживают около 35 % малых предприятий. Американские предприниматели в среднем оценивают шансы на успех «любого предприятия вроде вашего» в 60 %, почти вдвое выше реального. О собственном предприятии они судят ещё оптимистичнее, и 81 % оценили свои шансы на успех в 7 из 10 или выше, а 33 % сочли, что шанс неудачи равен нулю. В русском издании эта фраза передана неточно, цифры здесь даны по оригиналу.
Канеман считает, что организации справляются с оптимизмом лучше отдельных людей, и называет лучший известный ему инструмент — премортем (pre-mortem), предложенный Кляйном. В русском издании метод назван «прижизненным эпикризом». Когда решение почти принято, но ещё не начато, команду собирают и просят представить, что прошёл год, план выполнили как есть и результат оказался катастрофой. За 5–10 минут каждый письменно излагает историю этой катастрофы.
Премортем делает две вещи. Он узаконивает сомнения, потому что в команде, где решение уже поддержал руководитель, возражение звучит как нелояльность, а здесь его прямо просят. И он направляет воображение на угрозы, которые взгляд изнутри не видит. Метод не гарантирует хорошего решения, но заметно снижает вероятность провала по причине, о которой кто-то в команде знал и промолчал.
Уверенность — ощущение, а не мера точности. Она растёт от связности истории и почти не зависит от того, насколько суждения такого рода сбывались раньше. Поэтому к важному прогнозу добавляют то, чего в истории нет: статистику похожих случаев и чужой взгляд на возможный провал.
- Взять текущую оценку срока или результата проекта.
- Найти три–пять похожих проектов команды или компании и записать, сколько они длились на самом деле и чем кончились.
- Поставить базовую оценку по ним и сдвинуть её только на реальные отличия своего проекта, записав каждое.
- Провести с командой премортем на 10 минут: каждый письменно описывает, почему проект провалился через год.
Готово, когда рядом стоят две оценки — изнутри и снаружи — и по итогам премортема изменено хотя бы одно решение: срок, объём или критерий остановки.
| Запись | Где встречается чаще всего |
|---|---|
| Ошибка планирования | Оценка сроков, дорожная карта, обещание заказчику |
| Ретроспективное искажение | Разбор провала, отчёт об эксперименте |
| Искажение результатом | Оценка решений и людей по исходу |
| Сверхуверенность | Найм, прогноз метрик, дизайн-ревью |
| Пренебрежение конкуренцией | Запуск продукта на занятый рынок |
| Нетерпимость к алгоритмам | Отказ от формулы после одной её ошибки |
| Эффект Даннинга — Крюгера | Самооценка новичка; в каталоге с пометкой о спорности |
Источники
- Д. Канеман. Думай медленно… решай быстро. М.: АСТ, 2014. Часть III, главы 19–24. Цифры по консультантам (0,01) и предпринимателям (81 %) сверены с оригиналом: D. Kahneman. Thinking, Fast and Slow. FSG, 2011.
- D. Kahneman, G. Klein. Conditions for intuitive expertise: A failure to disagree // American Psychologist, 2009, 64 (6). doi:10.1037/a0016755
- B. Fischhoff, R. Beyth. «I knew it would happen»: Remembered probabilities of once-future things // Organizational Behavior and Human Performance, 1975, 13 (1). doi:10.1016/0030-5073(75)90002-1
- P. E. Meehl. Clinical versus Statistical Prediction. University of Minnesota Press, 1954.
- V. Apgar. A Proposal for a New Method of Evaluation of the Newborn Infant // Current Researches in Anesthesia and Analgesia, 1953, 32.
- G. Klein. Performing a Project Premortem // Harvard Business Review, сентябрь 2007.