Все предыдущие страницы этой серии были о смещении (bias) — систематической ошибке, которая сдвигает суждения многих людей в одну сторону. В 2021 году Канеман вместе с Оливье Сибони и Кассом Санстейном выпустил книгу о второй составляющей ошибки, которую, по их мнению, почти не замечают. Это шум (noise) — разброс суждений, которые в идеале должны совпадать.
Разброс и смещение авторы различают на примере четырёх команд стрелков. Команда А попадает кучно в центр мишени. Команда Б стреляет кучно, но в стороне от центра, и это смещение. Команда В рассеивает выстрелы вокруг центра, и это шум. Команда Г делает и то и другое. Если перевернуть мишени и посмотреть с обратной стороны, где центра не видно, смещение определить уже нельзя, потому что непонятно, куда целились. А шум по-прежнему виден по разбросу пробоин.
Это главное практическое свойство шума. Чтобы найти смещение, нужно знать правильный ответ. Чтобы найти шум, достаточно сравнить суждения об одном и том же случае. Поэтому измерить шум можно в любой организации, даже там, где правильного ответа нет и никогда не будет.
Измерять шум стоит ещё и потому, что вместе со смещением он складывается в общую ошибку по формуле из статистики: квадрат средней ошибки равен квадрату смещения плюс квадрат шума. Авторы делают из неё вывод, неожиданный для привыкших бороться с искажениями. В этой формуле у шума и смещения одинаковый вес, поэтому снизить шум на некоторую величину так же полезно, как снизить на ту же величину смещение. Формула работает для прогнозов и оценок, у которых есть верный ответ. К суждениям о вкусе её не применить.
История со страховой компанией из задачи на входе — первая ревизия шума (noise audit), которую провели авторы, когда специалистам дали несколько типовых случаев и каждый независимо их оценил. Руководство ожидало разницы около 10 %, и когда авторы потом опросили 828 руководителей из разных отраслей, медиана ответов снова была 10 %. Реальная разница у андеррайтеров составила 55 %. Один и тот же полис один специалист оценивал в 9500 долларов, другой — в 16 700. Один из топ-менеджеров компании оценил потери от этого разброса в сотни миллионов долларов.
Похожий разброс находят везде, где проводят ревизии. В исследовании 1981 года 208 федеральных судей США выносили приговоры по 16 одинаковым вымышленным делам и единодушно сошлись в том, нужен ли тюремный срок, только в 3 делах из 16. Разработчики программ, дважды оценивая срок одной и той же задачи, расходились сами с собой в среднем на 71 %. В оценке сотрудников методом «360°» на разницу в реальной работе приходится 20–30 % разброса, а остальное — шум.
Ревизия устроена просто, и тот же метод можно повторить в продуктовой команде.
- Выбрать типовое суждение, которое команда выносит регулярно: оценку задачи в очках, приоритет идеи, оценку макета на ревью, решение по кандидату.
- Подготовить несколько реальных или правдоподобных случаев.
- Попросить каждого оценить их независимо, не обсуждая.
- Посчитать разброс по каждому случаю и сравнить с тем, какой разброс команда сочла бы допустимым.
Если разброс больше допустимого, у команды не одно решение, а лотерея, и итог зависит от того, кому достался случай.
Авторы различают несколько видов шума. В русском издании они названы иначе, чем в большинстве пересказов, поэтому здесь даны оба варианта.
| Вид шума | Что это | Пример |
|---|---|---|
| Межэкспертный (level noise) | Одни эксперты в среднем строже или щедрее других | Один дизайн-лид в среднем ставит макетам 6 из 10, другой — 8 |
| Стабильный внутриэкспертный (stable pattern noise) | Эксперт строг к одним случаям и мягок к другим, и это устойчиво | Ревьюер всегда придирчив к типографике и прощает навигацию |
| Ситуативный (occasion noise) | Один и тот же человек оценивает тот же случай по-разному в разное время | Тот же макет в понедельник утром и в пятницу вечером |
Межэкспертный и внутриэкспертный шум вместе составляют системный шум — разброс внутри организации, которая должна говорить одним голосом. Интуитивно больше всего виден ситуативный шум: настроение, усталость, погода. Но авторы подчёркивают, что во всех изученных ими случаях он играл меньшую роль, чем устойчивые различия между экспертами, и в страховой компании около 80 % системного шума приходилось на внутриэкспертный шум.
В книге приводится известное исследование: израильские судьи будто бы чаще отпускали заключённых по УДО утром и после перерыва на еду. Авторы «Шума» подают его без оговорок, но оно оспорено. Порядок дел в сессии оказался не случайным: дела заключённых без адвоката рассматривали в конце (Вайншал-Маргель и Шапард, 2011). Пример хорош для иллюстрации ситуативного шума, но не как доказательство, что обед меняет приговор на десятки процентов.
Страница об иллюзии понимания рассказывала, что простые формулы часто предсказывают лучше экспертов. «Шум» объясняет, почему так. Дело не в том, что правило понимает суть лучше, а в том, что оно не производит шума и на одни и те же данные всегда даёт один и тот же ответ.
Самый убедительный опыт о таких правилах — «модель вас». В конце 1960-х Льюис Голдберг строил для каждого эксперта простую линейную модель его собственных суждений. Модель знала о случаях меньше, чем эксперт, и учитывала их грубее, и всё же предсказывала точнее самого эксперта, потому что убирала его непоследовательность. В одном из повторений модель обогнала каждого из 98 участников.
Но и у модели есть предел. Часть будущего непредсказуема в принципе, и авторы называют это объективной неосведомлённостью (objective ignorance). Руководители считают, что выбирают лучшего из двух кандидатов в 75–85 % случаев, а реальная связь между оценками при найме и последующей работой даёт около 59 %, где 50 % — подбрасывание монеты. Понизить шум можно, отменить неопределённость — нет.
Бороться с конкретным искажением можно, если знать его направление. Шум направления не имеет, и смещения разных людей часто смешиваются в шум, поэтому авторы предлагают не лечение, а гигиену решений (decision hygiene). Название дано по аналогии с мытьём рук, которое защищает от инфекции, даже если неизвестно, какой именно. Принципов шесть, и почти каждый уже встречался в этой серии.
- Цель суждения — точность, а не самовыражение. Полезный вопрос: какое решение принял бы здесь опытный коллега?
- Мыслить статистически и смотреть снаружи. Видеть случай как один из класса похожих.
- Разбивать суждение на независимые части. Оценивать признаки по отдельности, а не составлять общее впечатление сразу. Так устроены шкала Апгар и структурированное интервью.
- Не поддаваться преждевременной интуиции. Интуицию не запрещают, но ей дают слово в конце, когда признаки уже оценены.
- Собирать независимые суждения нескольких людей и затем их объединять. Каждый оценивает до обсуждения, иначе первые мнения становятся якорем.
- Предпочитать относительные оценки абсолютным. Сравнивать случаи между собой или с эталонами легче и надёжнее, чем ставить баллы по абстрактной шкале.
Для процесса из этих принципов авторы собрали протокол промежуточных оценок (Mediating Assessments Protocol), в котором решение заранее раскладывают на несколько оценок, каждую выносят независимо и обсуждают отдельно, а итоговое суждение выносят только после всех частей. Пример из книги касается найма в Google. Аудит показал, что прогностическая сила прежних собеседований была почти нулевой, и компания перешла к структурированным интервью: четыре интервьюера, каждый беседует отдельно и оценивает свои качества, итог решает комиссия.
Гигиена решений в продуктовой команде
- Дизайн-ревью. Перед обсуждением каждый письменно оценивает макет по 3–5 заранее согласованным критериям. Обсуждают расхождения, а не впечатления.
- Приоритизация. Reach, Impact, Confidence и Effort оценивают разные люди независимо, а не один продакт за всех. Расхождения в оценках — повод для разговора, а не помеха.
- Найм. Задание и критерии фиксируют до собеседований; каждый интервьюер оценивает свою часть и не видит оценок других до комиссии.
- Оценка задач. Покер планирования делает то же самое: оценки открывают одновременно, чтобы первая не стала якорем.
Не любой разброс — ошибка. Авторы отделяют шум системы от разнообразия там, где оно нужно: вкус кинокритиков, конкуренция идей между стартапами и научными группами, творческая работа. Генерация идей на воркшопе должна быть шумной, иначе это не генерация. Шум становится проблемой там, где организация должна говорить одним голосом: цена, приговор, оценка кандидата, приоритет задачи.
Снижение шума тоже стоит денег и иногда не окупается. Пять проверяющих на каждое школьное сочинение были бы избыточны. Жёсткие правила снижают инициативу, и людям важно, чтобы их выслушали, а не обработали по формуле. Но авторы настаивают, что пока команда не провела ревизию, она не знает, сколько у неё шума, и не может решить, стоит ли его снижать.
- Выбрать типовое суждение команды: оценку задачи, Impact в RICE, оценку макета.
- Подготовить пять реальных случаев.
- Попросить трёх–пяти человек оценить их независимо, не обсуждая.
- Посчитать разброс по каждому случаю и сравнить с тем, какой разброс команда сочла бы допустимым.
Готово, когда разброс посчитан и решено, нужна ли гигиена решений для этого суждения: эталоны, критерии, независимые оценки.
Ошибка суждения — это смещение плюс шум. Смещение видно, когда известен правильный ответ, шум — когда сравнивают суждения об одном случае. Каталог описывает смещения, а против шума работает гигиена решений: независимые оценки, разбивка на части и интуиция в конце.
Источники
- Д. Канеман, О. Сибони, К. Санстейн. Шум. Несовершенство человеческих суждений. М.: АСТ, 2021 (Noise: A Flaw in Human Judgment, 2021). Введение; главы 1–2, 5–7, 9–11, 19, 23–25; заключение.
- A. M. Bartolomeo et al. Sentence Decisionmaking: The Logic of Sentence Decisions and the Extent and Sources of Sentence Disparity // Journal of Criminal Law and Criminology, 1981, 72 (2).
- K. Weinshall-Margel, J. Shapard. Overlooked factors in the analysis of parole decisions // PNAS, 2011, 108 (42). doi:10.1073/pnas.1110910108
- L. R. Goldberg. Man versus model of man: A rationale, plus some evidence, for a method of improving on clinical inferences // Psychological Bulletin, 1970, 73 (6). doi:10.1037/h0029230
- D. Kahneman, D. Lovallo, O. Sibony. A Structured Approach to Strategic Decisions // MIT Sloan Management Review, 2019, 60 (3).