Теория · 2 из 8

Эвристики и подстановка

Как Система 1 отвечает на трудные вопросы, которых не может решить: строит связную историю из того, что видит, и подменяет сложный вопрос лёгким. Отсюда механизмы каталога «Что видишь, то и есть», «Подстановка», «Прототипы» и «Поиск причин».

Результат страницы: находить в суждении подменённый вопрос и называть, каких данных в нём не хватает.

Задача на вход
1. Линде 31 год, она не замужем, говорит прямо и очень умна. Изучала философию. В студенчестве её глубоко волновали дискриминация и социальная справедливость, она участвовала в антиядерных демонстрациях. Что вероятнее?

Что ты видишь, то и есть

Предыдущая страница описала Систему 1 как ассоциативную машину, и у этой машины есть свойство, из которого вырастает больше искажений, чем из любого другого. Она работает только с тем, что активировано сейчас, и чего нет в памяти и перед глазами в эту секунду, для неё не существует.

Канеман показывает это на вопросе: «Будет ли Миндик хорошим лидером? Она умная, сильная…» Ответ «да» приходит сразу. Никто не спрашивает, что ещё нужно знать о человеке, чтобы судить о лидерстве, хотя следующими словами могли быть «жестокая» и «нечестная». Из двух прилагательных Система 1 построила лучшую историю, какую можно из них построить, и история получилась связной.

Это и есть принцип WYSIATI — «что ты видишь, то и есть» (What You See Is All There Is). Мерой успеха для Системы 1 служит связность истории, а не количество и качество данных под ней. Чем меньше известно, тем легче сложить всё в непротиворечивую картину, поэтому уверенность часто растёт, когда данных становится меньше.

Сильнее всего это видно в опыте, который Тверски провёл со своими аспирантами в Стэнфорде, где участникам описывали судебные дела, причём одним давали доводы только одной стороны, и они знали об этом. Такие участники легко могли представить доводы противоположной стороны, но всё равно выносили суждения в пользу той, кого слышали, и были увереннее тех, кто слышал обе стороны.

Механизм «Что видишь, то и есть» — один из самых населённых в каталоге, и в нём есть эффект ореола, когда первое впечатление о человеке или продукте окрашивает всё, что о нём узнают потом. В нём и эффект эстетики-юзабилити, из-за которого красивый интерфейс кажется удобнее, а в тесте участники прощают ему ошибки, которые заметили бы в некрасивом. Связанные с уверенностью записи этой ветки (сверхуверенность, ошибка планирования, ретроспективное искажение) разобраны на следующей странице.

Ловушка: пять интервью и твёрдое мнение

После пяти интервью у команды складывается связная история о пользователе, и она кажется тем убедительнее, чем меньше в ней противоречий. Но связность — свойство истории, а не данных. Полезный вопрос на синтезе: «Чего мы не спросили? Кого мы не видели?» Ответ на него — список того, чего в истории нет, а не того, что в ней есть.

Подстановка

Если на сложный вопрос быстро не находится ответа, Система 1 ищет более лёгкий родственный вопрос и отвечает на него. Канеман называет эту операцию подстановкой (substitution). Вопрос, на который нужно ответить, он называет целевым, а лёгкий, на который отвечают вместо него, — эвристическим.

Целевой вопросЭвристический вопрос
Сколько денег пожертвовать на спасение исчезающих видов?Насколько меня трогают умирающие дельфины?
Насколько я счастлив в последнее время?Какое у меня настроение прямо сейчас?
Насколько популярен будет президент через полгода?Насколько он популярен сейчас?
Удобен ли этот интерфейс?Нравится ли он мне на вид?
Сработает ли эта фича?Насколько убедительно она звучит на демо?

Первые три строки взяты из книги, две последние добавлены для дизайна. Подмена незаметна, и человек не чувствует, что ответил на другой вопрос, потому что ответ приходит быстро и кажется ответом на целевой вопрос, а Система 2 обычно его одобряет.

Канеман приводит опыт с немецкими студентами. Им задавали два вопроса: «Насколько вы счастливы в последнее время?» и «Сколько свиданий у вас было в прошлом месяце?». В таком порядке корреляция между ответами была практически нулевой, а когда порядок поменяли и про свидания спрашивали первым, корреляция стала необычайно высокой для психологических измерений. Вопрос о свиданиях вызывал эмоцию, и при ответе о счастье студенты оценивали уже её, а не свою жизнь целиком. Для любого опроса пользователей отсюда прямой вывод. Порядок вопросов меняет ответы, и общий вопрос об удовлетворённости, заданный после вопроса о конкретной проблеме, измеряет эту проблему.

Подстановку в каталоге легко узнать по формуле «отвечает на вопрос попроще». Сюда относятся эвристика аффекта, когда «нравится ли мне» заменяет «каковы риски и выгоды», и эвристика настроения. Для команды важнее всего подмена цели метрикой. Вопрос «довольны ли клиенты» незаметно становится вопросом «вырос ли NPS», и команда начинает растить NPS способами, которые клиентам не помогают.

Три эвристики Тверски и Канемана

Статья 1974 года описывала три правила суждения в условиях неопределённости. Все три — частные случаи подстановки.

Репрезентативность

Вопрос «насколько это вероятно» заменяется вопросом «насколько это похоже на типичный случай». Задача про Линду — пример. Другой пример открывает книгу. Стив застенчив и нелюдим, любит порядок и внимателен к деталям. Кто он вероятнее, фермер или библиотекарь? Описание похоже на библиотекаря, но, как пишет Канеман, в США на каждого мужчину-библиотекаря приходится больше 20 фермеров. Сходство вытесняет из суждения долю группы — это пренебрежение априорной вероятностью.

В продукте эта ошибка выглядит так. Пользователь в интервью «очень похож» на целевую персону, и его слова принимают за голос сегмента. Кандидат на собеседовании «похож на сильного дизайнера», и сходство с образом заменяет проверку работы. Механизм в каталоге называется «Прототипы и интенсивность», потому что Система 1 думает типичными примерами, а не множествами, и потому плохо чувствует размер и долю.

Доступность

Вопрос «как часто это бывает» заменяется вопросом «как легко мне вспомнить примеры». Обычно это работает, потому что частое и вспоминается легче, но так же легко вспоминается яркое, недавнее, личное, независимо от частоты. Это эвристика доступности.

Тоньше всего она устроена в опыте группы Норберта Шварца начала 1990-х. Одних участников просили вспомнить шесть случаев, когда они вели себя настойчиво, других — двенадцать. Потом все оценивали свою настойчивость. Те, кто вспоминал двенадцать, оценили себя ниже, потому что последние примеры давались с трудом, и именно лёгкость, а не количество, решила дело. В команде это видно на любом разборе обратной связи, где последняя громкая жалоба в чате поддержки весит больше сотни тихих обращений, которые никто не перечитывал.

Привязка

Оценка неизвестной величины тянется к числу, которое человек видел перед этим, даже если число случайно. Тверски и Канеман раскручивали рулетку, которая останавливалась только на 10 или 65, и спрашивали студентов Орегонского университета, какую долю членов ООН составляют африканские страны. Средняя оценка у тех, кто видел 10, была 25 %, у видевших 65 — 45 %.

Эффект привязки Канеман называет одним из самых надёжных результатов экспериментальной психологии, и в каталоге у него высшая доказательность. Объясняет он его двумя путями сразу. Система 2 сдвигается от якоря и останавливается слишком рано, а Система 1 активирует совместимые с якорем мысли. Рынок пользуется этим давно. В супермаркете в Сиу-Сити суп «Кэмпбелл» продавали со скидкой около 10 %, и в дни, когда висело объявление «не более 12 банок в одни руки», покупатели брали в среднем по 7 банок — вдвое больше, чем без ограничения. (Опыт поставил Брайан Вансинк, у которого позже отозвали много статей. Эта среди отозванных не числится, но цифру надёжнее считать иллюстрацией: сам эффект привязки подтверждён десятками других опытов.) В интерфейсе якорем служит зачёркнутая цена, первый тариф в ряду, число в поле «сумма» по умолчанию. В управлении — первая оценка срока, названная на планировании вслух.

Поиск причин и закон малых чисел

Система 1 ищет в событиях причины и намерения, даже там, где их нет. Видеть закономерность в случайном ей проще, чем признать случайность. Канеман показывает это на исследовании заболеваемости раком почки в 3141 округе США. Самый низкий уровень оказался в сельских малонаселённых округах Среднего Запада, Юга и Запада, и объяснение напрашивается: чистый воздух, свежие продукты, спокойная жизнь. Но самый высокий уровень оказался в таких же округах. Причина у обоих результатов одна, и она статистическая. В малой выборке крайние значения встречаются чаще, причём в обе стороны.

Канеман называет это законом малых чисел (law of small numbers) — ироничным именем для веры, будто маленькая выборка похожа на совокупность так же, как большая. Для продуктовой команды это самое дорогое искажение из ветки «Поиск причин». Его прямое следствие — A/B-тест, который останавливают на третий день, потому что «уже видно». Ещё два близких: непонимание регрессии к среднему, когда после рекордного месяца падение объясняют ошибкой команды, и фундаментальная ошибка атрибуции, когда провал проекта объясняют характером людей, а не обстоятельствами.

Практика: найти подменённый вопрос
  1. Взять последнее решение команды, принятое уверенно: приоритет фичи, вывод из интервью, выбор варианта дизайна.
  2. Записать целевой вопрос, на который решение должно отвечать.
  3. Записать, на какой вопрос команда фактически ответила, — по тем доводам, что звучали.
  4. Если вопросы не совпадают, составить список данных, которых не хватало для ответа на целевой.

Готово, когда есть пара «целевой вопрос — эвристический вопрос» и список недостающих данных, хотя бы пустой.

Механизмы в каталоге

МеханизмКак узнать в сужденииЗаписи для начала
Что видишь, то и естьУверенность есть, а вопроса «чего мы не знаем» не былоЭффект ореола, Ошибка нарратива, Иллюзия глубины понимания
ПодстановкаОтвет дан на вопрос попрощеЭвристика доступности, Подмена цели метрикой, Эвристика усилия
Прототипы и интенсивностьСудят по типичному примеру, теряют долю и размерОшибка конъюнкции, Нечувствительность к масштабу
Поиск причинВ случайном видят замысел и причинуЗакон малых чисел, Иллюзорная корреляция
Проверьте себя
1. После релиза конверсия в оплату за два дня выросла с 3,1 до 3,9 %. Менеджер предлагает раскатить изменение на всех. Какой вопрос задать первым?
2. В опросе удовлетворённости первый вопрос — «Сталкивались ли вы с ошибками при оплате?», второй — «Насколько вы довольны сервисом в целом?». Что, скорее всего, измерит второй вопрос?
3. Новый дизайнер пришёл из известной студии, хорошо говорит и аккуратно одет. Через неделю руководитель уверен, что дизайнер сильный, хотя ещё не видел ни одной его работы в команде. Какой механизм работает?
Источники
  • Д. Канеман. Думай медленно… решай быстро. М.: АСТ, 2014. Введение; часть I, главы 7–9; часть II, главы 10–15.
  • A. Tversky, D. Kahneman. Judgment under Uncertainty: Heuristics and Biases // Science, 1974, 185 (4157). doi:10.1126/science.185.4157.1124
  • A. Tversky, D. Kahneman. Extensional versus intuitive reasoning: The conjunction fallacy in probability judgment // Psychological Review, 1983, 90 (4). doi:10.1037/0033-295X.90.4.293
  • N. Schwarz et al. Ease of retrieval as information: Another look at the availability heuristic // Journal of Personality and Social Psychology, 1991, 61 (2). doi:10.1037/0022-3514.61.2.195
  • B. Wansink, R. J. Kent, S. J. Hoch. An Anchoring and Adjustment Model of Purchase Quantity Decisions // Journal of Marketing Research, 1998, 35 (1). doi:10.1177/002224379803500108