Нетерпимость к алгоритмам
Algorithm aversion · неприятие алгоритмов
Увидев одну ошибку алгоритма, ему перестают доверять и выбирают человека, хотя человек ошибается чаще.
Как работает
Промах человека объясняют обстоятельствами, промах формулы — тем, что она «ничего не понимает». Одна ошибка алгоритма запоминается как знак негодности, а ошибки эксперта прощаются. Канеман добавляет моральную сторону: многим неприятно, что о людях решает искусственное правило, и неприязнь растёт вместе с ценой решения.
Механизм: Поиск причин. Система 1 сразу ищет причину и того, кто действовал. Случайный разброс она объясняет намерением или характером, а статистику не чувствует. (Канеман, гл. 6, 10, 17)
Классический опыт
Дитворст, Симмонс и Мэсси, 2015. Участники прогнозировали успехи студентов MBA и могли опереться на свой прогноз или на статистическую модель. Те, кто видел, как модель ошибается, чаще выбирали свой прогноз, хотя модель ошибалась меньше их.
В дизайне
Продукт
Навигатор один раз завёл водителя в пробку. Дальше водитель едет «как знает» и опаздывает чаще, но эти опоздания не связывает со своим выбором.
Прогноз спроса промахнулся на праздниках, и менеджеры стали вручную править каждое его число. Сравнить точность правленых и неправленых прогнозов за полгода никто не пробовал.
Управление
Компания оценивала кандидатов по рубрике с баллами. После одного неудачного найма по рубрике рекрутеры вернулись к собеседованию по ощущению, хотя ошибки собеседований по ощущению никто не считал.
Связи
Противовес. Машине верят без проверки, пока она не ошибётся на глазах, а потом не верят совсем.
Противоядия
- Широкая рамка. Смотреть на решение как на одно из серии похожих и принять общее правило для всей серии. Заранее договориться, как часто смотреть на итог, и не обсуждать дневные колебания между проверками.
- Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.
Источники
- Канеман, «Думай медленно… решай быстро», гл. 21
- Dietvorst B. J., Simmons J. P., Massey C. Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 2015
- Meehl P. E. Clinical versus Statistical Prediction. University of Minnesota Press, 1954
- Канеман Д. Думай медленно… решай быстро, гл. 21