Нетерпимость к алгоритмам

Algorithm aversion · неприятие алгоритмов

АудиторияКомандаДоказательность B — надёжно, с оговоркамиНужно действовать быстро

Увидев одну ошибку алгоритма, ему перестают доверять и выбирают человека, хотя человек ошибается чаще.

Как работает

Промах человека объясняют обстоятельствами, промах формулы — тем, что она «ничего не понимает». Одна ошибка алгоритма запоминается как знак негодности, а ошибки эксперта прощаются. Канеман добавляет моральную сторону: многим неприятно, что о людях решает искусственное правило, и неприязнь растёт вместе с ценой решения.

Механизм: Поиск причин. Система 1 сразу ищет причину и того, кто действовал. Случайный разброс она объясняет намерением или характером, а статистику не чувствует. (Канеман, гл. 6, 10, 17)

Классический опыт

Дитворст, Симмонс и Мэсси, 2015. Участники прогнозировали успехи студентов MBA и могли опереться на свой прогноз или на статистическую модель. Те, кто видел, как модель ошибается, чаще выбирали свой прогноз, хотя модель ошибалась меньше их.

В дизайне

Продукт

Аудитория

Навигатор один раз завёл водителя в пробку. Дальше водитель едет «как знает» и опаздывает чаще, но эти опоздания не связывает со своим выбором.

Команда

Прогноз спроса промахнулся на праздниках, и менеджеры стали вручную править каждое его число. Сравнить точность правленых и неправленых прогнозов за полгода никто не пробовал.

Управление

Команда

Компания оценивала кандидатов по рубрике с баллами. После одного неудачного найма по рубрике рекрутеры вернулись к собеседованию по ощущению, хотя ошибки собеседований по ощущению никто не считал.

Связи

  • Противовес. Машине верят без проверки, пока она не ошибётся на глазах, а потом не верят совсем.

Противоядия

  • Широкая рамка. Смотреть на решение как на одно из серии похожих и принять общее правило для всей серии. Заранее договориться, как часто смотреть на итог, и не обсуждать дневные колебания между проверками.
  • Журнал решений. Записывать решение, ожидаемый результат, его вероятность и доводы. После релиза сверить запись с фактом и оценить само рассуждение: хороший исход мог сложиться случайно.

Источники