«Он знает, что, исходя из данных обследования, предсказать развитие болезни практически невозможно. Откуда же такая уверенность? Это похоже на иллюзию значимости».
«Она связала все, что знала, в стройную систему, и когерентность помогает ей чувствовать себя на высоте».
«Она – „еж“ по натуре. У нее есть теория, которая все объясняет. Отсюда возникает иллюзия понимания мира».
«Проблема не в том, насколько сведущи эти эксперты, а в том, насколько предсказуема жизнь».
21. Интуиция и формулы – кто кого?
Пол Мил – удивительный и необычный человек, один из самых разносторонних психологов ХХ века. В Миннесотском университете он в разное время занимал преподавательские должности на факультетах психологии, юриспруденции, психиатрии, неврологии и философии. Его работы также касались вопросов религии, политологии и способности крыс к обучению. Он был не только исследователем, глубоко понимающим статистику и критикующим голословные утверждения клинических психологов, но и практикующим психоаналитиком. Мил написал несколько глубоких статей о философских основах психологических исследований – в годы аспирантуры я выучил их наизусть. Мы ни разу не встречались лично, но он стал одним из моих кумиров с тех пор, как я прочел его «Клинический и статистический прогнозы: теоретический анализ и фактологический обзор».
В этой небольшой работе, которую Мил позже называл своей «подрывающей основы книжечкой», он рассмотрел результаты двадцати исследований, анализирующих, что точнее: клинические прогнозы, основанные на субъективных представлениях врачей-профессионалов, или статистические прогнозы, полученные по строгой формуле, объединяющей оценки и данные. В типичном эксперименте социальные педагоги после сорокапятиминутного опроса каждого студента предсказывали оценки первокурсников к концу учебного года. Интервьюерам также предоставлялся доступ к результатам обучения в старшей школе и итогам тестов на интеллект и способности, а также к четырехстраничному эссе абитуриента, необходимому для поступления в университет. Статистическая формула использовала только часть всей этой информации, а именно отметки старшей школы и результаты одного теста на выявление способностей. Тем не менее формула оказалась точнее в прогнозах, чем 11 из 14 педагогов. Сходные результаты были получены при изучении ряда других предсказаний, в частности вероятности нарушения режима условно-досрочного освобождения, успешного прохождения программы подготовки пилотов или криминального рецидива.
Неудивительно, что «книжечка» Мила вызвала у многих психологов-клиницистов оторопь и недоверие, а начатая в ней полемика дала начало потоку исследований, который не иссякает до сих пор, спустя полвека после публикации. Число исследований, сравнивающих клинические и статистические прогнозы, возросло до двух сотен, но счет в и гре «человек против формулы» с тех пор не изменился. Примерно 60% исследований доказали перевес в пользу формулы (то есть статистические прогнозы оказались гораздо точнее). Другие сравнения показали равные по точности результаты, но по статистическим законам ничья равносильна победе, а использовать статистику дешевле, чем нанимать экспертов. Никаких убедительных исключений из правила замечено не было.
С тех пор статистическое прогнозирование стало использоваться и в медицине – для определения продолжительности жизни раковых больных, сроков госпитализации, выявления кардиологических заболеваний и вероятности возникновения синдрома внезапной смерти новорожденных. В экономике с его помощью рассчитывают перспективы успеха новых компаний, оценивают риски кредитования в банках и возможность профессионального «выгорания». Статистические прогнозы применяются и в государственных учреждениях – для отбора кандидатов в приемные родители, определения вероятности рецидива у малолетних правонарушителей, а также возможности совершения ими других форм насилия. Статистические прогнозы проводятся во многих областях – с целью оценки научных презентаций, для поиска победителей в футбольном чемпионате и предсказания будущих цен на вина. Каждая из этих областей содержит значительную меру неопределенности и непредсказуемости. Мы называем их «малодостоверными областями». В каждом случае результативность экспертов не уступает или даже проигрывает точности формулы.
Как с законной гордостью заметил Мил через тридцать лет после выхода книги, «еще ни одному противоречию в общественных науках не посвящали такого множества качественно разнородных исследований, движущихся в одном направлении».
Принстонский экономист и знаток вин Орли Ашенфельтер подготовил убедительную демонстрацию превосходства простой статистики над мнением всемирно известных экспертов. Ашенфельтер хотел предсказать изменение цен на бордо по информации, доступной в год урожая. Это – важный момент, поскольку вину требуется несколько лет, чтобы созреть. К тому же цены сильно варьируют в зависимости от выдержки – цены на вина из одного и того же виноградника, разлитые с интервалом 12 месяцев, могут отличаться в десятки раз, а то и больше. Способность предсказывать эти изменения очень важна, поскольку инвесторы вкладывают средства в марочные вина как в произведения искусства, в надежде, что с годами они будут дорожать.
