Ознакомительная версия. Доступно 27 страниц из 133
По вашему мнению, какой средний балл получит этот студент?
Каков процент первокурсников, которые получат более высокий средний балл?
Между этими парами вопросов существует трудноуловимая разница. Она должна бы быть очевидной, но это не так. В первой паре требуется оценить данные, а во второй много неопределенности. Вопрос касается реальных результатов в конце первого курса. Что случилось за год, прошедший со времени собеседования? Насколько точно можно предсказать реальные достижения студента на первом курсе колледжа по пяти прилагательным? Способен ли психолог совершенно точно предсказать средний балл по результатам собеседования?
Цель нашего исследования заключалась в том, чтобы сравнить процентильные оценки испытуемых, в одном случае сделанные по имеющимся данным, а в другом – при предсказании конечного результата. Итоги подвести легко: оценки оказались идентичны. Хотя пары вопросов различаются (одни – про описание, другие – про будущие результаты), участники воспринимают их как одинаковые. Как и в случае с Джули, предсказание будущего не отличается от оценки имеющихся данных, оно ей соответствует. Это лучшее из имеющихся у нас свидетельств роли подстановки. Испытуемых просят о предсказании, но они подставляют вместо него оценку данных, не замечая, что отвечают на вопрос, отличный от заданного. Такой процесс гарантированно ведет к получению систематически искаженных предсказаний, которые совершенно не учитывают регрессию к среднему.
Во время службы в Армии обороны Израиля я некоторое время провел в подразделении, где отбор кандидатов в офицеры проводился на основании серии собеседований и полевых испытаний. Критерием успешного предсказания считалась оценка курсанта при выпуске из школы офицеров. Надежность рейтингов была довольно низкой (об этом я расскажу подробнее в следующей части книги). Подразделение существовало и тогда, когда я уже стал профессором и вместе с Амосом изучал интуитивные оценочные суждения. Связи с подразделением у меня сохранились, и я попросил командование, чтобы, в дополнение к своим обычным оценкам кандидатов, они попробовали предсказать, какую оценку каждый из будущих курсантов получит в школе офицеров. Мы изучили несколь ко сотен таких предсказаний. Офицерам, делавшим предсказания, была известна «буквенная» система оценки, применяемая к курсантам школы, и примерное соотношение оценок «A», «B» и так далее. Выяснилось, что относительная частота «A» и «B» в предсказаниях была почти идентична их частоте в заключительных оценках школы.
Это – убедительный пример и подстановки, и сопоставления интенсивности. Офицеры, дававшие предсказания, абсолютно не смогли различить две задачи:
• привычное задание – оценка того, как кандидаты функционируют в подразделении;
• задание, которое дал им я, то есть предсказание будущей оценки кандидата в школе.
Командиры подразделения перевели свои оценки в шкалу, используемую в школе офицеров, с помощью сопоставления интенсивности. И вновь неспособность справиться с (существенной) неопределенностью своих предсказаний привела к тому, что их прогнозы оказались совершенно нерегрессивным и.
Коррекция интуитивных предсказаний
Вернемся к Джули, нашей одаренной читательнице. Метод правильного предсказания ее среднего балла описан в предыдущей главе. Как и ранее – для гольфа несколько дней подряд или для веса и игры на пианино, – я приведу схематическую формулу для факторов, определяющих оценку навыков чтения и оценки в колледже:
оценка навыков чтения = общие факторы + факторы, важные для оценки навыков чтения = 100%
средний балл = общие факторы + факторы, важные для среднего балла = 100%
К общим факторам относятся генетические способности, то, насколько семья поддерживает интерес к учебе, и все то, из-за чего одни и те же люди в детстве рано начинают читать, а в юности успешно учатся. Конечно, есть множество факторов, которые повлияют только на одно из этих событий: возможно, слишком требовательные родители научили Джули читать в раннем воз расте, или ее оценки в колледже пострадали из-за несчастной любви, или подростком, катаясь на лыжах, она получила травму, вызвавшую задержку в развитии, и так далее.
Вспомните, что корреляция между двумя величинами – в данном случае между оценкой навыков чтения и средним баллом – равна доле совпадающих определяющих факторов в их общем числе. По-вашему, как велика эта доля? По моим самым оптимистичным оценкам – примерно 30%. Если взять за основу эту цифру, то мы получим все исходные данные для того, чтобы сделать неискаженное предсказание, производя следующие четыре действия:
1. Начните с оценки типичного среднего балла.
2. Определите средний балл, соответствующий вашим впечатлениям от имеющихся сведений.
3. Оцените корреляцию между вашими данными и средним баллом.
4. Если корреляция составляет 0,30, переместитесь от типичного среднего балла на 30% расстояния в сторону сре днего балла, соответствующего впечатлениям.
Первый пункт дает вам точку отсчета, средний балл, который вы предсказали бы для Джули, если бы ничего о ней не знали. В отсутствие информации вы бы предсказали типичный средний балл. (Это похоже на то, как без других данных о Томе В. ему приписывают априорную вероятность студента по специальности «управление бизнесом».) Второй пункт – интуитивное предсказание, соответствующее вашей оценке данных. Третий пункт перемещает вас от точки отсчета в сторону интуиции на расстояние, зависящее от вашей оценки корреляции. В четвертом пункте вы получаете предсказание, учитывающее вашу интуицию, но гораздо более умеренное.
Это – общий подход, который можно применять при любой необходимости прогнозировать количественную переменную: например, средний балл, или доход от инвестиций, или рост компании. Он основывается на интуиции, но умеряет ее, сдвигает к среднему. Если существует веская причина доверять точности интуитивных предсказаний (то есть сильная корреляция между предсказанием и данными), такая поправка будет небольшой.
Интуитивные прогнозы необходимо корректировать, поскольку они нерегрессивны, а потому искажены. Предположим, я предскажу, что у каждого гольфиста на второй день турнира будет то же число очков, что и в первый. Эта оценка не учитывает регрессию к среднему: те, кто в первый день играл хорошо, в среднем на следующий день справятся хуже, а те, кто играл плохо, в основном станут играть лучше. Нерегрессивные предсказания всегда будут искаженными в сравнении с реальными результатами. В среднем они слишком оптимистичны для тех, кто хорошо играл вначале, и слишком мрачны для тех, кто плохо стартовал. Экстремальность прогноза соответствует экстремальности данных. Сходным образом, если использовать детские успехи для предсказания оценок в колледже без регрессии к среднему, то юношеские достижения ранних чтецов разочаровывают, а успехи тех, кто стал читать относительно поздно, приятно удивляют. Скорректированные интуитивные предсказания избавляются от этих искажений, так что и высокие, и низкие прогнозы примерно одинаково переоценивают и недооценивают истинное значение. Разумеется, даже неискаженные предсказания бывают ошибочны, но в таких случаях ошибки меньше и не склоняются в сторону завышенного или заниженного результата.
Ознакомительная версия. Доступно 27 страниц из 133
