Почему Фрайер и Левитт решили, что исследование, основанное на АМР, может быть достаточно веским основанием, чтобы поставить под сомнение результаты экспериментов? Я подозреваю, что причина в том, что называют профессиональной деформацией, — в тенденции перенимать инструменты работы и точку зрения людей одной с нами профессии. В большинстве исследований, которые проводят экономисты, АМР — единственный доступный способ научной работы. Экономисты не могут управлять процентными ставками, установленными Федеральным резервом США. Если вы захотите выяснить, что было бы более эффективно для экономики страны во время Великой рецессии — «затянуть пояса» или, напротив, усилить государственное стимулирование, — вы можете скоррелировать степень жестких экономических мер и интенсивность процесса восстановления, но вы никак не можете случайным образом распределить население страны по данным условиям.
Экономистов учат, что АМР является главным инструментом статистики. Но их абсолютно не учат критическому мышлению. В своей книге, написанной в соавторстве с журналистом Стивеном Дабнером[168], Стивен Левитт писал об анализе данных, собранных министерством образования США. Это исследование назвали «Долгосрочные динамические исследования детей младшего возраста». В рамках исследования изучалась успеваемость детей с детского сада до пятого класса включительно, с учетом десятка других переменных, таких как уровень дохода и образования родителей, наличие книг в доме, количество книг и того, читали ли ребенку в детстве книги и т.д. Левитт пишет о сделанных на основе АМР выводах о связи между набором этих переменных и успехами ребенка в учебе. Он пришел к выводу, что (за вычетом множества переменных, включая количество книг в доме) «чтение не влияет на результаты тестов в раннем детском возрасте»[169]. АМР просто-напросто не предназначен для того, чтобы давать такие сведения, как то, что чтение не важно для интеллектуального развития детей. Это можно выяснить только экспериментальным путем. Левитт также пришел к выводу, что за вычетом множества переменных, включая чтение детям книг, наличие книг в доме сильно влияет на результаты тестов. То есть получается, что само по себе наличие книг положительно влияет на интеллект ребенка, а вот чтение — нет. Вера Левитта в АМР оказалась настолько сильна, что он действительно пытался дать причинно-следственное объяснение такому странному положению вещей.
Еще более серьезной ошибкой стало утверждение Левитта, что внутрисемейная обстановка играет относительно незначительную роль во влиянии на интеллектуальные способности ребенка. Он сделал такой вывод, опираясь на наблюдения за приемными детьми. «Исследования показывают, что успеваемость ребенка в гораздо большей степени зависит от IQ его биологических родителей, чем от IQ его приемных родителей»[170]. Но корреляционные данные — это не те данные, на которые можно опираться, оценивая важность внутрисемейной обстановки. Вместо этого нужно рассмотреть результаты естественных экспериментов по усыновлению детей по сравнению с воспитанием их биологическими родителями, социально-экономический статус которых, как правило, ниже. Обстановка, создаваемая приемными родителями, будет во многих отношениях намного более благоприятной, чем в их настоящих семьях. Кроме того, успеваемость приемных детей в школе, как правило, на половину среднеквадратического отклонения выше, а результаты тестов IQ более чем на величину среднеквадратического отклонения выше, чем у их братьев и сестер, которые не были усыновлены. И чем выше социальное положение приемных родителей (а следовательно, чем благоприятнее интеллектуальная обстановка в целом), тем выше будет IQ усыновленного ребенка. На самом деле влияние семьи на интеллектуальные способности ребенка чрезвычайно высока[171].
В защиту Левитта можно сказать, что не он один ошибся в своих предположениях о влиянии приемной семьи. Ученые-бихевиористы и генетики десятилетиями использовали корреляционные данные и приходили к ошибочным выводам о воздействии окружающей обстановки.
Некоторые выдающиеся экономисты, кажется, вообще не понимают ценности экспериментов. Экономист Джеффри Сакс запустил чрезвычайно амбициозную программу по повышению уровня здоровья, образования и сельского хозяйства в нескольких африканских деревнях, намереваясь улучшить качество жизни в них. Программа стоила очень дорого по сравнению с предложенными альтернативами и встретила жесткую критику со стороны других специалистов по развитию[172].
Хотя в некоторых деревнях, где Сакс ввел свою программу, условия жизни и улучшились, в нескольких деревнях они улучшились еще больше без помощи Сакса. Он мог бы положить конец критике, случайным образом распределив похожие деревни по условиям эксперимента и сравнив деревни, в которых была введена программа, с деревнями, где программа не вводилась. Это могло бы доказать, что уровень жизни в экспериментальной группе повышается быстрее, чем в контрольной. Сакс отказался проводить этот эксперимент, как он заявил, «по этическим соображениям»[173]. А неэтично как раз не проводить экспериментов в условиях, когда это выполнимо. Сакс потратил огромную сумму чужих денег, но мы понятия не имеем, оказали ли эти средства более значительный эффект на жизнь людей, чем могли оказать другие, менее дорогие программы.
Хотя, нужно заметить, что все больше экономистов начинают проводить социальные психологически ориентированные рандомизированные контрольные эксперименты. Один из недавних примеров — особенно впечатляющая серия экспериментов, проведенных экономистом Сендхилом Мулайнатаном и психологом Эльдаром Шафиром, показавшая, что дефицит ресурсов для нормального когнитивного развития может привести к печальным последствиям для любого человека, будь он фермером или главой компании[174]. Если вы попросите человека подумать, как бы он распорядился своим бюджетом, если бы ему внезапно понадобился дорогостоящий ремонт автомобиля на сумму в несколько тысяч долларов, а затем предложите ему ответить на IQ-тест, вы увидите, что уровень IQ бедных людей сильно пострадает от предложенной им ранее задачи. На IQ богатых людей эта задача никак не подействует. (Размышления о ремонте автомобиля стоимостью несколько сотен долларов не влияет на результаты теста как бедных, так и богатых людей.)
Экономист Радж Четти — один из тех, кто наиболее активно подталкивает экономистов к тому, чтобы они искали возможности проводить естественные эксперименты, которые могут проверить экономические гипотезы. Важна ли квалификация учителя в долгосрочной перспективе? Мы можем оценить разницу между обучением у учителя высокой квалификации и у намного менее профессионального учителя по средним показателям успеваемости данного класса до и сразу после начала обучения у высокопрофессионального учителя (или сразу после его ухода)[175]. Например, каждая группа третьеклассников в данной школе показывает одни и те же посредственные результаты контрольных тестов год за годом до прихода высококвалифицированного учителя. (Возможно, его предшественник покинул школу из-за проблем со здоровьем.) Если результаты тестов в третьих классах покажут значительное повышение успеваемости, которое сохраняется на протяжении работы этого учителя, тогда можно изучить последующее влияние этого улучшения на последующие успехи в учебе, процент поступления в университет и дохода, получаемого по окончании. Квалификация учителя учитывается при изучении всех этих переменных. Такие исследования считаются околоэкспериментальными, потому что те же самые классы, что становятся экспериментальными с приходом нового учителя, являются контрольными до его прихода. Распределение здесь не является случайным, но, когда распределение учителей оказывается явно удачным, мы получаем действительно стоящий научный эксперимент.
