Ознакомительная версия. Доступно 14 страниц из 70
Иоаннидис утверждает, что выяснить, какие переменные сидят на водительском месте, практически невозможно без проведения рандомизированных контролируемых испытаний.
Уиллетт парирует, что хорошо проведенные обсервационные исследования могут приспособиться к спутанным переменным достаточно хорошо, чтобы позволить делать публичные заявления о здоровье.
Мы завершили наш тур по периферии кроличьей норы. Я упростил аргументы и состав персонажей. За каждым человеком, Иоаннидисом и Уиллеттом, стоят другие. На каждый аргумент есть контраргумент. За этими контраргументами есть другие встречные доводы. Глубина кроличьей норы равна для вас глубине, на которую вы готовы опуститься, и на дне, скорее всего, найдутся только гордыня и страх.
* * *
Помните Шляпу мерзавца, которую мы впервые надели в седьмой главе? Носить ее, несомненно, весело, но в какой-то момент приходит пора сменить ее на каску и начать решать проблемы, вместо того чтобы просто указывать на них. Ученым нравится искать варианты, поэтому недостатка потенциальных решений не наблюдается.
Давайте рассмотрим их (очень быстро).
Самым драматичным и горячо обсуждаемым выходом является сокращение числа обсервационных исследований и перенаправление средств на масштабные рандомизированные контролируемые испытания. Вы можете догадаться, кто стоит в авангарде этой позиции, а кто яростно выступает против нее. Как бы цинично это ни звучало, я думаю, что этот конфликт будет разрешен только тогда, когда кто-то уйдет на пенсию первым… или получит право распоряжаться средствами Национальных институтов здоровья.
Что насчет проблемы Р-хакинга?
Один из вариантов ее решения – сделать то же, что и Кевин Холл: раздать поручения и предварительно зарегистрировать исследование, особенно план анализа данных. Другой выход – показать свою работу. Не просто кратко пересказать основные моменты, а подробно описать каждый шаг. Брайан Нозек неоднократно упоминал об этом в нашем разговоре. Он сказал, что это важнее предварительной регистрации:
Я лишь хочу, чтобы люди показывали, как пришли к выводам, независимо от того, каким образом они действовали. Путем проб и ошибок, следуя предварительно зарегистрированному плану, проводя разносторонний анализ – неважно, просто покажите свою работу с момента зарождения идеи до получения результатов.
Показывая в деталях, как вы сделали что-то, нужно продемонстрировать необработанные данные (анонимные, разумеется) и код, который использовался для их анализа. Одни исследователи воспринимают это нетерпимо, а другие относятся к этому нормально. Если бы вы, например, хотели загрузить и повторно проанализировать все необработанные данные, полученные в ходе исследования Кевина Холла, посвященного ультраобработанным пищевым продуктам, то вы могли бы это сделать[145]. Если бы Уолтер Уиллетт намеревался найти слабые стороны исследования, он мог бы загрузить необработанные данные. А если бы Джон Иоаннидис желал указать на слабые стороны анализа, проведенного Уиллеттом, то и он мог бы скачать их и выполнить задуманное. Даже если бы случайная третья сторона преследовала цель залатать одни дыры в эксперименте и пробить другие, то она тоже могла бы это сделать, используя все ту же общедоступную информацию. Что-то подобное уже происходит, и я считаю, что это замечательно. Я на 100 % поддерживаю полный и открытый обмен знаниями.
Другое решение проблемы Р-хакинга – это создание так называемой кривой спецификации. Чтобы понять, как это работает, давайте сначала рассмотрим рецепт печенья с шоколадной крошкой. Даже имея фиксированный и неизменный список ингредиентов, вы можете проявлять гибкость, комбинируя их при приготовлении десерта. Вы можете точно следовать рецепту, но также можно менять многие вещи. Так, вы можете увеличить температуру в духовке на 15 °C; подождать, пока масло нагреется до комнатной температуры, прежде чем размять его, или не делать этого; положить тесто в морозилку на 20 минут, прежде чем поставить печенье в духовку; или посыпать солью каждый кусочек в отдельности, вместо того чтобы добавить ее в тесто. Возможности безграничны. То же самое касается исследований: даже при наличии одинаковых данных (ингредиентов) есть множество разных методов анализа этой информации, и от выбранного способа зависит конечный результат (печенье). Отчасти именно это делает Р-хакинг возможным.
В большинстве случаев ученые просто выбирают тот метод анализа данных, который кажется им лучшим. Проблема в том, что не все считают его таким. В этот момент на сцену выходит кривая спецификации. Ее цель – следовать ВСЕМ ВАРИАЦИЯМ РЕЦЕПТА. Таким образом, вместо одной партии печенья вы делаете сотни, систематически меняя каждую возможную переменную и наблюдая, как это влияет на вкус. В науке происходит то же самое: вы заставляете компьютер обрабатывать данные всеми возможными способами и наблюдаете, что получится. Если результаты получаются примерно одинаковыми, независимо от метода обработки данных, то вы можете быть уверены, что находитесь на правильном пути. Но если изменение способа анализа данных приводит к тому, что результаты получаются совершенно разными, то, возможно, они не соответствуют действительности.
В большинстве случаев ученые выбирают тот метод анализа данных, который кажется им лучшим.
Некоторые решения проблемы имеют отношение не столько к науке, сколько к здравому смыслу.
Если ваша реакция на разногласия между Уиллеттом и Иоаннидисом была такой: «Как могут два невероятно умных человека так оживленно спорить из-за того, что кажется таким… математическим?» – то вы не одиноки. Я тоже так думал. В конце концов, это спор не о морали, эмоциях или политике, а о цифрах и философии. Он связан с природой истины. По этой причине я ожидал, что одна сторона в итоге сложит метафорическое оружие и согласится с другой, основываясь на имеющихся данных.
Очевидно, я был слишком наивен.
Поговорив со множеством эпидемиологов, я обессилел. Один из них прекрасно подытожил, насколько воинствующе настроены противоборствующие стороны: «Я знаю Уолта 35 лет. Все это время мы спорим друг с другом».
Но затем я натолкнулся на то, что кардинально изменило мою точку зрения: так называемое состязательное сотрудничество. Оно подразумевает совместную работу двух людей, которые категорически не согласны друг с другом. Это не похоже на взаимодействие демократов и республиканцев, потому что последним обычно приходится на время забывать о разногласиях по конкретному вопросу (налоги) для совместной работы над менее спорным вопросом (строительство дорог). В науке состязательное сотрудничество подразумевает совместную разработку той самой темы, которая вызывает разногласия у ученых. Иными словами, Уиллетт и Иоаннидис могли бы вместе работать в сфере питания и здоровья. У вас может возникнуть логичный вопрос: разве это не было бы похоже на сотрудничество католической церкви с атеистами?
Ознакомительная версия. Доступно 14 страниц из 70
