Два заключительных предупреждения: не любая разница в итогах будет значимой. Некоторые результаты, которые кажутся успешными, могут на самом деле быть случайными: вы просто выиграли лотерею при проведении эксперимента. Это трудно обнаружить, и для этого требуется некоторая подготовка в работе со статистическими данными. Самый простой способ исключить элемент случайности – это повторить эксперимент с другой тестовой группой. Кроме того, даже если полученный результат не случаен, степень его влияния может быть не такой важной. Недавно один из специалистов по маркетингу поделился со мной, что нашел способ прогнозировать объем будущих продаж на основе активности пользователей в твиттере. По его словам, достоверность его прогноза составляла 60 %, как и показатель, основанный на активности пользователей на сайте компании. Но вы уже можете бесплатно или почти бесплатно отслеживать это на корпоративном ресурсе. Значит, ваш эксперимент был успешным, но абсолютно бесполезным.
26. Границы уверенности
Не принимайте поспешных решений в ситуациях повышенного риска или неуверенности.
Вообразите, что вам предстоит сдать анализ на наличие какого-то заболевания. Точность анализа составляет 99 %, и у 99 % населения эта болезнь не встречается. Или, иными словами, шанс, что у вас обнаружат это заболевание, равен 1 %, и риск медицинской ошибки равен 1 %.
Врач заходит в кабинет и сообщает: «У меня для вас плохие новости. Результат анализа положительный». Какова вероятность, что это ошибка? Возможно, вы думаете, что это 1 % или 1 % от 1 %. Вы ошибаетесь! В этой ситуации диагноз может оказаться ошибочным в половине случаев. Половина людей с положительным результатом анализа на самом деле не больны.
Только задумайтесь: если бы вы получили плохие новости из этой воображаемой больницы, ваша вероятность узнать, больны вы или нет, была бы такой же, как если бы вы просто подбросили монетку.
Если вы так ошеломлены этой информацией, что не понимаете, каким образом получилась подобная вероятность, давайте составим таблицу. По горизонтали обозначим ситуацию (заболевание или нет заболевания), а вертикально – результаты анализа (положительный или отрицательный). Предположим, анализ сдали 10 000 человек. В первой колонке число людей, у которых нет заболевания: 9900 человек (99 % от 10 000). Из этих 9900 человек у 1 % будет ложноположительный результат анализа из-за медицинской ошибки. То есть 99 человек, которым врачи сообщают, что они больны, на самом деле здоровы.
Теперь заполним таблицу для тех, кто на самом деле болен. В 99 случаях заболевания из 100 оно будет диагностировано верно, и у 1 человека результаты анализа будут неправильными (ложноотрицательными).
В верхней строке полужирным шрифтом выделено число людей, которым врачи сообщают о том, что результат их анализа положительный. В этой ситуации, если вы получили плохие новости, вероятность того, что они соответствуют действительности, такая же, как подбросить монетку. А ведь в реальной жизни результаты медицинских анализов редко могут похвастаться точностью 99 %.
Это применимо не только к медицине. Мы часто меняем наши представления без должного обоснования, лишь на основе полученных результатов. Эту проблему изучает так называемая байесовская статистика, которая в значительной степени легла в основу искусственного интеллекта. Преподобный Томас Байес был одним из тех викариев XVIII века, которые использовали свободное время, чтобы добиться мастерства в чем-то новом. Сегодня значение сформулированной им концепции все сильнее возрастает, потому что предлагает нам инструмент для использования больших данных.
Здесь такая же асимметрия: вероятность В, обусловленного А, не такая же, как вероятность А, обусловленного В. Мы часто смешиваем их, но вероятность того, что человек, употребляющий наркотики, окажется безработным (высокая), не такая же, как вероятность того, что безработный окажется наркоманом (низкая). В нашем примере вероятность, что человек с положительным результатом анализа болен (половина), не равна вероятности, что у больного человека результат анализа будет положительным (99 %).
Неопределенность исходных условий, даже при возможности точно ее оценить, часто может ввести в заблуждение, если мы принимаем решения, основываясь исключительно на результатах.
Рассмотрим пример из бизнеса, который назовем «поиск виноватого». Предположим, вы используете набор тестов, чтобы нанять самых лучших сотрудников. На основании своего опыта вы на 99 % уверены, что сможете определить людей, которые оптимально вам подойдут. Кроме того, вы знаете, что у вас хорошие шансы на успех: в условиях сложившейся на рынке ситуации, если у вас будет хорошая команда, только 10 % ваших проектов потерпят неудачу. Если команда будет плохая, провалятся все проекты.
Вы подбираете команду на новый проект, но проект проваливается. Предположим, мы провели этот эксперимент 100 раз. Вот что мы можем ожидать в качестве результата:
Анализируя провал, что вы назовете его причиной: ваш плохой выбор или случайную неудачу? Скорее всего, вы будете склонны винить во всем случай, но гораздо более вероятно, что вам не повезло выбрать неподходящих сотрудников.
Так что же, можно ли доверять результатам медицинских анализов и стоит ли бросать монетку, чтобы решить, кто виноват в провале бизнес-проекта? Не стоит. Самый лучший способ повысить степень своей уверенности – это повторить процесс, но теперь только для тех, кто потерпел неудачу. В примере с заболеванием вам назначат прохождение дополнительных анализов, если результат первого теста окажется положительным (или, что проще, проведут несколько тестов в один день). У повторного анализа для людей с положительным результатом предыдущего есть вероятность только одного ложноположительного итога вместо 99, а также одного ложноотрицательного (если вы хотите понять почему, составьте таблицу еще раз; начните с того, что в каждой колонке укажите число людей 99).
Может быть, по аналогии с этим примером дать вашей команде второй шанс будет хорошим управленческим решением. В условиях повышенного риска или неопределенности единичный результат нередко означает совсем не то, что вы думаете.
