Ознакомительная версия. Доступно 19 страниц из 92
в нескольких случаях, вместо того чтобы спрашивать экспертов о влиянии отдельных условий, можно дать в списке идентичные друг другу сценарии, скажем 7-й и 29-й. После просмотра пары десятков сценариев эксперты забывают, что они уже рассматривали такую же ситуацию, и часто дают немного отличающийся ответ. Вдумчивые же эксперты более согласованны в оценке сценариев. В любом случае, как было показано в главе 4, доля несогласованности составляет около 21 % от общего разброса в экспертных оценках (остальные 79 % обусловлены данными, предоставленными экспертам для вынесения суждения). И эта ошибка полностью устраняется с помощью метода линзы.
Рис. 9.5. Пример регрессионной модели, предсказывающей оценки экспертов
Сравнение методов линзы и ЛОШ
У каждого из рассмотренных двух методов есть свои плюсы и минусы.
1. ЛОШ занимает (ненамного) меньше времени. В методе линзы экспертам необходимо рассмотреть множество выборок, чтобы можно было построить модель регрессии.
2. Метод линзы способен выявлять более сложные взаимодействия между переменными. Ответы экспертов могут указывать на то, что некоторые переменные важны только при определенном значении других переменных.
3. ЛОШ немного проще. Метод линзы зависит от построения модели регрессии, которая эффективно предсказывает суждения экспертов. И хотя в Excel имеются инструменты, позволяющие упростить задачу, на самом деле для построения качественной регрессии часто требуется несколько подходов. Возможно, где-то придется перейти на нелинейную модель при наличии двух переменных, дающих кумулятивный эффект. А в других случаях понадобится объединить несколько дискретных значений переменной (например, действительно ли при указании расположения сервера необходимо деление на внутренние, управляемые компанией, внутренние, управляемые сторонней организацией, и внешние вместо «управляемых нами» и «управляемых кем-то другим»?). Технически это не так сложно, особенно для тех, кто уже имеет подобный опыт, но все равно отнимает время. При этом все математические вычисления, необходимые для метода ЛОШ, находятся всего в одной электронной таблице, доступной на сайте www.howtomeasureanything.com/cybersecurity.
4. ЛОШ, как правило, дает гораздо больший разброс в оценках, чем метод линзы. То, как легко эффекты от нескольких условий могут дать в итоге очень высокую или низкую оценочную вероятность, иногда становится для экспертов полной неожиданностью. Когда те же эксперты оценивают вероятности с помощью метода линзы, их ответы имеют гораздо меньший разброс. Возможно, эксперты недооценивают совокупный эффект независимых переменных в методе ЛОШ или слишком осторожны при изменении своих оценок на основе информации, предоставляемой для метода линзы. Вам решать, какой вариант реалистичнее.
5. Оба метода помогают снизить несогласованность, но метод линзы обеспечивает более удобный способ ее измерения. Как уже говорилось, измерять несогласованность полезно, поскольку мы знаем, что эта ошибка устраняется при помощи количественной модели, и, устранив ее, можно будет оценить, насколько уменьшилась погрешность. Поскольку для метода линзы требуется множество оценок (как минимум десятки), то несоответствие можно легко выявить с помощью метода дублирующихся пар.
Итак, если вам нужно быстрое решение, применяйте метод ЛОШ для разложения вероятностей при наличии нескольких условий. Только проверьте, насколько сильно меняются ответы между двумя крайними вариантами условий (одним, когда для всех условий заданы значения, повышающие вероятность, а вторым, когда для всех условий заданы значения, уменьшающие вероятность). Если крайние значения кажутся совершенно нереальными, можно снизить оценку эффектов отдельных переменных, как упоминалось выше.
Доказано, что люди склонны преувеличивать влияние множественных сигналов, особенно если они сильно коррелируют между собой. В одном исследовании это называют «пренебрежением корреляцией» при рассмотрении условных вероятностей1. Если два сигнала A и B идеально коррелируют (т. е. если вам сказать значение одного, вы точно назовете значение другого), то не нужно знать и A, и B для оценки вероятности X: P(X | A,B) = P(X | A) = P(X | B). Однако люди, даже если им говорят, что А и В высоко коррелированы, склонны рассматривать их как независимые (и, следовательно, усиливающие) сигналы и преувеличивать их влияние при оценке новой условной вероятности X. Как уже отмечалось при рассмотрении ЛОШ, в случае если вам кажется, что два условия сильно коррелируют, самое простое решение – не использовать одно из них.
Даже если вы решаете применять метод линзы, рекомендуется все равно начинать с ЛОШ, чтобы эксперты по кибербезопасности поняли, как знание отдельных условий может изменить их вероятности. Это также помогает избавиться от условий, которые изначально могли показаться экспертам информативными. Представим, например, что мы находимся на семинаре и команда экспертов по кибербезопасности перечисляет условия, которые, по их мнению, могут быть информативными для оценки в модели линзы. По мнению одного из участников семинара, тип операционной системы, используемой активом, может влиять на вероятность утечки данных с этого актива. Чтобы проверить утверждение, применим процесс ЛОШ, описанный ранее, и спросим, насколько сильно эксперты изменили бы базовую вероятность (вероятность возникновения события из области кибербезопасности, указанную, когда было известно только, что речь об одном из активов), если бы им сказали, что операционная система – Linux, а затем, что они изменили бы, узнав, что операционная система – Microsoft. Возможно, эксперты поймут, что с этой информацией не станут менять базовую вероятность. В таком случае условие можно исключить из модели линзы.
Оба метода – линзы и ЛОШ – ставят перед экспертами примечательные концептуальные препятствия. В процессе оценки экспертам может не хватать уверенности, потому что они неправильно понимают сам принцип работы метода. Большинство экспертов, с которыми нам довелось работать, принимали методы без возражений вроде тех, что приводятся ниже, но у некоторых они все же возникали. Если знать, как развеять подобные заблуждения, можно помочь экспертам лучше понять, почему их вводные данные необходимы.
Рассмотрим следующую реакцию: «Когда я применяю метод линзы, кажется, будто я выбираю ответы наугад». Если бы большинство людей, применяющих метод линзы для оценки вероятностей, действительно выбирали значения наугад, то у нас имелась бы совершенно иная картина. Например, не выявлялись бы такие же сильные корреляции, какие обычно бывают в этих моделях. И оставалось бы загадкой, почему эксперты при всех своих разногласиях на самом деле так часто соглашаются в оценках. Ведь очевидно, что, если бы разные эксперты, работающие независимо друг от друга, выбирали оценки наугад, они не демонстрировали бы схожие суждения о том, насколько сильно то или иное условие меняет вероятность события. Однако же налицо
Ознакомительная версия. Доступно 19 страниц из 92
