Ознакомительная версия. Доступно 19 страниц из 92
нашей простой модели, и тех, которые можно было бы к ней добавить? Или, если уж на то пошло, как узнать, что метод вообще работает?Примечания
1. Станислав Улам. Приключения математика. – Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001. – 272 с.
2. Jack Freund and Jack Jones, Measuring and Managing Information Risk: A FAIR Approach (Waltham, MA: Butterworth-Heinemann, 2014).
Глава 4. Самое важное измерение в области кибербезопасности
Надеемся, что из главы 2 вы уяснили, как применяется термин «измерение» в науке о принятии решений и в эмпирических науках в целом. На наш взгляд, это наиболее подходящая трактовка измерения для сферы кибербезопасности. В главе 3 вы познакомились с простейшим уровнем количественного анализа рисков. Еще многое предстоит рассказать об особенностях методов измерения, но пока мы предлагаем выбрать первой целью измерений сам анализ рисков.
Авторы знакомы с самыми разными экспертами, которые активно защищают свои точки зрения на относительные достоинства различных методов оценки риска в сфере кибербезопасности. Мы вывели простое наблюдение, что обе стороны с полярно противоположными позициями часто получают аргументы в свою поддержку от высококвалифицированных специалистов с многолетним опытом работы в сфере кибербезопасности. Один компетентный эксперт, к примеру, будет утверждать, что конкретная система, основанная на качественной оценке, повышает эффективность принятия решений, позволяет добиться консенсуса и избежать проблем, возникающих при более количественных методах. Другой столь же квалифицированный эксперт будет настаивать, что это иллюзия и что такие методы просто «неправильно считают». Так как известно, что по крайней мере один из них (или оба) должен быть не прав, значит, квалификации и опыта в области кибербезопасности недостаточно, чтобы определить, является ли конкретное мнение на определенную тему верным.
Это подводит нас к нескольким сложным вопросам. Как решить, какие методы эффективнее? Могут ли методы анализа рисков, которыми специалисты по кибербезопасности пользовались десятилетиями и в которых они весьма уверены, на самом деле не работать? Возможно ли, что предполагаемые преимущества широко используемых инструментов – иллюзия? Что вообще подразумевается, когда говорят, что метод «работает», и как это можно измерить? Нам кажется, что самое важное измерение при оценке риска кибербезопасности, да и любой другой оценке риска – измерение того, насколько хорошо работают сами методы оценки рисков.
Если задуматься, то имеет ли вообще значение, работает анализ рисков или нет? И подразумевается ли под «работает», что он лишь внешне соответствует своему названию или же что он и правда улучшает процесс распознавания рисков и управления ими? Мы будем придерживаться позиции, которую считаем очевидной и которая не должна вызывать споров.
• Важно, чтобы анализ рисков работал на самом деле.
• Под «работает» мы имеем в виду, что он измеримо снижает риски по сравнению с альтернативными методами при тех же ресурсах. То есть, по нашему мнению, анализ рисков в любой области, включая кибербезопасность, это не просто бутафория ради галочки.
• Регуляторы и организации по стандартизации должны сделать так, чтобы измеряемая производительность методов являлась ключевой характеристикой их соответствия предъявляемым требованиям. Если соблюдение стандартов и правил в действительности не способствует повышению эффективности управления рисками, то такие стандарты и правила нужно менять.
• Также нам кажется, что мы вправе сказать, что для урегулирования вопроса со множеством противоречивых мнений экспертов всех уровней необходимо начать измерять, насколько хорошо работают методы анализа рисков.
• Мы твердо убеждены, что использование компаниями методов анализа рисков кибербезопасности, которые не могут показать измеримое улучшение качества оценки рисков или, что еще хуже, снижают его, и есть самый большой риск в кибербезопасности, а повышение эффективности оценки рисков является наиболее важным приоритетом в управлении рисками.
Измерение самих методов лежит в основе всех рекомендаций в данной книге. Нами предлагаются либо методы анализа рисков на основе уже проведенных и опубликованных измерений, либо, если подобные измерения не проводились, способы, позволяющие определить действенный метод. И кстати, описывая, как измерить относительную эффективность методов, неплохо бы также объяснить, как ее измерять не следует.
К концу данной главы вы увидите, что в опубликованных исследованиях уже представлены измерения ключевых элементов количественных методов, предложенных в главе 3. В следующей же главе описано исследование, показывающее, что компоненты популярных в настоящее время методов оценки рисков могут принести больше вреда, чем пользы. А теперь давайте рассмотрим, почему методы должны прежде всего обосновываться исследованиями, а не мнениями экспертов.
Аналитическое плацебо: почему нельзя доверять только мнению
Главный принцип – не дурачить самого себя. А себя как раз легче всего одурачить.
Ричард Филлипс Фейнман (1918–1988), лауреат Нобелевской премии по физике
Порой можно услышать, что тот или иной метод «проверен» и является «лучшей практикой». Метод могут расхваливать, называя «строгим» и «формальным», и подразумевается, будто этого достаточно, чтобы полагать, что он повышает качество оценки и решений. В конечном итоге метод получает звание «принятого стандарта», а некоторые довольные пользователи даже приводят свидетельства его эффективности.
Как часто эти утверждения основаны на реальных измерениях эффективности метода? Вряд ли кто-то проводил крупные клинические испытания с тестовыми и контрольными группами. Оценки редко сравниваются с фактическими результатами, а нарушения кибербезопасности, которые особенно дорого обходятся организациям, почти никогда не отслеживаются на большом количестве примеров, чтобы увидеть, действительно ли риск изменяется в зависимости от того, какие методы оценки риска и принятия решений используются. К сожалению, звание «лучшей практики» не означает, что метод был измерен и получил научное обоснование его превосходства над множеством других практик. Как говорил Фейнман, нас легко одурачить. Видимые улучшения могут оказаться всего лишь миражом. Даже если метод приносит больше вреда, чем пользы, люди все равно могут искренне считать, что видят его преимущества.
Как такое возможно? Виновато «аналитическое плацебо» – ощущение, что некоторые методы
Ознакомительная версия. Доступно 19 страниц из 92
