Ознакомительная версия. Доступно 19 страниц из 92
процесса принятия управленческих решений, необходимо начать проводить аудит мягких методов так же тщательно, как он проводится в отношении методов, позволяющих аудиторам вспомнить свои знания статистики.Аудит: как не убить лучшие методы
• Аудит проводится для ВСЕХ моделей. Все решения принимаются на основе модели, будь то интуиция руководителя, субъективная система баллов, детерминированный анализ экономической эффективности, стохастические модели или подбрасывание монетки. Аудитору не стоит проверять только то, что сама организация называет моделями. Если какие-то решения принимаются интуитивно, то надо изучить также обширные исследования ошибок интуиции и чрезмерной уверенности и затребовать доказательства того, что такие проблемы никак не касаются рассматриваемой ситуации.
• Модель не должна проверяться строго в своих рамках. Например, если применяется детерминированная модель экономической эффективности в виде электронной таблицы для оценки средств контроля кибербезопасности, недостаточно просто проверить правильность основных финансовых расчетов или спросить, откуда взялись исходные данные. Лучше аудитору начать с вопроса: можно ли вообще применять подобный подход моделирования в этом случае, почему детерминированные методы используются для принятия решений, которые явно опираются на неопределенные исходные данные?
• Тот факт, что вывод модели неоднозначен, не указывает на невозможность измерить ее эффективность. Если модель говорит, что риск «средний», следует задаться вопросом: действительно ли события средней степени риска происходят чаще, чем события низкой степени, и реже, чем события высокой степени риска? Количественные модели часто привлекают внимание, так как их выводы однозначны и могут отслеживаться для сравнения с фактическими результатами. Именно поэтому аудиторы предпочитают изучать статистические, а не мягкие модели. И это на самом деле говорит в пользу первых.
• Аудитору следует попросить предоставить исследования, подтверждающие относительную эффективность данного метода по сравнению с альтернативными вариантами. Если метод предполагает создание цветной тепловой карты, можно обратиться к работам Тони Кокса. Если опирается на вербальные шкалы – к работам Дэвида Будеску и Ричарда Хойера. И если утверждается, что предложенный более мягкий метод каким-то образом позволяет избежать выявленных этими исследователями проблем, то должны быть предоставлены соответствующие доказательства.
• Даже утверждения о том, какие уровни сложности допустимы в организации, не должны приниматься за чистую монету. Если более простой метод балльной оценки предлагается из соображения, что руководство не поймет более сложные методы, то стоит потребовать исследований, подтверждающих данное утверждение (совокупный опыт авторов свидетельствует об обратном).
Одно из обоснованных опасений заключается в том, что аудитору, возможно, придется выполнять очень большой объем работы. Мы, конечно, понимаем, что у них много важных дел и часто не хватает персонала, но все же в ходе аудита можно по крайней мере проверять какие-то ключевые методы, особенно когда они содержат псевдовычисления. Если хотя бы часть мягких моделей начнет подвергаться аудиту в той же степени, что и модели, содержащие математические вычисления, у организаций исчезнет стимул придерживаться научно не обоснованных методов только для того, чтобы избежать аудиторских проверок.
Что должна сделать экосистема кибербезопасности для вашей поддержки
Ранее в этой книге были подробно рассмотрены популярные методы анализа рисков и установлена их несостоятельность. Они не добавляют ценности и, по сути, привносят ошибки. Кто-то скажет, что такие методы помогают хотя бы «начать разговор» об управлении рисками, но поскольку это же можно сделать с помощью многих методов, почему бы сразу не выбрать те, что показывают измеримое улучшение оценок? Кроме того, нельзя продолжать заявлять, что количественные методы непрактичны, поскольку они применялись нами в реальных условиях, будь то симуляции по методу Монте-Карло, байесовские эмпирические методы или более продвинутые их комбинации, описанные в главах 8 и 9. И, наконец, ничего в сведениях о недавних крупных утечках данных не указывает на то, что существующие широко применяемые методы вообще хоть как-то помогали управлять рисками.
И все же мы не укоряем специалистов по кибербезопасности за неэффективные методы. Они следуют рекомендациям организаций по стандартизации и применяют методы, которым их обучили в рамках признанных требований по сертификации. Им необходимо соблюдать нормативные требования и критерии аудита в своих организациях. И в их распоряжении инструменты, разработанные поставщиками, большинство которых ориентируются на более мягкие методы. Таким образом, если мы хотим, чтобы специалисты начали придерживаться иных подходов, должны произойти следующие изменения в экосистеме кибербезопасности.
1. Организации по стандартизации должны прекратить продвижение в сфере управления рисками кибербезопасности матриц риска как «лучших практик» и начать продвигать обоснованные (научные) подходы, если только не будут получены доказательства их неэффективности. Как было нами продемонстрировано, в отношении мягких методов подобных доказательств предостаточно.
2. В дополнение к первому пункту организации по стандартизации должны принять научно обоснованные методы для выявления лучших практик вместо существующих методов, в основе которых лежат рекомендации или мнения комиссий. Если организации по стандартизации смогут продемонстрировать эмпирические доказательства эффективности своих текущих рекомендуемых методов, которых окажется достаточно для опровержения уже имеющихся эмпирических данных, свидетельствующих против них (что кажется маловероятным), только тогда эти методы можно будет снова продвигать.
3. Можно создать организацию, которая будет отслеживать и измерять эффективность работы самих методов оценки риска. Она может быть сформирована по образцу Национальной базы данных уязвимостей, которую ведет NIST, а может – даже как часть этой базы (в конце концов, плачевное состояние методов оценки риска определенно стоит считать уязвимостью уровня государства). Тогда организации по стандартизации могли бы при выборе опираться на информированный, основанный на фактах анализ альтернативных методов.
4. Программы сертификации, обучающие применению матриц рисков и порядковых шкал, должны перейти на обучение как уже существующим научно обоснованным методам, так и новым методам, появляющимся по мере накопления доказательств (полученных из опубликованных исследований и благодаря осуществлению перечисленных выше действий).
5. Аудиторы должны начать применять стандарты пригодности модели в равной степени ко всем методам, чтобы не создавать препятствий для использования более эффективных методов. Когда и мягкие, и количественные методы станут проверяться одинаково тщательно (вместо того чтобы оценивать только последние и по умолчанию переходить к первым в случае обнаружения каких-либо проблем), то в итоге, мы уверены, будут приняты более эффективные методы.
6. Регулирующие органы должны способствовать изменениям. Понятно, что консервативные регуляторы меняются медленно, но
Ознакомительная версия. Доступно 19 страниц из 92
