Аналитики сталкиваются в этих обстоятельствах с примером широко изученной проблемы ложноположительного либо ложноотрицательного контроля качества[47]. Это та же дилемма, с которой сталкиваются производители автомобилей на стадии выходного контроля качества: необходимо провести проверку желаемого числа дефектных автомобилей (это считается безопасным, но на самом деле оказывается небезопасным – ложноположительный результат), зная, что такие автомобили скорее всего сломаются и должны будут отозваны с большими затратами, а репутация компании и ее продажи пострадают. Но при этом производитель знает, что если слишком много автомобилей будет ошибочно забраковано как небезопасных (они считаются небезопасными, но на самом деле не являются ими – ложноотрицательный результат), то автомобильная компания также понесет большие ненужные затраты на их ремонт. Эта логика еще более убедительно применима к лекарствам и продуктам питания. Потребителю принципиально, что продукты, помеченные как «не содержащие орехов», окажутся именно такими – дабы избежать потенциально смертельного риска для тех, у кого имеется аллергия на орехи. Однако следствием является то, что производителю потребуется строгая система тестирования, достигающая очень низких ложноположительных норм отбраковки, и это приведет к увеличению ложноотрицательных норм отбраковки, что с большой вероятностью добавит значительную стоимость продукту. Мы можем ожидать, что индикатор на большинстве общих систем контроля обрабатывающей промышленности будет установлен таким образом, чтобы избежать большего количества ложноположительных результатов за счет большего количества ложноотрицательных результатов. Например, индустрия программного обеспечения печально известна тем, что из соображений экономии терпит высокий уровень ложноположительных результатов, предпочитая выпускать бесконечные исправления и обновления, поскольку клиенты сами находят недостатки в ПО на собственном горьком опыте, фактически работая с этим ПО.
Очевидное применение этих принципов в разведывательной и охранной работе заключается в решении вопроса о том, достаточно ли человек связан с международным терроризмом, чтобы его можно было включить в список лиц, кому запрещены авиационные перелеты. Политики склоняются в сторону осторожности. Это означает принятие относительно большого количества неверных решений, которые доставят серьезные неудобства человеку, несправедливо рассматриваемому как опасному, потому что ему не разрешат летать, и это станет ценой за очень низкий уровень ложноположительных решений. В худшем случае следствием этого может стать террорист, тайно проносящий бомбу на борт самолета.
Другим примером является разработка алгоритмов для разведывательных служб, позволяющих извлекать информацию, касающуюся подозреваемых в терроризме, из неструктурированных цифровых коммуникационных данных. Если вы установите свои приоритеты слишком далеко в области ложноположительных решений, и результатом будет получение массы материала, не представляющего интереса для разведки. При этом окажется потрачено драгоценное время аналитика и будет существовать риск ненужного вторжения в частную жизнь.
Если же ваши приоритеты окажутся слишком далеко в области ложноотрицательных решений, риск того, что искомый материал не будет найден, а террористы ускользнут от внимания, возрастает. Невозможно найти оптимальное решение, не взвесив относительные потери за ложноположительные и за ложноотрицательные решения. Как мы увидим в следующей главе, одной из крайностей является так называемый принцип предосторожности, согласно которому риск причинения вреда людям означает невозможность наличия ложноположительных решений. Применение такого принципа сопряжено со значительными издержками[48].
Дилемма ложноположительных и ложноотрицательных решений возникает с алгоритмами, которые должны разделять данные на категории. Такие алгоритмы обучаются на большом наборе исторических данных, где известно, к какой категории достоверности относится случай (например, уверенно подозреваю / не подозреваю), а затем искусственный интеллект разрабатывает наиболее эффективные индикаторы для использования в категоризации данных. Однако прежде, чем подобный алгоритм будет внедрен в эксплуатацию, точность его выводов должна быть оценена по известным характеристикам входных данных. Установка на то, чтобы 95 % алгоритмических решений были правильными по сравнению с известными обучающими данными, приведет, вероятно, к проблемам в зависимости от соотношения ложноположительных и ложноотрицательных результатов в результате ошибки, связанной с каждым из них. Одним из способов оценки точности алгоритма в выполняемой им задаче является определение его точности как числа истинных положительных результатов, получаемого как доли положительных результатов, которые алгоритм считает обнаруженными в обучающих данных. Точность часто измеряется как количество истинных положительных и отрицательных результатов в пропорции к общему числу в обучающем наборе. Современный статистический метод, полезный при работе с большими массивами данных, заключается в построении диаграммы количества ложных срабатываний и ложных отрицаний, ожидаемых при каждой установке правила, и просмотра области под результирующей кривой как меры общего успеха в задании[49].
Нежелание реагировать на предупреждения разведслужб
Политический мир, возможно, нуждается во встряске, чтобы признать, что он должен серьезно относиться к предупреждениям. В апреле 1993 года я сопровождал министра обороны Великобритании Малькольма Рифкинда на открытие Мемориального музея Холокоста в Вашингтоне. День начался с трогательной памятной акции на Арлингтонском кладбище в честь освободителей концлагерей. Я вспомнил единственный случай, когда мой отец рассказывал мне об ужасе, который он испытал при попадании в один из таких только что освобожденных лагерей в 1944 году, когда он служил офицером в 3-м батальоне Королевского полка Шотландии при отделе генерал-адъютантской службы Восьмой армии. Он предпочитал не вспоминать об этом. Позже в тот же день лауреат Нобелевской премии мира Эли Визель страстно говорил перед президентами США и Израиля Биллом Клинтоном и Хаимом Херцогом и прочими высокопоставленными лицами о необходимости сохранения памяти об этих ужасах. Он выступил с эмоциональным призывом вспомнить о неспособности союзных держав поддержать восстание в Варшавском гетто и еврейское Сопротивление[50]. Он процитировал девиз, высеченный в камне над входом в музей Холокоста: «Мы должны свидетельствовать за мертвых и живых». Затем, повернувшись лицом к президенту Клинтону и первой леди Хиллари Клинтон, он напомнил им: «Мы также несем ответственность за то, что мы делаем с этими воспоминаниями… Господин президент, я не могу вам ничего сказать. Я был в бывшей Югославии прошлой осенью… С тех пор я не могу уснуть из-за того, что видел там. Как еврей я говорю, что мы должны что-то сделать, чтобы остановить кровопролитие в этой стране! Люди воюют друг с другом, и умирают дети. Почему? Что-то, что угодно, но должно быть сделано».
