службу в британскую армию и получить палестинское гражданство. Мой дед ухватился за это предложение обеими руками и с 1941 по 1945 год служил в британской армии в Североафриканской и Итальянской кампаниях. В обмен он получил свои документы.
В нашей семье сохранение документов стало священным долгом. Банковские выписки, счета за электричество, студенческие билеты с истекшим сроком действия, письма из муниципалитета - если на них стояла официальная печать, они отправлялись в одну из многочисленных папок в нашем шкафу. Никогда не знаешь, какой из этих документов в один прекрасный день может спасти тебе жизнь.
ЧУДОДЕЙСТВЕННЫЙ ДОКУМЕНТ
Должны ли мы любить бюрократическую информационную сеть или ненавидеть ее? Истории, подобные той, что произошла с моим дедом, указывают на опасности, присущие бюрократической власти. Истории, подобные лондонской эпидемии холеры, указывают на ее потенциальную благотворность. Все мощные информационные сети могут приносить как пользу, так и вред, в зависимости от того, как они спроектированы и используются. Простое увеличение количества информации в сети не гарантирует ее благотворности и не облегчает поиск правильного баланса между правдой и порядком. Это ключевой исторический урок для разработчиков и пользователей новых информационных сетей XXI века.
Информационные сети будущего, особенно основанные на ИИ, будут во многом отличаться от прежних. Если в первой части мы рассматривали, как мифология и бюрократия были важны для крупномасштабных информационных сетей, то во второй части мы увидим, как ИИ берет на себя роль и бюрократов, и мифотворцев. Инструменты ИИ умеют находить и обрабатывать данные лучше, чем бюрократы из плоти и крови, и ИИ также приобретает способность сочинять истории лучше, чем большинство людей.
Но прежде чем мы изучим новые информационные сети XXI века, основанные на ИИ, и рассмотрим угрозы и обещания мифотворцев и бюрократов от ИИ, нам нужно понять еще одну вещь, касающуюся долгосрочной истории информационных сетей. Мы уже убедились, что информационные сети не максимизируют истину, а скорее пытаются найти баланс между истиной и порядком. И бюрократия, и мифология необходимы для поддержания порядка, и обе они с удовольствием жертвуют истиной ради порядка. Какие же механизмы позволяют бюрократии и мифологии не терять связь с истиной, какие механизмы позволяют информационным сетям выявлять и исправлять собственные ошибки, даже ценой некоторого беспорядка?
То, как человеческие информационные сети справлялись с проблемой ошибок, станет главной темой следующих двух глав. Для начала мы рассмотрим изобретение другой информационной технологии - священной книги. Священные книги, такие как Библия и Коран, представляют собой информационную технологию, которая призвана одновременно содержать всю жизненно важную информацию, необходимую обществу, и быть свободной от любой возможности ошибки. Что происходит, когда информационная сеть считает себя абсолютно неспособной на ошибку? История якобы непогрешимых священных книг подчеркивает некоторые ограничения всех информационных сетей и содержит важные уроки для попыток создания непогрешимых ИИ в XXI веке.
ГЛАВА 4.
Ошибки: Фантазия о непогрешимости
Святой Августин знаменито сказал: "Ошибаться - это человеческое, а упорствовать в ошибках - дьявольское". Заблуждения людей и необходимость исправления человеческих ошибок играют ключевую роль в любой мифологии. Согласно христианской мифологии, вся история - это попытка исправить первородный грех Адама и Евы. Согласно марксистско-ленинскому мышлению, даже рабочий класс может быть одурачен своими угнетателями и неверно определить свои собственные интересы, поэтому он нуждается в руководстве мудрого партийного авангарда. Бюрократия тоже постоянно находится в поиске ошибок - от неправильно оформленных документов до неэффективных процедур. Сложные бюрократические системы обычно содержат органы самодисциплины, и когда происходит крупная катастрофа - военное поражение или финансовый крах, - создаются комиссии по расследованию, чтобы понять, что пошло не так, и убедиться, что подобная ошибка не повторится.
Для того чтобы функционировать, механизмы самокоррекции нуждаются в легитимности. Если люди склонны к ошибкам, как мы можем доверять самокорректирующимся механизмам, что они свободны от ошибок? Чтобы избежать этого кажущегося бесконечным цикла, люди часто фантазировали о каком-то сверхчеловеческом механизме, свободном от всех ошибок, на который они могли бы положиться, чтобы выявить и исправить свои собственные ошибки. Сегодня можно надеяться, что ИИ сможет обеспечить такой механизм, как в апреле 2023 года, когда Элон Маск объявил: "Я собираюсь запустить нечто, что я называю TruthGPT или максимально правдоподобный ИИ, который попытается понять природу Вселенной". В последующих главах мы увидим, почему это опасная фантазия. В предыдущие эпохи подобные фантазии принимали другую форму - религии.
В нашей личной жизни религия может выполнять множество различных функций, например, давать утешение или объяснять тайны жизни. Но исторически наиболее важной функцией религии было обеспечение сверхчеловеческой легитимности социального порядка. Такие религии, как иудаизм, христианство, ислам и индуизм, утверждают, что их идеи и правила были установлены непогрешимым сверхчеловеческим авторитетом, поэтому они свободны от любой возможности ошибки и никогда не должны подвергаться сомнению или изменению со стороны непогрешимых людей.
ИСКЛЮЧИТЬ ЛЮДЕЙ ИЗ ПРОЦЕССА
В основе каждой религии лежит фантазия о связи со сверхчеловеческим и непогрешимым интеллектом. Именно поэтому, как мы рассмотрим в главе 8, изучение истории религии имеет огромное значение для современных дебатов об ИИ. В истории религии постоянно возникает проблема, как убедить людей в том, что определенная догма действительно произошла из непогрешимого сверхчеловеческого источника. Даже если в принципе я готов подчиниться воле богов, откуда мне знать, чего на самом деле хотят боги?
На протяжении всей истории человечества многие люди утверждали, что им переданы послания от богов, но эти послания часто противоречили друг другу. Один человек говорил, что бог явился к ней во сне; другой - что ее посетил ангел; третий рассказывал, как встретил в лесу духа, и каждый из них проповедовал свое послание. Антрополог Харви Уайтхаус рассказывает, как в конце 1980-х годов, когда он проводил полевые исследования среди народа бейнинг в Новой Британии, молодой человек по имени Танотка заболел и в лихорадочном бреду начал делать загадочные заявления вроде "Я - Вутка" и "Я - пост". Большинство из этих заявлений слышал только старший брат Танотки, Банинге, который начал рассказывать о них другим людям и интерпретировать их в творческом ключе. Банинге говорил, что в его брата вселился дух предков по имени Вутка и что он был избран Богом, чтобы стать главной опорой общины, подобно тому как местные дома поддерживаются центральным столбом.
После выздоровления Танотка продолжал передавать загадочные послания от Вутки, которые Банинге интерпретировал все более замысловатыми способами. Банинге также начал видеть собственные сны, в которых якобы содержались дополнительные божественные послания. Он утверждал, что конец света неминуем, и
