или более общая политическая работа. Такая деятельность может потребовать высокоуровневой когнитивной обработки.
Культурные продукты и достижения. Если считается важным, чтобы цивилизация производила определенные культурные артефакты (неважно, для себя или для того, чтобы члены цивилизации имели к ним доступ), то потребность в продвинутой когнитивной обработке может сохраняться бесконечно, при условии, что либо существует неограниченное количество достижимых ступеней на лестнице качества, либо некоторые ступени имеют неограниченное или растущее количество продуктов/достижений, так что иметь или производить их больше - лучше. Например, можно представить себе неограниченную последовательность все более труднодоказуемых, но все еще интересных математических теорем; или все более широкий спектр все более изысканных эстетических переживаний.
Непрерывная культурная обработка. Можно также представить себе бесконечный спрос на творческое познание, если предположить, что существуют определенные культурные артефакты или реакции, ценность которых зависит от постоянно меняющегося контекста. Предположим, например, что существует ценность художественного произведения или опыта, которые точно отражают преобладающую тенденцию, но создание таких произведений искусства (или другие независимые события) также постоянно меняют тенденцию, тем самым создавая возможность для новых произведений искусства и опыта, которые отражают новую тенденцию; и так далее.
Итак, давайте предположим, что существует по крайней мере несколько нейтральных для агента практических задач, которые даже при технологической зрелости требуют высокого уровня креативности, интуиции и передового решения проблем. Тогда вопрос в том, сможем ли мы, подвергнувшись загрузке и радикальному усовершенствованию, оставаться конкурентоспособными в этих задачах. Это могут быть такие задачи, как, например, анализ характеристик возможных инопланетных цивилизаций, работа с редкими каскадными сбоями или оптимизация инфраструктурных планов в соответствии с деталями местных условий. Смогут ли будущие версии нас самих быть столь же хороши в таких задачах, как и продвинутые ИИ?
Студент: У меня есть вопрос! Что, если люди смогут выполнять эти задачи, работая вместе? Даже если ни один человек не сможет их выполнить, это ничем не отличается от сегодняшнего дня, когда ни один человек не может создать смартфон или реактивный самолет. Но мы все равно можем делать эти вещи, работая в команде. Возможно, в будущем команды, состоящие из усовершенствованных людей и использующие гораздо более совершенные инструменты для совместной работы, смогут решать даже те сверхсложные задачи, с которыми приходится бороться технологически развитой цивилизации?
Бостром: Да, вполне возможно. Однако вопрос здесь не в том, что мы можем сделать - индивидуально или коллективно, - а в том, что мы можем сделать эффективно.
Что, если мы можем выполнять эти задачи, но недостаточно эффективно, чтобы быть экономически конкурентоспособными с машинами, созданными для этих целей? В этом случае нам придется затратить больше ресурсов, если мы будем выполнять эти задачи сами, чем если мы передадим их на аутсорсинг. Если мы все же выполняем задачи самостоятельно, то руководствуемся какими-то другими мотивами, а не просто желанием их выполнить. Мы рассмотрим такие мотивы в другом месте, но здесь мы сосредоточимся на том, сможем ли мы оставаться практически полезными при достижении технологической зрелости в том же надежном смысле, в котором, например, автомеханик полезен в настоящее время. Мы не будем практически полезны в этом смысле, если выполнение задач собственными силами будет более дорогостоящим и более расточительным по отношению к ресурсам, чем их выполнение машиной.
Я считаю, что наиболее эффективным методом решения этих практических задач будет использование систем искусственного интеллекта, созданных для этих целей. Если это так, то единственный способ сохранить конкурентоспособность в решении этих задач в долгосрочной перспективе - это стать такими системами ИИ. Можем ли мы это сделать?
Многое здесь зависит от того, какие критерии мы принимаем для идентификации личности. Существует некоторый набор задач, которые необходимо решать на этапе технологической зрелости, и некоторый набор возможных разумов и тел, оптимальных для их выполнения. Некоторые из этих задач, по-видимому, требуют высокого уровня и общих форм интеллекта. Можем ли мы - те, кем мы являемся сейчас, - превратиться в некое существо, обладающее типом разума и тела, оптимальным для выполнения некоторого подмножества этих практических задач, сохраняя при этом нашу личную идентичность?
В данном контексте смысл сохранения "той же личности" заключается в том, что с точки зрения нынешних собственных интересов уместно проявить некоторую значительную степень заботы о будущем субъекте. Заметим, что без этого требования о сохранении личной идентичности вопрос становится неинтересным. То есть, допустим, можно "превратить" себя в оптимальную по задаче систему, разобрав себя на нуклоны, а затем вновь собрав их в элементы, которые используются для создания оптимальной машины: это никоим образом не поможет показать, что наш труд может остаться практически полезным в период технологической зрелости.
Я думаю, что не так уж маловероятно, что, по крайней мере, для некоторых функциональных задач, которые должны быть выполнены при достижении технологической зрелости, мы, возможно, в принципе сможем стать тем типом существ, которые будут наиболее эффективны в их выполнении.
Высказывая это предварительное предположение, я исхожу из довольно широкой концепции личной идентичности: такой, которая допускает, что характер человека со временем может претерпевать довольно серьезные изменения, а он все равно будет считаться "тем же человеком", что и раньше, при условии, что трансформация будет достаточно постепенной и непрерывной, а также, возможно, при условии, что она будет удовлетворять некоторым дополнительным ограничениям, например, что изменение в какой-то степени связано с самостоятельным выбором человека.
Одним из аргументов в пользу такой расширительной концепции личной идентичности - той, которая не требует особого качественного сходства между двумя сегментами личности, вменяемыми в обязанность одному и тому же человеку, - является то, что мы обычно считаем маленького ребенка тем же человеком, что и взрослого, в которого он превращается, даже если физическая субстанция, морфологические и психологические характеристики взрослого сильно отличаются от характеристик ребенка. Если такая радикальная трансформация согласуется с сохранением личностной идентичности, то вполне правдоподобно, что мы можем оставаться "тем же человеком", даже если, достигнув совершеннолетия, мы продолжим расти, постепенно, в длинной медленной серии небольших самовыбирающих шагов, со временем превращаясь в некую программу, подобную ИИ, оптимальную для выполнения некоторых функциональных задач в развитой цивилизации.
Это может показаться хорошей новостью с точки зрения того, что мы сможем обеспечить себе ту цель, которая вытекает из наличия практической пользы даже в пластиковой утопии. Однако, думаю, большинство из нас при ближайшем рассмотрении сочтет этот путь к сохранению трудоспособности непривлекательным.
Одна из проблем заключается в том, что даже если бы мы могли стать существом, практически полезным в утопии, мы могли бы не захотеть быть таким существом. Полезное существо было бы
