никогда не упускает из вида проблему безопасности ИИ. Процитирую его замечание по этому поводу: «На мой взгляд, главный риск ИИ заключается не столько в том, сможем ли мы математически понять, о чем он думает, сколько в том, способны ли мы научить машину этическому поведению. Ведь мы едва способны научить такому поведению друг друга».
В 1950 году Норберт Винер в книге «Человеческое применение человеческих существ» проявил удивительную прозорливость, предупредив, что
…подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас… Доверяем ли мы наши решения машинам из металла или тем машинам из плоти и крови, которые организуются в бюро, крупные лаборатории, армии и корпорации… Час почти пробил, выбор между добром и злом стоит у нашего порога.
Таков был главный посыл его книги, и шестьдесят восемь лет мы жили с этим ощущением, не располагая ни рецептами спасения, ни запретами, ни даже четко сформулированной «постановкой проблемы». С тех пор мы неоднократно слышали предупреждения об угрозе со стороны машин, даже адаптированные под широкие массы; вспомним такие фильмы, как «Колосс: проект Форбина» (1970), «Терминатор» (1984), «Матрица» (1999) и «Из машины» (2015)[187]. Но наконец настала пора серьезно обновить наши воззрения и рассмотреть новые перспективы – в особенности обобщить наши «человеческие» права и экзистенциальные потребности.
Общественная обеспокоенность проявляется обычно в противопоставлении «их [роботов] и нас», а также в страхе перед «серой слизью [нанотехнологии]» или перед «монокультурными клонами [биотехнологии]». Экстраполируем текущие тренды: а что произойдет, окажись мы в состоянии вырастить или сотворить почти что угодно и добиться любого желаемого уровня безопасности и эффективности? Любое мыслящее существо (состоящее из атомов) обретет тогда доступ ко всем технологиям.
Вероятно, нам следует меньше беспокоиться о противостоянии с «ними» и больше – о правах всех разумных на фоне возникающего беспрецедентного разнообразия разумов. Мы должны использовать это разнообразие для минимизации глобальных экзистенциальных рисков, будь то извержение супервулкана или прилет астероида.
Но правильно ли говорить «должны»? (Дисклеймер: в этом и во многих других случаях при описании развития общества, которое «могло бы», «должно» или «обязано» иметь место, технолог не обязательно излагает собственные соображения на сей счет. Нередко это предупреждение, неопределенность выбора или независимая оценка.) Робототехник Джанмарко Веруджо и другие специалисты с 2002 года поднимают вопросы роботоэтики[188]; Министерство торговли и промышленности Великобритании и Институт будущего корпорации «РЭНД» изучают вопросы прав роботов с 2006 года.
«Есть» против «должно быть»
Принято говорить, что наука изучает то, что «есть», а не то, что «должно быть». Рассуждения Стивена Джея Гулда о «непересекающихся магистериях»[189] подразумевают, что следует строго различать факты и ценности. Точно так же в манифесте «Наука и креационизм» (1999) Национальной академии наук США отмечается, что «наука и религия принадлежат двум разным сферам познания». Это разделение критиковали многие – эволюционный биолог Ричард Докинз, я сам и др. Можно обсуждать значение слова «следует» в формулировке «Следует сделать X, чтобы добиться Y». Какова приоритетная величина Y, не обязательно решается демократическим голосованием, зато может определиться в ходе дарвиновского «голосования». Системы ценностей и религии возникают и исчезают, диверсифицируются, расходятся и сливаются, подобно живым существам, то есть они подвержены отбору. Конечная «ценность» («следует») обеспечивается выживанием генов и мемов.
Немногие религии утверждают отсутствие каких бы то ни было связей между нашим физическим бытием и духовным миром. Чудеса задокументированы. Конфликты между церковной доктриной и учениями Галилея и Дарвина постепенно улаживаются. Вера и этика широко распространены среди людей и могут быть изучены с использованием научных методов, включая, помимо прочего, МРТ, психоактивные препараты, опросники и пр.
С практической точки зрения мы должны опираться на этические нормы, встроенные, усвоенные или вероятностно отобранные для все более интеллектуальных и разнообразных машин. Но возникает целый ворох проблем в духе проблемы вагонетки[190]. При каком количестве людей в «очереди на смерть» компьютер должен принять решение и передвинуть конкретного человека вперед или назад? В конечном счете это задача глубинного обучения, когда придется принимать во внимание огромные базы данных и учитывать непредвиденные обстоятельства, что, казалось бы, не имеет прямого отношения к этике.
Например, компьютер может сделать вывод, что человек, который избежит смерти, если не вмешаться, является осужденным террористом-рецидивистом, способным распространить по миру смертоносный патоген, – или он станет святым POTUS[191], а также окажется звеном в цепочке гораздо более значимых событий в альтернативной реальности. Если какое-либо из приведенных описаний выглядит парадоксальным или нелогичным, возможно, начальные условия задачи сформулированы таким образом, что колебаний и нерешительности не избежать.
Либо можно использовать неправильное направление для настройки системы, дабы ошибочные режимы не попадали в фокус внимания. Например, в исходной формулировке проблемы вагонетки подлинно этическое решение было принято намного раньше, когда людям позволили выходить на рельсы – или еще раньше, когда мы предпочли расходы на развлечения расходам на обеспечение общественной безопасности. Вопросы, на первый взгляд нелепые и тревожные, например: «Кто владеет новыми умами и кто платит за их ошибки?», схожи с привычными законами, определяющими, кто владеет корпорациями и платит за их грехи.
Скользкие склоны
Мы можем (чрезмерно) упростить этику, предположив, что какие-то сценарии не реализуются никогда. Технические проблемы и «красные линии», которые невозможно пересечь, обнадеживают, но реальность такова, что, едва выгоды перевешивают риски (пусть на краткий срок и на чуть-чуть), «красная линия» немедленно смещается. Незадолго до рождения Луизы Браун в 1978 году[192] многие люди ворчали, что ей суждено «стать настоящим маленьким монстром, уродливым, искалеченным, с которым что-то не так»[193]. Мало кто сегодня придерживается подобного взгляда на экстракорпоральное оплодотворение.
Какие технологии прокладывают путь к мультиплексной чувствительности? Дело не только в алгоритмах глубинного машинного обучения и «Большой железяке»[194]. Мы искусственно заставляем грызунов эффективно решать различные когнитивные задачи, а также проявлять другие значимые черты личности, скажем, настойчивость и умение сосредотачиваться. Применимы ли такие методики к животным, которые уже стоят на пороге человеческого (человекоподобного) интеллекта? Некоторые из них демонстрируют самопознание в зеркальном тесте (шимпанзе, бонобо, орангутанги, некоторые дельфины, киты и сороки).
Даже «красная линия» человеческого манипулирования людьми подвержена, судя по множеству признаков, смещениям вплоть до полного разрушения. Во всем мире ведется свыше 2300 одобренных клинических испытаний генной терапии. Основной медицинской целью заявлено лечение и профилактика ослабления когнитивных функций, что немаловажно с учетом быстрого старения человечества в глобальном масштабе. Некоторые методы лечения используют когнитивные «улучшатели» (лекарства, гены, клетки, трансплантаты, имплантаты и т. д.). Их наверняка будут применять не
