После еще трех докладов пришла очередь Роберта. У него не было ни малейшего страха выступлений в любой аудитории. Это отчасти врожденный навык, но он отлично тренируется за несколько лет работы лектором, тем более в таком университете, как Гарвард. Надо лишь сосредоточиться на смысле выступления, логике приводимых аргументов и при этом относиться к аудитории, даже такой авторитетной, как эта, как к студентам-первокурсникам.
– Уважаемые коллеги! Я представляю сейчас здесь не столько себя, сколько коллектив исследователей одного из самых авторитетных университетов мира. Мой великий соотечественник – писатель, ученый и пророк научной эры Айзек Азимов – когда-то сформулировал три закона робототехники, не потерявшие актуальность и сегодня. Уверен, все вы о них знаете еще с начальной школы, но я все же позволю себе их повторить с этой высокой трибуны. Мы с моими коллегами – физиками, математиками, компьютерщиками, философами – попытались научно проанализировать то, насколько универсальный ИИ будет им соответствовать. Итак, первый закон. Робот не имеет права нанести вред человеку. К сожалению, до сих пор никто не смог точно, в терминах компьютерных алгоритмов, сформулировать, что есть для человека вред, а что – польза. Современная философия утверждает, что высшая цель прогресса, а значит, и польза – это счастье человека. Допустим, героиновый наркоман просит робота дать ему еще одну дозу, чтобы облегчить его страдания. Отказать наркоману – означает причинить ему немедленный вред. Сможет ли универсальный интеллект разобраться даже в этом простейшем случае, причинить кажущийся сиюминутный вред человеку ради его же куда более важной будущей пользы? А ведь это лишь азы. Когда подобная система интеллекта начнет размышлять о глобальных вопросах человечества, то к каким странным, непонятным нам и, главное, совершенно непредсказуемым выводам она может прийти? Второй закон робототехники. Робот не может допустить своим бездействием, чтобы был нанесен вред человеку. Представьте, что роботизированная система без контроля диспетчеров управляет самолетом, который терпит крушение над населенным городом. Она может попытаться посадить самолет на оживленной улице, что вероятнее всего, спасет пассажиров, но приведет к гибели большого количества случайных пешеходов. Или она может увести падающий самолет за пределы города, но тогда сотни его пассажиров уже ничто не спасет. Как универсальный ИИ сможет принять хоть какое-то решение в ситуации, когда любое выбранное им действие означает одновременное грубейшее нарушение и первого, и второго законов? Сможет ли он вообще хоть как-то функционировать в любой экстренной ситуации, встав перед такой дилеммой? Наконец, третий закон: робот должен заботиться о собственной безопасности, если это не противоречит первым двум законам. Но что, если универсальный ИИ будет осознавать себя достойной самостоятельной личностью, не менее ценной для общества, чем любой отдельный человек, созданный природой из органической белковой материи? Тогда он вполне может логично рассудить, что третий закон должен поменяться местами с первым. И ради собственной безопасности система универсального интеллекта решит, что для сохранения себя она абсолютно вправе пожертвовать человеческими жизнями. Одной жизнью, двумя, миллионом, всем человечеством – не принципиально, для системы это будет лишь вопрос количества, а не качества. На основании вышесказанного мы категорически против легализации универсального ИИ. Причем мы настаиваем не на пятилетнем моратории, как это предлагал наш великий русский коллега ранее сегодня, а на его полном запрещении. Спасибо за внимание.
Аплодисменты на этот раз прозвучали, но очень робкие. Кажется, атмосфера наэлектризовалась теперь уже довольно ощутимо. Спускаясь с трибуны, Роберт почувствовал на себе взгляды сотен пар настороженных глаз. Он случайно заметил в зале того индуса, который накануне вслед за ним регистрировался в гостинице. Тот сидел неподалеку в традиционном белом головном уборе сикхов и провожал его острым пристальным взглядом. Модератор конференции с явным облегчением объявил двадцатиминутный перерыв для кофе и неформального общения делегатов.
Роберт остался до конца выступлений в этот рабочий день, попутно успев несколько раз связаться с аспирантами своей лаборатории по текущим рабочим вопросам с помощью коммутатора виртуальной реальности. Он также оставил сообщение Хелен, которой почему-то сегодня не было в зале, предложив ей провести вторую половину завтрашнего дня, после закрытия конгресса, катаясь вдвоем на горных лыжах. В промежутке между сессиями с большим удовольствием, почувствовав себя на несколько минут студентом рядом с маститым профессором, обменялся личными контактами с Андреем Беловым. Хотя академик свободно говорил на английском, в этот раз он предпочел свой родной русский, а Роберт понимал сказанное через звуковой синхронный перевод программы – персонального помощника.
В конце сентября темнело уже довольно рано. Когда Роберт взял флайер, чтобы перенестись на вечеринку к Тэйлору, над роскошной долиной уже сгустились сумерки, и он выбрал программу автоматической навигации в ночных условиях. На высоте в несколько сот метров было еще более прохладно, чем внизу, но он все-таки решил оставить окна кабины частично открытыми, чтобы на низкой скорости насладиться открывавшейся внизу вечерней панорамой швейцарских Альп с заснеженными вершинами. В темноте на приличном расстоянии мелькали тут и там огоньки других флайеров. В основном, они двигались на более низкой высоте и гораздо быстрее – все явно спешили по своим делам. Техника безопасности полетов в Швейцарии соблюдалась особенно строго: практически ни при каких обстоятельствах не допускалось ручное управление летающими машинами, так как в условиях гор это было особенно опасно.
Роберт был доволен и своим выступлением, и реакцией аудитории, чувствуя себя удовлетворенно и расслабленно. Но в его голове, как всегда, проносился целый рой мыслей на разные темы. Он размышлял о том, как неузнаваемо изменится мир еще лет через пятьдесят и как хочется, чтобы он к этому времени все еще ощущал себя бодрым и молодым; о том, с кем из роскошных киноактрис прошлого или настоящего провести следующее эротическое виртуальное свидание по прибытии домой послезавтра; о сегодняшней вечеринке: зачем она ему, нужно ли обсуждать с Тэйлором темы конгресса или лучше просто выпить, расслабиться, повнимательнее приглядевшись к его аспиранткам. Может быть, даже слегка, как бы в шутку или по-дружески, пощипать их за попки, если после пары бокалов глинтвейна они покажутся ему достаточно аппетитными. Хорошо, что времена, когда за такие невинные приставания можно было угодить под суд, давно канули в Лету: мораль современной эпохи наслаждений стала почти такой же раскрепощенной, как во времена хиппи прошлого века. Эта мысль заставила его улыбнуться.
На приборной панели флайера внезапно загорелись несколько красных лампочек. Еще через пару секунд зазвучал громкий, резкий сигнал аварийной тревоги. В первое мгновение Роберт даже не понял, что происходит. Шестым чувством, а может быть, просто периферийным зрением, он понял, что опасность – не в поломке флайера, а приближается откуда-то извне. Он повернул голову вправо и увидел темный, неосвещенный, едва различимый в темноте флайер, двигавшийся на бешеной скорости прямо к нему. Роберт обладал хорошей реакцией и умел быстро принимать решения. Хотя он никогда не был в таких ситуациях, но вспомнил, что при включении аварийного сигнала пассажир мог нажатием самой правой кнопки в верхнем ряду приборной панели перевести флайер в режим ручного управления.
