– Интересно. Я думала, роботы – это просто неживые механизмы. Но могут ли они хотеть чего-то?
– Это один из главных вопросов. Ваша женская интуиция сразу попала в болевую точку. Вопрос, имеют ли сложные роботы желания, самостоятельные цели, по-прежнему неясен. Мы должны надеяться на то, что желаний у них нет. Потому что, если выяснится, что они есть, то за права личностей роботов немедленно начнут бороться целые организации, как за права животных, например. И потом, это просто опасно. Уже сегодня высокоразвитых роботов на Земле уже больше, чем людей. Мы не можем быть уверены в том, что если у них появятся желания, то они не будут направлены против нас. Сейчас ученые считают, что такого риска нет. Все роботы, согласно всемирной конвенции, принятой полвека назад, конструируются с обязательным соблюдением трех законов робототехники Азимова. Правда, я, как компьютерный психолог, не очень-то верю в действенность этих законов.
– Я много раз слышала о них. Но, если честно, не помню точно формулировок.
– Они очень простые. Возможно, слишком простые, и в этом-то суть проблемы. По первому закону, робот не может причинить вред человеку или допустить, чтобы в результате его бездействия был нанесен такой вред. Согласно второму, робот должен повиноваться приказу человека во всех случаях, когда это не противоречит первому закону. По третьему, робот должен заботиться о своей безопасности, если это не противоречит первым двум законам.
– По-моему, звучит замечательно.
– В теории, на бумаге, да. Но не в реальной жизни. Могу раскрыть вам приватно страшную тайну роботостроительных корпораций. Они лишь условно соблюдают эти «законы», но при этом программируют роботов так, чтобы фактически отключить их. И вовсе не из злых побуждений. Просто с этими установками робот не может нормально функционировать. Простейший пример: робот-официант в уличном кафе разносит на большом подносе еду, а проходящая мимо него пятилетняя девочка спотыкается и царапает себе коленку. Ничего страшного, такое происходит каждую минуту. Но робот, по первому закону, должен отбросить поднос, забыть о посетителях и ринуться вызвать девочке доктора или помочь обработать ранку на коленке. А полсотни людей в кафе будут вынуждены сидеть и ждать все это время. В следующий раз они, разумеется, придут в другое кафе. И это – самый невинный пример. Есть куда более сложные. Робот-ассистент полицейского собирает досье на преступника и даже, возможно, физически помогает в процессе его поимки. Но преступник будет испытывать страдания в тюрьме. И он – тоже человек. А как же первый, главный, закон? Сам Азимов, будучи невероятно талантливым и прозорливым мыслителем, понимал все эти дилеммы. В более поздних работах он предлагал, например, чтобы робот в «сложных» случаях выбирал «наименьший» вред человеку. Но как сравнить небольшой физический вред одному человеку с глубоким психологическим ударом, нанесенным другому? Кого спасти: пять пожилых людей или двоих детей, если надо выбирать? Робот, очевидно, впадет в ступор и в результате не спасет ни тех, ни этих. Корпорации имели много способов убедиться, что их роботы в результате буквального соблюдения законов Азимова неизбежно превращаются в бесполезный нерабочий хлам. Но конвенция действует, они должны ей соответствовать. И выход нашли: дополняют эти установки алгоритмом – древом условий, внешне логичным, законным и безобидным. Но, пройдя по этим сложным многоуровневым деревьям в своем процессоре, робот фактически перестает быть обязанным следовать трем базовым законам. Правительства знают об этом, но закрывают глаза. В конце концов, ни один робот-продавец в истории еще не ударил клиента за то, что тот ему нахамил; ни один робот-сиделка не отравил и не задушил подопечного старика, узнав, что тот собирается сдать его в утиль, обменяв на новую модель. И, разумеется, я и представить не могу, чтобы любовница-робот закатила хозяину сценку ревности, когда тот приносит домой из магазина вторую такую же, но с бóльшим размером бюста. Но в будущем все это – вы удивитесь – вполне возможно.
Кружка эля была между тем допита. Генетически модифицированный хмель отчетливой, приятной бодрящей горечью, возбуждающей аппетит, немного играл в голове английского эксперта. Анна поняла, что интересный рассказ подошел к концу. Она проводила Стивена пешком до гостиницы, пожалев, что так редко общается с мировыми научными светилами. Напоследок она его спросила:
– Наши правила гостеприимства включают заботу о вечернем досуге VIP-гостей центра. Одна из моих подружек в группе профессионально занимается эскортом, она тоже очень симпатичная, и я практически уверена, что вы ей понравитесь. Хотите, я дам вам ее номер?
– Спасибо! Честно говоря, ученых, приезжающих по делам в Кембридж, подобное предложение немало бы удивило. Тем более в наше время большинство людей уже отлично освоились со способами виртуального досуга. Нет, я предпочту отдохнуть перед работой. Еще раз спасибо.
В одиннадцать утра в главном здании национального энергетического агентства, в гостевом зале, зеленоватые окна которого выходили на крошечное, но живописное естественное озеро с гулявшими вокруг него и никого не боявшимися утками, индюками и фазанами, создававшими впечатление уголка нетронутой природы в плотно заселенном пригороде Сан-Франциско, собрались руководители программы, стоившей налогоплательщикам Америки и других стран огромные средства.
На встрече, проходившей за закрытыми дверями, с самыми тщательными мерами безопасности от журналистов, миниатюрных дронов-разведчиков и прочих нежелательных свидетелей, от правительства лично присутствовал вице-президент США Джером Шульц, имевший полномочия как дать «добро» на продолжение программы, так и наложить вето на ее дальнейший ход. Стивен Тальбот, одетый на этот раз в более классический серый костюм, должен был сформировать собственное экспертное мнение о происходящем, чтобы затем представить его в виде доклада на закрытом заседании британского Парламента.
Первым выступил Амрит Чанд (к которому обращались как к доктору Чанду), ведущий индийский и мировой специалист по системам искусственного интеллекта, научный руководитель программы. Словно по-прежнему находясь в лабораториях, он был одет в белый халат, а его не длинная, но импозантная седая борода сочеталась с тоном его одежды. Доктору Чанду было около шестидесяти, но выглядел, он, пожалуй, даже несколько старше, хотя кипучая энергия и била в нем через край. Кажется, он был в восторге от работы, проделанной его огромной командой из трех тысяч тщательно подобранных специалистов в различных областях компьютерных наук. Очевидно, ему хотелось преподнести результаты этой работы в самом выгодном свете, но в то же время, обладая большим умом, он понимал, что надо говорить взвешенно, спокойно, объективно.
– Проделанная нами работа не имеет аналогов в истории. За последние десятилетия ученые накопили огромное количество сведений, касающихся самых важных мировых проблем. Изменение климата, вероятность глобальных эпидемий, терроризм, угрозы планете, исходящие из внешнего космоса. Освоение Солнечной системы в ближайшем будущем, а также радикальное продление человеческой жизни. К сожалению, уже давно стало очевидно, что возможности обычного человеческого интеллекта, даже объединенного в большие сообщества талантливых ученых, – ограничены. Люди сами, без внешней помощи, не в силах разобраться до конца во многих слишком сложных, запутанных, многоуровневых научных проблемах. Тончайшие нити их решения, спрятанные где-то в невообразимой глубине, ускользают от нас. К счастью, сейчас, на исходе XXI века, мы нашли другой путь. Если ты не знаешь, как разрешить бытовую проблему, вызови специалиста. Теперь нашим «специалистом по вызову» должно стать новое, великое, революционное творение рук человеческих. Когда люди поняли, что им не по силам переносить слишком большие тяжести, они придумали колесо. Чтобы добираться из одной точки мира в другую за считаные часы, они не побоялись подняться на железной машине высоко в небо. А когда данных о Вселенной и о нас самих – вероятно, единственных населяющих ее разумных существ – скопилось слишком много и эти данные стали слишком сложны, человек создал искусственный сверхинтеллект. Этот год и наша общая работа войдут в историю человечества!
