не просто будет подражать людям (и постепенно избавит их от множества интеллектуальных действий), но изменит саму человеческую природу.
Мы лишь водовороты в реке, что течет беспрерывно. Мы не материя, существующая вечно, а структура, которая длит себя.
Когда эти слова писались, не составляло труда отмахнуться от них как от очередного образчика гераклитовского по духу преувеличения. Ну да, ну да, нельзя войти дважды в одну и ту же реку. Но в этих словах содержались семена грядущей революции в мировоззрении. Сегодня нам известно, что такое сложные адаптивные системы, странные аттракторы, расширенные состояния ума (познания) и гомеостаз[47]; перспектива изменилась, и это сулит исчезновение «объяснительной пропасти»[48] между разумом и механизмом, духом и материей, той пропасти, которую до сих пор горячо защищают современные картезианцы, не желающие смириться с тем, что мы – мы сами – являемся самосохраняющимися информационными структурами, а не «материя, существующая вечно». Эти структуры удивительно стабильны и обладают способностью к самовосстановлению, но одновременно их можно охарактеризовать как текучие, оппортунистические, эгоистичные, склонные к эксплуатации всего и вся вокруг в своем стремлении к сохранению. Именно здесь, как признавал сам Винер, возникают сложности. При обилии привлекательных возможностей мы стараемся платить меньше и соглашаемся лишь на малые, тривиальные, если угодно, расходы по ведению бизнеса для доступа к новым умениям и навыкам. В результате мы очень скоро становимся настолько зависимыми от наших новых инструментов, что теряем способность существовать без них. Дополнительные опции становятся обязательными.
Это старая, как мир, история со множеством хорошо известных глав по эволюции. Большинство млекопитающих способны самостоятельно синтезировать витамин С, но приматы выбрали диету преимущественно из фруктов – и утратили эту врожденную способность. Ныне мы вынуждены потреблять витамин С, но не пожираем фрукты безостановочно, подобно нашим дальним родичам приматам, поскольку мы разработали технологии, позволяющие нам производить и принимать витамины по мере необходимости. Самосохраняющиеся структуры, именуемые людьми, ныне зависят от одежды, приготовленной пищи, витаминов, прививок… кредитных карт, смартфонов и интернета. А еще – завтра, если не сегодня – будут зависеть от ИИ.
Винер предвидел проблемы, которые Тьюринг и другие оптимисты в значительной степени упускали из виду. По его словам, настоящая опасность кроется в том,
что подобные машины, пускай они безвредны сами по себе, могут быть использованы человеком или группой людей для усиления своего господства над остальной человеческой расой, а политические лидеры могут попытаться контролировать население своих стран посредством не самих машин, а посредством политических практик, столь узких и равнодушных к человеческим потребностям, как если бы эти практики действительно вырабатывались механически.
Он осознавал, что сила сосредоточена в алгоритмах, а не в оборудовании, которое ими оперирует, хотя современное оборудование позволяет обрабатывать алгоритмы, которые казались бы невообразимо громоздкими во времена Винера. Что мы можем сказать об этих «практиках», «узких и равнодушных к человеческим потребностям»? Они внедряются в общество снова и снова, некоторые из них предположительно полезны, другие предположительно вредны, и большинство из них вызывает огромное количество вопросов.
Рассмотрим несколько конфликтных ситуаций. Мой покойный друг Джо Вейценбаум[49], преемник Винера в роли высокотехнологичного пророка Иеремии в Массачусетском технологическом институте, любил повторять, что кредитные карты, при всех неоспоримых достоинствах, заодно предоставляют правительствам и корпорациям недорогой и почти стопроцентно надежный способ отслеживать перемещения, покупательские привычки и желания граждан. Анонимность наличных денег в значительной степени недооценивается, к ней стремятся разве что торговцы наркотиками и другие преступники, а ныне она и вовсе на грани исчезновения. Тем самым отмывание средств сделается более сложной технической задачей, но поклонники и энтузиасты искусственного интеллекта, ратующие против наличности, добились вдобавок того, что все мы очутились как на ладони у «группы людей», которые могут использовать это обстоятельство «для усиления своего господства над остальной человеческой расой».
Что касается искусства, то инновации в цифровых аудио– и видеозаписях позволяют нам платить небольшую цену (по мнению всех, за исключением наиболее ярых меломанов и любителей кино) за отказ от аналогового формата, благодаря чему обеспечивается удобное и простое – не слишком ли простое? – воспроизведение музыкальных и прочих произведений искусства с почти идеальной точностью. Но здесь имеются колоссальные скрытые издержки. «Министерство правды» Оруэлла сегодня вполне возможно реализовать на практике. Ныне получают распространение технологии создания (при посредстве ИИ) практически неотличимых от оригиналов подделок переговоров, например вследствие чего устаревают инструменты расследований, которые мы привыкли считать само собой разумеющимися за последние сто пятьдесят лет. Согласны ли мы отказаться от краткой эпохи фотографических доказательств и вернуться в прежние времена, когда человеческая память и доверие служили этаким золотым стандартом, – или будем разрабатывать новые методы защиты и нападения в гонке вооружений периода постправды? (Мы способны вообразить возвращение фотопленки и проявки, хранение улик в «защищенных от несанкционированного доступа местах» до момента предъявления присяжным и т. д., но как скоро кто-то додумается до способа поставить под сомнение достоверность таких свидетельств? Вот один тревожный урок недавнего прошлого: уничтожение репутации и доверия обходится намного дешевле, чем защита репутации.) Винер рассуждал максимально широко: «в конечном счете отсутствует различие между вооружением себя и вооружением наших врагов». Информационная эпоха – это также эпоха дезинформации.
Что тут можно поделать? Нужно переосмыслить наши приоритеты, опираясь на пристрастный, но искренний анализ Винера, Вейценбаума и других авторитетных критиков нашей технофилии. Ключевым, на мой взгляд, является оброненное почти мимоходом замечание Винера насчет машин, которые «безвредны сами по себе». Как я недавно заявил, мы создаем инструменты, а не коллег, и реальная опасность состоит в том, чтобы не видеть разницы; мы должны всячески ее подчеркивать, обозначать и отстаивать, в том числе с помощью политических и правовых инноваций.
Возможно, лучше всего удастся объяснить, что конкретно упускают из вида, указав, что сам Алан Тьюринг допустил вполне простительную и понятную ошибку, когда формулировал свой знаменитый тест. Как хорошо известно, это вариант его «игры в подражание», когда мужчина в помещении без окон, письменно общающийся с посредником, пытается убедить посредника в том, что он на самом деле женщина, а женщина, находящаяся в тех же условиях, уверяет, что это она – женщина. Тьюринг писал, что для мужчины (или для женщины, притворяющейся мужчиной) будет очень и очень непросто воспользоваться обилием знаний о том, как думает и действует противоположный пол, что он склонен одобрять или игнорировать. Конечно (дзинь!)[50], любой мужчина, способный убедительно изобразить женщину и превзойти в этом собственно женщин, окажется разумным агентом. Но Тьюринг не предвидел способности ИИ на основе глубинного обучения усваивать этот объем информации в
