В 1974 году Карпов в матчах претендентов победил одного за другим ведущих советских шахматистов. Выиграв у Льва Полугаевского и Спасского (в серьёзность борьбе), он затем победил и Корчного, который обвинил советских чиновников, что в их противостоянии они откровенно заняли сторону молодого человека.
Таким образом, Карпов оказался претендентом на титул чемпиона мира и должен был играть с Фишером. Генеральная ассамблея Международной шахматной федерации должна была утвердить положение о матче во время шахматной олимпиады 1974 года. Фишер выдвинул огромный список из 179 требований, и всем из них, за исключением двух, ФИДЕ немедленно уступила. Петросян ворчал: «Эти люди делают всё, что хочет Бобби, и он усядется за доску на тех условиях, которые сам продиктовал». Хотя в команду Фишера вернулся Эд Эдмондсон, основным проводником требований оставался Фред Крамер. Одним из условий было такое: судья не имеет права писать о матче даже после его окончания. Кто-то из ФИДЕ съязвил: «Мистер Крамер не способен помолчать даже трёх минут, а хочет, чтобы судья молчал всю оставшуюся жизнь».
Были, однако, два спорных пункта. Во-первых, от ФИДЕ поступило предложение, что победителем объявляется тот, кто первым выиграет шесть партий. Фишер настаивал на десяти победах, при этом ничьи не считаются и число партий не должно быть ограничено. Во-вторых, Фишер требовал, чтобы при счёте 9:9 чемпион сохранял свой титул, то есть претендент должен был выиграть с разницей в два очка — здесь преимущество явно было на стороне чемпиона. После споров за закрытыми дверями делегаты предложили компромисс: борьба идёт до десяти побед, но при лимите в тридцать шесть партий (в этом случае победителем объявляется игрок, набравший больше очков). Иначе, указали они, матч может продолжаться бесконечно. Фишер немедленно ответил: «Меня проинформировали, что мои предложения отклонены большинством голосов. Поступив так, ФИДЕ выступила против моего участия в чемпионате мира 1975 года. Поэтому я отказываюсь от титула чемпиона мира ФИДЕ».
Ещё не всё было потеряно. Многие восприняли его демарш как ещё одно проявление привычной конфронтации. Процесс переговоров о матче шёл быстро; Манила предложила поразительную сумму в 5 миллионов долларов, что явилось вторым по величине призом за всю историю спорта (после заирской «Битвы в джунглях» между Мохаммедом Али и Джорджем Форманом).
В марте 1975 года собрался чрезвычайный конгресс ФИДЕ. На нем Фишеру сделали ещё одну уступку, согласившись на неограниченное число партий. Однако принять требование о сохранении титула при счёте 9:9 делегаты отказались. Эдмондсон отправился в Калифорнию умолять чемпиона.
Тем временем ФИДЕ объявила, что если Фишер не даст согласия играть матч до 1 апреля, то его лишат титула. Этот день наступил и прошёл; потом ещё один... Наконец, 3 апреля был провозглашён новый чемпион — Карпов. На пресс-конференции он намекнул, что готов встретиться с Фишером в неофициальном матче, возможно думая о Маниле и пяти миллионах долларов. Карпов трижды неофициально виделся с Фишером — в Японии, Испании и Вашингтоне, — обсуждая условия матча. В конце концов министр спорта Сергей Павлов при поддержке ЦК КПСС отклонил эту идею. Главный идеолог Михаил Суслов подписал ей приговор, сочтя затею «нецелесообразной».
Фишер оказался самым бездеятельным из чемпионов, не сыграв ни одной серьёзной партии в течение трёх лет. Стремясь показать себя достойным короны, Карпов продолжал активно играть; год от года сила его росла, он выиграл серию элитных гроссмейстерских турниров и утвердил свой авторитет в шахматном мире. Он дважды победил в матче Корчного, в филиппинском городе Багио в 1978 году (едва-едва) и в 1981-м в итальянском Мерано (убедительно). Его преемник на шахматном троне Гарри Каспаров писал о Багио: «После этого воспоминания о Рейкьявике окончательно стёрлись, и престиж советских шахмат восстановился».
Где же пропадал Фишер? Несколько лет он жил в Пасадене, в лоне Всемирной церкви Господней, где его называли «сотрудником». Церковь кормила его, предоставила хорошие апартаменты на Мокинберд-лейн и даже выделила личный самолёт. В ответ Фишер перечислил им около трети (61 200 долларов) исландских призовых денег. Он подружился с Гарри Снайдером, национальным чемпионом-штангистом, тренировавшим прихожан. Почти каждый вечер они с Фишером занимались физическими упражнениями — футболом, баскетболом, теннисом, плаванием, настольным футболом. Фишер проводил много времени, слушая по радио выступления христианских проповедников.
Были и другие люди, желающие помогать ему. Одной из таких оказалась Клаудия Мокароу, также прихожанка Всемирной церкви Господней. В 1976 году международный мастер Дэвид Леви приехал к Фишеру в гости. Тот жил в большом доме без мебели. Леви и Фишер спали на матрасах, постеленных прямо на полу. Леви вспоминает, что Фишер использовал Мокароу в качестве водителя, звоня ей, чтобы та отвезла их в какой-нибудь ресторан.
В 1977-м Фишер расстался с церковью, обвинив её в «сатанизме» и подвергнув резкой критике методы работы и принципы руководства. С этого времени шахматная знаменитость превратилась в полного затворника. Те, с кем он ещё поддерживал контакт, были связаны клятвой не сообщать о его местонахождении. Отношения с нарушившими это обещание разрывались навсегда. Чтобы его не узнали, он отрастил бороду и усы. Письмо Фишера старому приятелю по шахматам Бернарду Цукерману, датированное 13 мая 1978 года, говорит о том, что он всё ещё использовал Клаудию в качестве секретарши. Он прислал её телефонный номер и разрешил Цукерману звонить туда, чтобы оставлять сообщения.
Жизнь Фишера превратилась в плодотворную почву для слухов, хотя мало какие из них казались преувеличенными. В начале 1981 года он провел несколько месяцев в Сан-Франциско, сыграв семнадцать блиц-партий с канадским гроссмейстером, греком по рождению, Питером Байясасом (Фишер выиграл их все). Байясас сказал, что Фишер таскал с собой чемодан, набитый китайскими и мексиканскими лекарствами, объясняя это так: «Если коммунисты решат меня отравить, я легко им не дамся». Появлялись сообщения, что он заменил все свои пломбы, решив, что Советы способны использовать металл в зубах в качестве приёмника зловредных волн.
Днем 26 мая 1981 года Фишера арестовала полиция, приняв его за банковского грабителя, и бросила на два дня за решётку. Позже он опубликовал памфлет, ярко описывающий пережитые унижения: «МЕНЯ ПЫТАЛИ В ТЮРЬМЕ ПАСАДЕНЫ! Написано Бобби Фишером, чемпионом мира по шахматам». Отказ сотрудничать с властями и нежелание сообщить свой адрес были лишь частью проблемы. Фишер жаловался, что его «приковали наручниками» и металл въедался в его плоть. Когда он отказался отвечать на вопросы, офицер, по словам Фишера, «схватил его за горло и начал душить». Хотя Фишер не знал имени полицейского, он потребовал, чтобы его опознали по следующим приметам: «Очень агрессивный, как пёс, который лает, кусается и скалит зубы. Чрезвычайно жестокий». Фишер заявил, что его раздели и оставили голым в сырой, продуваемой сквозняками клетке. Через маленькое окошко он видел, как мимо проходят люди, кричал, что его пытают до смерти, но никто не пришёл к нему на помощь.
Очевидная неспособность Фишера отделить серьёзность от обыденного потрясает. Истерический тон сохраняется на протяжении всего памфлета. «Соблюдение законов в тюрьме — обман. Повсюду висят надписи "Не курить", и заключённым действительно строго запрещают курить. Однако я заметил, как светлокожий цветной надзиратель курит, когда ему вздумается».
