Разочарованные, раздраженные и сердитые друг на друга, члены миссии не могли прийти к согласию о том, как им интерпретировать приказ токийского правительства. После нескольких дней дебатов члены миссии пришли к тому, что им нужно вернуться раздельно. Окубо решил выехать немедленно и прибыл в Японию 26 мая. Кидо продолжил миссию, посетив Россию, Италию, Австрию и Швейцарию, прежде чем направиться домой, и вернулся в Токио 23 июля. Ивакура появился в Японии только 13 сентября, после увеселительного круиза, который включал остановки в Шри-Ланке, Сайгоне, Гонконге и Шанхае.
Вернувшись в Токио, Окубо обнаружил, что он потерял контроль над правительством, которое помогал создавать. Борьба между Это и Иноуэ закончилась, но Это одержал победу в последнем раунде. 19 апреля Это, Оки и Гото Сёдзиро были назначены императорскими советниками (санги), и 2 мая Это предпринял шаги для укрепления власти императорского совета. Совет теперь получил контроль над ассигнованием бюджетных средств, монетным двором, внешними и внутренними займами. После того как его министерство было, по сути, лишено всякой власти, Иноуэ 7 мая ушел в отставку Столкновение Это и Иноуэ стало первым политическим кризисом современной Японии. Иноуэ дал выход своему отчаянию, опубликовав цифры бюджетного дефицита в японской прессе. После этого правительство опубликовало собственные цифры и наказало Иноуэ штрафом за разглашение государственных секретов. В отличие от тайных дискуссий в администрации режима Токугава, лидеры правительства Мэйдзи начали вести борьбу за общественную поддержку.
Для Окубо эти события стали сокрушительным поражением. В 1872 году он ушел с поста императорского советника, но при этом сохранил номинальное руководство министерством финансов. Однако теперь это министерство утратило контроль над бюджетом, так что Окубо, по сути, оказался без власти. Назначение новых императорских советников и изменения полномочий императорского совета были явным нарушением соглашения, заключенного между миссией Ивакура и временным правительством. Но у Окубо не было особых причин жаловаться, поскольку он сам попросил расторгнуть соглашение, чтобы заняться пересмотром договоров в Вашингтоне. Окубо пришел в смятение, но недостаток власти не позволял ему бросить вызов своим соперникам, и поэтому, вместо того чтобы начинать битву, в которой невозможно победить, он отправился отдыхать на горячие источники и совершил восхождение на Фудзияма.
Сайго, судя по всему, не понимал полностью последствий этих изменений в центральном правительстве. В его письмах за этот период не упоминается отставка Иноуэ или назначение новых советников. Это совпадает с воспоминаниями Сибусава Эиити, главного сторонника Иноуэ, о том, что Сайго был «влиятельной политической фигурой, но он не испытывал никакого интереса к финансам». Главной заботой Сайго в апреле и мае оставался Хисамицу. Глава дома Симадзу, наконец, прибыл в Токио 23 апреля, во главе свиты из 230 слуг. Члены его свиты были вооружены мечами вместо огнестрельного оружия, а их головы украшала традиционная самурайская прическа тёнмагэ (волосы выбриты спереди и собраны в пучок на макушке) вместо прически в западном стиле, которую пропагандировало правительство с 1872 года. Публичная демонстрация Хисамицу своей приверженности традициям выглядела несколько абсурдно, и газета «Синбун дзасси» сообщила о том, что его слуги «были страшно горды своими мечами». Но Сайго беспокоила значительно более серьезная проблема. В письме своему брату Цугумити от 20 апреля он предупреждает о том, что <-сто светлость не думает о тех, кто ниже его, и боится только армии». В письме Кацура от 17 мая Сайго еще больше встревожен. Он рассказывает о том, что в столице ходят слухи о возможных атаках против правительства и покушениях на его жизнь. Страхи Сайго оказались напрасными, и визит Хисамицу не привел к вспышкам насилия. Он был осыпан подарками от императорского дома и в конечном итоге принял предложение занять символический пост в центральном правительстве. С этой точки зрения визит был большим успехом. Однако, по сути, Хисамицу использовал свой визит в Токио для того, чтобы излить новую серию обвинительных тирад против Сайго и общего курса правительственных реформ. Но Сайго уже надоели оскорбительные выпады Хисамицу, и он втайне высмеивал «детские капризы» своего господина. Чувства Сайго вполне понятны, поскольку для него это была мучительная ситуация. 7/1869 Сайго все еще надеялся почтить память Нариакира, проявив лояльность к его единокровному брату Хисамицу. Теперь Сайго приходилось сдерживаться, чтобы не проявить открыто презрение к наследнику своего покойного господина.
Презрение Сайго к Хисамйцу усилилось его растущим уважением к императору Мэйдзи. В конце апреля Сайго посетил императора в ходе военных учений в Тиба. Император принял участие в учениях и остановился в обычной армейской палатке. Ночью штормовой ветер сорвал палатку и оставил императора под проливным дождем. Сайго поспешил к месту происшествия и с ужасом обнаружил императора насквозь промокшим, но собранным и невозмутимым. По обычным стандартам в хладнокровии императора не было ничего примечательного, но для Сайго оно представляло резкий контраст с непрерывными тошнотворными жалобами Хисамицу.
К началу мая напряжение в политике сказалось на здоровье Сайго, и у него началась сильная ангина. Его состояние ухудшилось, и 6 июня император направил Сайго к своему личному врачу, Теодору Хоффману. Хоффман нашел у Сайго артериосклероз и объяснил ему суть проблемы в общедоступных терминах-, его кровеносные сосуды сузились из-за отложений жира, и это вызывало боли в груди. Хоффман считал, что Сайго лишь едва избежал серьезного сердечного приступа, и прописал ему любопытную комбинацию лечебных средств: регулярные физические упражнения, низкокалорийная диета и — универсальное лекарство девятнадцатого века — сильное слабительное. Чтобы выполнять инструкции Хоффмана, Сайго переехал из своей резиденции в центре Токио, где ему не нравилось прогуливаться, в дом своего брата в Сибуя — теперь оживленный торговый район, а тогда, словами Сайго, «настоящая глушь». Оказавшись за городом, Сайго стал наслаждаться ежедневными прогулками по лесу, охотой на зайцев и вскоре почувствовал себя настолько окрепшим, что спросил у Хоффмана, не стоит ли ему возобновить занятия фехтованием или сумо, чтобы поддерживать физическую активность в дождливые дни. Хоффман вежливо попросил Сайго временно ограничить себя менее, энергичными упражнениями.
Удивительно быстрое выздоровление Сайго было столько же психологическим, сколько и физическим. Хотя ангина возобновилась, как только он вернулся к работе, любовь Сайго к природе, а также давно требовавшийся перерыв от правительственных обязанностей восстановили его дух. Сайго описывал свой отдых в Си-буя как уход от суетного мира. Здесь он чувствовал себя умиротворенным, и ему не хотелось терять душевный покой, снова ввязываясь в политическую борьбу. 29 июня в письме своему дяде Сайго написал о том, что он хочет «оставить мирские пути» и избегать «мутных, бурных вод» ради «чистой воды». Вода для Сайго была глубоко значимой метафорой; В «Гэнсироку», произведении Сато Иссаи, которое Сайго переписывал, «мутная, бурная вода» представляла хаотичную жизнь, запутанную внешними отвлекающими факторами и мелкими амбициями. «Чистая вода», напротив, была метафорой моральной чистоты и способности всегда оставаться самим собой. «Укрощая себя» и соблюдая традиционные приличия, просветленный человек может оставаться самим собой даже среди царящего вокруг хаоса и, образно говоря, очищать мутные воды. Однако Сайго чувствовал, что он не подходит для такой задачи, и вместо того чтобы пить мутную воду, он предпочитал оставить общественную жизнь.
