Получив пост правителя Хорасана, аль-Мамун мог бы оставаться в Багдаде, поручив наблюдение за провинцией своей администрации, но по совету аль-Фадла он отправился в Хорасан, где создал для себя прочную базу. Он сопровождал отца во время поездки Харуна на восток в 803 году и сумел сразу же после его смерти взять в свои руки все управление провинцией.
После смерти Харуна ар-Рашида в 809 году один из его военачальников в Мавераннахре Рафи ибн Лайс отказался подчиняться багдадской власти и овладел Самаркандом. Халиф выслал против него войско во главе с эмиром Харсамой, который осадил Самарканд и, взяв город в 811 году, казнил мятежника. После усмирения восстания вазир аль-Амина альФадл ибн ар-Рабиа приказал войску Харсамы возвратиться в Багдад. Это, по мнению аль-Мамуна, считавшего, что оно должно остаться под его командованием, противоречило распоряжению покойного Харуна о его суверенитете в Хорасане. По совету аль-Фадла ибн Сахла он отказался отправить войско в Багдад. Так началась война между двумя братьями.
Аль-Амин отправил войско против непокорного брата, но небольшая армия аль-Мамуна под командованием Харсамы и хорасанца Тахира в 811 году нанесла ему поражение и двинулась на запад. Война продолжалась два года. Армия аль-Мамуна заняла весь Западный Иран и подошла к Багдаду. Осада города продолжалась около года. Сторонники аль-Амина при поддержке горожан, боявшихся хорасанской армии и рассматривавших ее приход почти как иноземное вторжение, яростно сопротивлялись. В 813 году город пал, аль-Амин был убит солдатами Тахира, а аль-Мамун был провозглашен халифом (813 –833).
Постепенно и западные провинции Халифата объявили о своей лояльности новому халифу. Аль-Мамун поручил правление Ираком Тахиру, а сам решил поселиться в Мерве, который собирался сделать столицей государства. Позднее он доверил управление Ираком брату аль-Фадла – аль– Хасану ибн Сахлу, в прошлом зороастрийцу – и взял в жены одну из его дочерей.
Гражданская война между аль-Амином и аль-Мамуном, в ходе которой хорасанские солдаты вторглись в Ирак, рассматривалась средневековыми историками как конфликт иранцев, возглавляемых аль-Мамуном, и арабов, возглавляемых сыном хашимидской матери аль-Амином. В этом утверждении несомненно была доля истины. Аль-Мамун, окруженный принявшими ислам персами, был вынужден, вне зависимости от своих личных симпатий, занять по отношению к входившим в его владения восточным областям империи разумную позицию покровителя. Следуя заветам Бармакидов, он всячески старался примирить верхушку иранского общества с властью Аббасидов и многого в этом отношении достиг. Разумеется, в окружении аль-Мамуна также было много арабов, что мешало ему апеллировать к персидским национальным чувствам большинства его сторонников. Да он и не собирался это делать. Одной из глубинных и важнейших причин династийного конфликта был религиозно-догматический спор, в контексте которого аль-Мамун – продолжатель линии Бармакидов – вызывал неприязнь влиятельных теологов-традиционалистов.
Захватив сильно разрушенный Багдад, аль-Мамун стал полновластным главой империи, но эта победа не принесла ему мира. Сподвижники аль-Амина были еще сильны в Сирии, а в Азербайджане продолжались волнения на религиозной почве. Еще при Харуне ар-Рашиде движение хуррамитов дважды выливалось в 796 и 808 годах в открытое восстание, а в 816 году, уже при аль-Мамуне, оно привело к большому и многолетнему восстанию под руководством Бабека (перс. Папака), который объявил себя воплощением раннего хуррамитского имама и собрал вокруг себя в Северном Азербайджане большое число сторонников. Разумеется, вера в имама, происходящего из дома Абу Муслима, носила чисто шиитский характер.
Но каковы бы ни были верования хуррамитов и каково бы ни было происхождение этих верований, они категорически отвергали власть халифа и признавали только своих имамов или харизматических пророков. Поэтому аль-Мамун вынужден был предпринять против них меры, не столько защищая исламскую ортодоксию, сколько оберегая аббасидскую власть, для которой они представляли существенную угрозу. Ситуация осложнялась тем, что византийцы из Анатолии всячески поощряли одного из главных хуррамитских предводителей, Бабека, к активным действиям против власти Багдада, а местные мусульманские правители, равно как и военачальники аль-Мамуна, не имели достаточно сил, чтобы им противостоять.
Между тем движением хуррамитов попытались воспользоваться наиболее радикально настроенные алидские главари из числа Хасанидов. В принципе они, разумеется, не могли сочувствовать сторонникам этого движения, но по тактическим соображениям решили согласиться на союз с ними. Восстание должен был возглавить авантюрист-шиит, в прошлом сражавшийся в армии аль-Амина, некий Абу-с-Сарайа. В 814 году он встретился с лидером Хасанидов Ибн Табатабой, и они договорились о совместных действиях против правительственных войск в районе Куфы.
На первых порах восставшие имели успех. Абу-с-Сарайа сумел отбить наступление халифской армии и удержать Куфу. Восстание начало распространяться по всему Южному Ираку. Однако в 815 году, когда вазиру удалось собрать достаточно сил, Абу-с-Сарайа был разбит, бежал, но позднее был схвачен и убит.
Шиитское восстание Абу-с-Сарайи произвело на аль-Мамуна большое впечатление, и он решил коренным образом изменить свою политику. Он пригласил в Мерв из Медины восьмого алидского имама Али ар-Рида и дал всем понять, что хочет отказаться от исключительного права Аббасидов на власть в Халифате и намерен назначить после себя халифом одного из Алидов. Однако аль-Мамун не упомянул, кого конкретно он хочет видеть после себя на халифском престоле. Из его заявления вытекало, что Аббасиды не отстраняются; альМамун, по-видимому, пытался установить новый порядок, по которому потомки Али или аль-Аббаса могли быть избраны в качестве глав государства, исходя из их личных качеств. Сама по себе идея назначения имама в соответствии с его личными заслугами была выдвинута и разработана шиитскими теоретиками из секты зайдитов (о зайдитах будет сказано ниже), и, возможно, аль-Мамун решил следовать этой доктрине.
По примеру шиитских претендентов на власть в государстве аль-Мамун не только провозгласил, что намерен во всем следовать предписаниям Корана и сунны, но объявил себя также имамом. Этот титул официально не употреблялся аббасидскими правителями с момента прихода их к власти. Вообще аль-Мамун явно сочувствовал шиитам, и это сочувствие, а не только политические соображения подвигли его на политический шаг, невозможный для его более осторожного отца. Свою религиозную политику с явным прошиитским акцентом он поручил проводить вазиру аль-Фадлу ибн Сахлу.
Аль-Мамун продолжал управлять государством из провинциального Мерва, где у него была мощная поддержка – хорасанская армия. Приглашенный им в Мерв Али ар-Рида, сын убитого Мусы аль-Казима, получивший по наследству от отца звание шиитского имама, был в это время в Медине всецело сосредоточен на изучении религиозных наук и не проявлял большого интереса к политике. Узнав, что аль-Мамун имеет намерение сделать его своим преемником, он, хотя сначала и неохотно, принес клятву верности, предложенную халифом. Аль-Мамун проявил осторожность только в одном отношении. Отдавая дань господствующим в обществе традиционалистским чувствам, он провозгласил, что Али ар-Рида должен был сменить его на посту халифа не потому, что был шитским имамом, а как человек, наиболее достойный исполнять столь ответственную миссию и лучше других к ней подготовленный. Следуя традиции брачных связей, аль-Мамун выдал свою дочь за Али ар-Рида и обещал выдать другую дочь за сына Али ар-Рида, в то время еще ребенка.
