Йахья несомненно обладал выдающимся талантом государственного мужа, но прочностью своего положения он в значительной мере был обязан поддержке Хайзуран, которая видела в нем ценнейшего помощника во всех делах. Сыновья Йахьи также занимали высокие посты. Кроме того, что они были наставниками сыновей Харуна (аль-Фадл – аль-Амина, Джафар – аль-Мамуна), они неоднократно назначались губернаторами провинций. Аль-Фадл управлял пограничными областями Западного Ирана, одно время заведовал администрацией в Хорасане (792 –796), где сумел навести порядок и организовать ирригационное строительство, чем способствовал процветанию области. Позднее он был наместником Ирака, Центрального Ирана, Табаристана, Азербайджана и Армении (796 –802). При нем власть мусульманского государства укрепилась в Мавераннахре. Его возвышению помогало то, что он был молочным братом самого Харуна ар-Рашида.
Джафар был человеком совершенно иного склада. Правда, он также временами управлял Египтом, Сирией, а позднее и Хорасаном, но в провинции выезжать не любил, обычно жил в Багдаде. Харун ар-Рашид ценил общество Джафара, его остроумие, образованность и умение себя вести, часто приглашал его во дворец и сделал его своим собеседником и сотрапезником (надимом).
Мудрые и опытные политики, Бармакиды всячески старались добиться консолидации в мусульманском обществе, дабы предотвратить возможный распад государства. Предметом их особого беспокойства было положение в восточных областях Халифата, а также проблема взаимоотношений правящей династии с Алидами, к которым они старались проявлять максимум снисходительности даже в тех случаях, когда те открыто демонстрировали оппозицию властям.
Особое внимание Бармакиды уделяли иранским областям империи. В силу своего происхождения они, вероятно, сочувствовали возрождению национальных чувств в Хорасане и других восточных областях и были озабочены тем, чтобы улучшить условия жизни обитателей этих провинций. Порой это вызывало недовольство Харуна, с подозрением наблюдавшего за процессами национального подъема в иранских провинциях империи. В условиях возрождения сасанидских государственных традиций и придворного церемониала Бармакиды служили при халифском дворе как бы живым воплощением былого иранского блеска. Их богатство, щедрость и великодушие снискали симпатии современников, что часто вызывало в душе халифа чувство досады. И хотя Бармакиды полностью предоставляли свой административный талант в распоряжение халифа, в сознании Харуна постепенно созревала мысль о том, что, исходя из его политических целей и для защиты личной самодержавной власти от возможного посягательства могущественного рода, ему следует избавиться от Бармакидов. Подобно аль-Мансуру и аль-Махди, Харун ар-Рашид более всего опасался Алидов и вел за ними постоянное наблюдение. Он принял ряд мер, чтобы пресечь выступления Алидов против правящей династии. Один из Алидов, Йахья ибн Абдаллах, брат Мухаммада ибн Абдаллаха, в свое время поднявшего восстание против Аббасидов и погибшего в сражении с войском Исы ибн Мусы в 762 году, попытался создать в 792 году в Дайламе и Табаристане независимый эмират. Его поддержал через своего посланца Бармакид аль-Фадл. Позднее аль-Фадл от Йахьи отрекся и посоветовал ему сдаться халифской армии. Йахья получил от Харуна обещание безопасности (аман), но после приезда в Багдад был заключен в тюрьму, где и умер.
В дальнейшем аль-Фадл также вел себя довольно двусмысленно и независимо по отношению к Алидам. Когда Муса аль-Казим из Хусайнидов, ставший позднее седьмым шиитским имамом, был передан в его руки для наказания, он, вопреки воле Харуна, обращался с ним уважительно, хотя Муса был обвинен в изменнических намерениях. Терпимая политика Бармакидов по отношению к Алидам вызывала недовольство Харуна. В гневе он даже лишил аль-Фадла всех полномочий и отстранил его от власти. Аль-Фадла спасло лишь заступничество его отца Йахьи и то обстоятельство, что, испугавшись, он сам отдал приказ о казни Мусы. Тем не менее еще за четыре года до окончательной расправы с Бармакидами аль-Фадл был посажен под домашний арест. Это был первый сигнал усиливающейся враждебности халифа к пользовавшемуся уважением во всех слоях общества роду.
В 790 году умерла покровительствовавшая Бармакидам мать халифа – Хайзуран, и Харун получил большую свободу действий в управлении страной. Поскольку сыновьям Йахьи – аль-Фадлу и Джафару было поручено воспитание наследников престола, Харун, видимо, опасался, что после его смерти они могут возглавить государственную политику. Однажды ночью в 803 году Харун неожиданно приказал схватить и казнить своего советника Джафара, а вазира Йахью и его второго сына аль-Фадла бросить в тюрьму, где они и умерли. Нет сомнения в том, что Харун давно готовил эту операцию и неожиданной она показалась лишь людям, слабо осведомленным в придворной кухне. Жестокая расправа над Бармакидами, так поразившая современников, была следствием давно назревавшего конфликта.
Традиция сохранила образ Бармакидов как людей щедрых и великодушных, покровительствовавших ученым и поэтам. Они стали легендарными персонажами средневекового фольклора, сказок и новелл «Тысячи и одной ночи», как и сам Харун ар-Рашид, хотя образ халифа в народной литературе существенно отличается от своего реального прототипа. Преемником Бармакидов явился некий аль-Фадл ибн ар-Рабиа, сын одного из хаджибов (привратников) аль-Мансура. Это был завистливый интриган, сыгравший, видимо, немалую роль в падении Бармакидов. Его место при Харуне было значительно скромнее, ибо халиф сам решал важнейшие государственные дела. Факт выдвижения нового помощника лишний раз свидетельствовал о том, что ни один из халифов Аббасидской династии не был в состоянии управлять страной без хорошо подготовленной администрации и чиновников из мавали.
Внешняя политика Аббасидов не была столь активной, как политика Омейядов. В отличие от предшественников Аббасиды не предпринимали больших завоеваний. Только как бы по инерции, чтобы не допустить проникновение китайцев в Среднюю Азию и желая удержать эту богатейшую провинцию в своих руках, они предприняли поход на восток. В 751 году мусульманская армия сразилась с китайским войском династии Тан и ее тюркскими союзниками у реки Талас. Китайцы потерпели поражение, и многие китайские пленные были угнаны в Самарканд. Среди них были мастера по изготовлению бумаги; к 800 году это искусство проникло в Багдад, где бумага вскоре заменила дорогостоящий пергамент во всех сферах делопроизводства и культуры.
Во времена Харуна ар-Рашида Аббасидское государство считалось одним из могущественнейших в тогдашнем мире. Нет возможности выяснить причины отправки Карлом Великим двукратных посольств ко двору халифа, но известно, что их результатом было получение Римской церковью некоторых привилегий в Иерусалиме. Дружеские отношения двух правителей скреплялись общей неприязнью к омейядской Испании. Эти посольства дали повод Харуну отправить Карлу Великому ряд ценных подарков, среди которых, согласно легенде, фигурировал и слон.
Иначе складывались отношения Харуна ар-Рашида с Византией. Война с Византией в Северной Сирии, Анатолии и Иране при первых Аббасидах носила характер взаимных набегов с захватом добычи и угоном пленных, но не приводила к крупным завоеваниям. Харун ар-Рашид пытался активизировать военные действия. Еще когда он был наследником, отец поручил ему проведение ряда военных операций, в чем ему помогали Бармакиды Йахья и Халид. Придя к власти, он сначала довольствовался лишь защитными мерами и восстанавливал разрушенные крепости вдоль границ с Анатолией.