Лоретта была расстроена, обнаружив, что она принимала человека, совершенно отличного от того молодого весельчака, которого она встречала в доме своей матери в Париже. Его живое выражение лица, как заметила она, сменило отражение печальной меланхолии, в нем явно происходила страшная борьба с собственным самосознанием. Когда же Жюно стал убеждать его забыть американскую девицу и заключить мир с императором, Жером вспылил: «Даже при признании, что я совершил ошибку, на чью же голову падет наказание? На голову моей бедной, невинной жены! Наверное, мой брат не станет приводить в ярость чувства одной из наиболее уважаемых семей в Америке!» Затем он показал миниатюрный портрет Елизаветы. И Жюно, который недавно был влюблен в Полину Бонапарт и разочаровался в ней и которому вскоре предстояло стать жертвой ее сестры Каролины, сделал замечание о схожести этой девушки с сестрами Жерома. «Я лишь хотел бы, чтобы мой брат согласился повидать ее, — добавил Жером. — Если он это сделает, то, по моему убеждению, ее триумф станет столь же полным, как и у жены Люсьена Кристины, которую император отвергал, но в конечном счете она ему понравилась, так же как и другие его невестки». Жюно ничего не сказал на это, сознавая, что перспектива приведения в ярость уважаемой в Америке семьи не удержала бы императора от неприятия его невестки, которую он не одобрил с первого раза. Прошли те дни, когда он мог себе позволить делать лучшее из плохой работы, как это произошло с Кристиной Бойер, и это вполне подтверждалось его отношением ко второй жене Люсьена.
Жером достиг Турина 24 апреля. Он, вероятно, спешил по отвратительным дорогам Испании, так как преодолел расстояние за пятнадцать дней. Из Турина он послал жалобное воззвание к своему брату, а затем прибыл в Италию, ожидая его коронации в качестве итальянского короля. Но Наполеон отказался принимать его до того, как он даст обещание, что готов уступить. В течение одиннадцати дней Жером рассматривал альтернативу: безоговорочная капитуляция или ссылка и возможный арест как дезертира. В конечном счете, упомянув о «душевных оговорках», он сдался, и Наполеон позволил ему продолжить путь в Александрию. В письме, написанном ему из этого города, Наполеон указывал: «…в твоем поведении нет таких ошибок, которые бы не сглаживали в моих глазах твое искреннее раскаяние. Твой союз с мисс Патерсон ничего из себя не представляет и по религии, и по закону. Напиши же ей и скажи, чтобы она возвращалась в Америку. Я предоставлю ей пенсию в 60 000 франков пожизненно при условии, что она ни в коем случае не будет носить моего имени, на которое у нее нет никаких прав, поскольку ее брака не существовало. При аннулировании таким образом твоей женитьбы по твоей собственной воле я восстановлю к тебе свою дружбу и, возможно, те чувства, которые я испытывал к тебе со времени твоего детства». В тот же день Наполеон написал Элизе, а также морскому министру, информируя их обоих, что Жером признал свою ошибку и что Елизавета теперь дезавуирована.
Первые слова при встрече двух братьев, как и полагается, принадлежали Наполеону: «Ты, сир, являешься первым из твоей семьи, который позорно покинул свой пост. С твоей стороны потребуется много впечатляющих действий, чтобы стереть такое пятно с твоей репутации. Что же касается твоего любовного приключения с твоей девочкой, я игнорирую его!» Затем Жером был отправлен с морской миссией в Геную, а через несколько дней назначен капитаном 44-пушечного корабля «Помон», на котором ему предстояло курсировать в прибрежных водах в эскадре из четырех других кораблей. Дело Патерсон было завершено.
Девочка Жерома, которую по-разному именовали: то «мадам Бонапарт», то «миссис Патерсон», то «та личность», прибыла в Амстердам 1 мая, через три недели после того, как она рассталась с Жеромом в Лиссабоне. Елизавета обнаружила, что была вблизи Голландии, но бригу, на котором она плыла, было приказано стоять без связи с берегом. В течение последующих восьми дней все находившиеся на его борту фактически были узниками, пребывавшими под присмотром двух военных кораблей. Только после вмешательства американского представителя в Амстердаме бригу было позволено поднять якорь и уплыть в Англию.
Елизавету сопровождали ее брат, друг американки по фамилии Андерсон и французский доктор. Затерявшаяся компания достигла Довер-Родс 19 мая. Там никто не мешал их высадке, и паспорта были немедленно отосланы на берег. Елизавета направилась в Лондон, всячески стараясь избежать огласки, и разместилась в Камбервелле, который тогда был пригородом Суррея. Именно там в Парк-Плейс 7 июля она родила сына Жерома, ребенка, которому предстояло стать родоначальником ветви американских Бонапартов. Елизавета все еще сохраняла веру в благородство Жерома и не имела оснований отказываться от надежды на воссоединение с ним. Когда не поступило никаких писем, она пришла к заключению, что Жерома удерживал узником его ужасный брат, но когда по прошествии нескольких недель через Ла-Манш просочились новости о примирении между братьями, она восприняла неизбежное и заказала билет домой.
Ее возвращение ознаменовалось печальным спадом. В качестве красотки Балтимора Елизавета вызывала зависть у каждой женщины Америки. Теперь же, отправленная обратно как никому не нужная посылка, она стала предметом жалости и осмеяний. Наверное, бывали времена, когда она сожалела, что не утонула при кораблекрушении у берегов Делавэра. На протяжении всей ее долгой жизни она жаловалась на то, что ей было отказано во вступлении в императорский круг по государственным соображениям, но в сердце у нее оставалась горечь, которая подпитывалась оскорбленной гордостью и ненавистью, так что ее друзья и семья наблюдали, как она становилась мрачной и несговорчивой. Она ссорилась со своим отцом, который теперь заявлял, будто бы всегда был противником этого союза, а Патерсон-старший жаловался на ее непокорность его воле. Некоторое время Жером продолжал писать ей, и каждое его письмо было полно торжественных заявлений о «неизменной» преданности. «Первая моя мысль при пробуждении, так же как и последняя перед отходом ко сну, всегда касается тебя, и если бы я не был уверен, что обрету счастье воссоединения с моей возлюбленной женой, мне не следовало бы продолжать жить…» Примерно через год после их разлуки письма перестали приходить, хотя Наполеон продолжал выплачивать ей пенсию, которую обещал. Затем, когда Жером стал королем Вестфалии, он написал письмо, предлагая Елизавете княжество с ежегодным доходом в 200 000 франков, если она отдаст ему на попечение сына. Елизавета отказалась в письме, которое воздает ей честь. «Хотя Вестфалия, несомненно, является большим королевством, — писала она, — эта страна недостаточно велика для двух королев!» Такой ответ заставил Жерома замолчать на три года,
