Невзирая на то что программа Карла Дима нашла поддержку не только в министерстве труда, но и в военных кругах, в частности в министерстве по делам рейхсвера, она так и не была принята. Причин этого может быть несколько. С одной стороны, внутри самой национал-социалистической партии началась борьба между отдельными личностями и группами, которые стремились занять ключевые позиции в государстве. Карл Дим сделал неверную ставку. Он предпочел опираться на рейхсвер, в то время как верх одержало Имперское министерство внутренних дел, возглавляемое национал-социалистом Вильгельмом Фриком. С другой стороны, причина могла крыться в самой личности Карла Дима. Со своими консервативно-националистическими взглядами он считался представителем ушедшей в прошлое политической системы. Однако в начале 1933 года представители консервативных кругов все еще верили в то, что смогли бы в перспективе «приручить» Гитлера, ограничив его диктаторские притязания. Реакция национал-социалистического руководства на подобные попытки была предельно жесткой.
Уже к середине 1933 года все важные должности и посты в политической и общественной сфере были заняты исключительно национал-социалистами. Спорт не был исключением. Только так можно объяснить то, что контроль над спортивной жизнью Германии был поручен ранее никому не известному выходцу из СА Гансу фон Чаммеру.
Однако Карлу Диму нельзя отказать в настойчивости. Он решил продолжить свою деятельность даже после того, как оказался распущен Немецкий имперский комитет физической культуры. Он смог сыграть на слабостях Чаммера, который не имел достаточных организационных навыков в сфере спорта. Выполняя свои прежние функции, но уже в аппарате Имперского комиссара по вопросам спорта, Дим не только сохранил свою зарплату, но и смог «укрепить» свою репутацию в среде «революционных» национал-социалистов. Поскольку имперский комитет прекратил свою деятельность, то его место должна была занять новая организация. На некоторое время таковой стал «Имперский союз руководителей немецкого спорта», который был учрежден 12 июня 1933 года. Однако это была переходная организационная форма, главная задача которой заключалась только в том, чтобы подготовить полную реорганизацию и унификацию немецкого спорта, что должно было сопровождаться созданием новой имперской организации. Членами «Имперского союза руководителей немецкого спорта», как правило, были люди, до этого работавшие в составе имперского комитета физической культуры. Однако подбор был поручен лично Чаммеру, а кроме этого все члены «Имперского союза» (кроме самого Чаммера) не имели права принимать решения, они обладали лишь правом совещательного голоса. Однако внедрение «фюрер-принципа» в область спорта поначалу мало что изменило. Канцелярия бывшего имперского комитета стала канцелярией имперского союза, почти не изменился и состав технического персонала. Неделю спустя после создания «Имперского союза руководителей немецкого спорта» Карл Дим уже претендовал на должность генерального секретаря этой организации.
Однако в последующие полгода Диму пришлось сосредоточиться совершенно на иных задачах. Во-первых, он вынужден был решать множество проблем, связанных с подготовкой Олимпиады. Во-вторых, его ожидала трехмесячная командировка в Турцию, в которой Карл Дим по поручению имперского правительства выступал в качестве консультанта. Теперь ему приходилось применять национал-социалистические принципы — вождизм, унификация и ориентация на военную службу — уже при организации спортивной жизни в этой восточной стране. В силу того что Дим постоянно находился в иностранных разъездах, он фактически был отстранен от принятия важнейших решений по вопросам организации немецкого спорта. Несколько позже критики из числа догматичных национал-социалистов поставят Диму в упрек, что тот «не сумел наладить живой контакт с имперским руководителем спорта[1]». Словно желая опровергнуть эти упреки, Карл Дим в личных беседах выражал полную солидарность со всем, что заявлял Ганс фон Чаммер. В записях управления физической культуры Имперского министерства внутренних дел значилось: «Он в любое время был готов предоставить себя в распоряжение Имперского руководителя спорта в качестве личного консультанта». Сам же Чаммер вовсе не намеревался отказываться от помощи, которую мог предоставить ему Карл Дим. Едва ли бывший штурмовик мог обладать столь же широкими связями в области спорта, как бывший генеральный секретарь имперского комитета физической культуры. Компетентность Карла Дима едва ли кто-то мог оспорить.
23 января 1934 года был учрежден Немецкий имперский союз физической культуры. Однако это было сугубой формальностью, так как структура организации не была четко прописана, а сфера ее деятельности, как и прежде, оставалась размытой. В этой ситуации Чаммер остро нуждался в поддержке со стороны квалифицированных специалистов, а потому советы Карла Дима, который выражал лояльную готовность к сотрудничеству, оказались как нельзя к месту. К слову сказать, итоги деятельности Ганса фон Чаммера были более чем неутешительными: прошел почти год, как он был поставлен во главе немецкого спорта, а конкретных результатов так и не удалось добиться. В итоге на заседании Немецкого имперского союза физической культуры, которое состоялось 9 марта 1934 года, Чаммер рекомендовал ввести в состав организационного комитета союза «бывшего генеральною секретаря имперского комитета». Карлу Диму было поручено налаживать связи с многочисленными спортивными объединениями, что по сути своей являлось основой для предстоящей реорганизации немецкого спорта.
Две недели спустя Чаммер созвал первое заседание организационного комитета имперского союза физической культуры. На этом мероприятии обсуждался проект программы действий, которая была составлена Димом. Тот в частной переписке со спортивным педагогом Эрихом Харте не без гордости отмечал, что программа была написана всего лишь за три дня. В предложенной программе Дим пытался продолжить линию политики, которую он проводил ранее в имперском комитете физической культуры. В частности, это выражалось в попытках сохранить самостоятельность некоторых из спортивных объединений. Но все это сопровождалось политическими заявлениями, в частности требованием национал-социалистического воспитания спортсменов. Более того, Карл Дим задумал создать нечто вроде спортивного «министерства пропаганды», которое должно было целенаправленно заниматься прославлением немецкого спорта. Однако про самостоятельность некоторых из объединений и отдельных спортивных организаций можно было сразу же забыть. Этот пункт был исключен из программы действий. В изрядно переработанном виде она была оглашена 27 июля 1934 года на торжественном мероприятии, которое было преподнесено публике как учредительное собрание Немецкого имперского союза физической культуры.
Национал-социалистическое руководство было довольно работой Карла Дима, на что указывает несколько обстоятельств. 28 апреля 1934 года был продлен трудовой контракт между Карлом Димом и имперским союзом, который с марта 1934 года рассматривался как правопреемник имперского комитета физической культуры. Поначалу заработная плата Дима сократилась с 18 тысяч до 12 тысяч рейхсмарок. Однако по мере подготовки к Олимпийским играм она была вновь восстановлена в прежнем объеме. С этого момента в своей деятельности Дим подчинялся исключительно Имперскому руководителю спорта и Имперскому министерству внутренних дел.
