与英国的联盟并没有为路德维希四世增添新的政治砝码，反而导致新的国际政治势力渗入到德意志的王位之争中。1339年秋季，英国人进入法国的北部，波希米亚的国王与法国站在同一战线。1340年6月，法国军队在康布雷与入侵的英国军队遭遇，受到重创，法王菲利普六世转而请求德意志国王为其进行调停，路德维希四世把这看做是缓和与教皇关系的一个契机，希冀以此解除教皇对其绝罚。他单方面撕毁与英国的盟约，宣布剥夺爱德华三世在莱茵河左岸全权代理皇权的权利，并于1341年初与法国缔结友好条约，次年秋派遣使团向教皇提出妥协性的建议。路德维希的示好并没有达到与教皇和解的目的，无论是本尼狄克十二世还是他的继任克莱门斯六世（Clemens VI.，1290—1352，1342—1352年在位）都无意赦免德意志国王，反而态度更加强硬，不仅一再重申对他提出的诉讼，还提出了更加苛刻的赦免条件。与此同时，教皇还采取灵活的外交手段促成英法之间在1343年停战，在国际事务中赢得更多的先机。
路德维希四世在英法关系上的出尔反尔反而使他在帝国内失去原有的支持者。当他再次发出反对教皇干预的号召时不仅失去感召力，其王位也因此遭受到威胁，选侯们甚至告诫国王不能过于迁就教皇。路德维希四世一直试图与哈布斯堡家族联合起来抑制卢森堡家族势力的增长，但这两个家族却因为双方各自的利益相互妥协取得了谅解。1346年4月，美因茨的大主教菲尔内堡的海因里希三世因支持路德维希四世被教皇克莱芒六世免职，接任他的是拿骚的格拉赫（Gerlach von Nassau，1322—1371），这就在相当大的程度上削弱了路德维希四世的政治力量。5月，出身卢森堡家族的特里尔的大主教巴尔杜因公开反对路德维希四世。7月11日，美因茨、科隆和特里尔的三位大主教以及波希米亚的国王、萨克森的公爵在伦斯选举巴尔杜因的侄孙、卢森堡家族的卡尔四世（Karl IV.，1316—1378，1355—1378年在位）为德意志的国王，11月6日获得教皇的认可，26日在波恩接受加冕礼。