转年到了1254年，退场的势头也没有停下来。

5月，病了几天的康拉德去世了。来到意大利后的两年中，他开展了一系列令人刮目相看的军事行动。但他得上了疟疾，刚满26岁便死去了。

教皇方面广泛散布他是被曼弗雷迪毒死的说法。尽管没有人知道确切病名，但研究家也说，对腓特烈，教皇方面都会散布说他是曼弗雷迪用枕头捂死的，这次也只是故伎重演。

首先，嫡出兄长死后最为难的是曼弗雷迪。曼弗雷迪12岁前一直是庶子。直到10年前母亲比安卡成为正妻后他才成为嫡子。在中世纪基督教世界里，嫡庶有着巨大的区别。尤其在绝对不承认庶子成为国王的罗马教皇毫不掩饰其敌意的这个时期，曼弗雷迪毒杀康拉德是完全没有任何好处的。

康拉德死后，曼弗雷迪改变了对教皇的策略。康拉德一味强硬，曼弗雷迪则改用了相互妥协靠近的策略。皇帝的两位嫡子死后，曼弗雷迪只有一个愿望，就是他只要把腓特烈从其母亲那里继承下来的世袭遗产、由意大利南方和西西里岛组成的西西里王国继承下去，德意志和意大利北方都可以不要，只要诺曼王朝时代的“西西里王国”就好。在他看来，这样一来，一向不喜欢由一个君主统治德意志和意大利南方的罗马教皇也没有反对他的理由了。

康拉德死后两个月，22岁的曼弗雷迪和大他8岁的安提俄克的费德里科一起，造访了教皇逗留的阿纳尼城。教皇英诺森四世在和腓特烈的两个儿子会谈时没有明确表态。但是，两个月后的9月，教皇宣布开除曼弗雷迪的教籍。

理由是“西西里王国”的正统国王应该是康拉德的遗子，曼弗雷迪没有任何权力却把王国拿到了手中，单凭这一点就应该开除他的教籍。然而，教皇却找理由阻止两岁的康拉丁前往意大利。他优先考虑的是斩断在意大利的霍亨斯陶芬血统。教皇的这个想法已经不是秘密。

这一年的12月，教皇英诺森四世去世。5天后，教皇亚历山大四世登基。曼弗雷迪把希望寄托在这位新教皇身上，再次开展了接近教皇的策略。新教皇对腓特烈及其儿子们的憎恶似乎没有前任那么强烈。

可是，1255年过去了，情况也未见好转，现状并没有改变。到了1256年4月，哥哥费德里科战死，年仅32岁。在意大利语中，费德里科这个名字与父亲同名，所以腓特烈的这个儿子多被称为“安提俄克的费德里科”。他毫无芥蒂地接受了庶出的身份，从父亲在世时就出色地完成了他交给自己的重要任务。父亲去世以后，他仍然不惜与小他8岁的弟弟亲密合作。曼弗雷迪才24岁，他失去了比任何人都靠得住的支柱。