宗泽去世后，宋朝失去了一位领导抗战的忠臣，汴京的防务由杜充接任，岳飞也归杜充领导。
杜充是一个治军无方、残酷而无谋、贪生怕死的家伙，与黄潜善等人其实是一丘之貉（he）。他在担任大名府留守之时，便无所作为。黄、汪等人将他调往汴京，是为了让他反对宗泽的抗金之道，为同金朝妥协创造条件。杜充很自觉地做到了这一点。
杜充来到汴京后，把宗泽收复失地的战略计划完全抛弃了，毫不理睬两河的抗金义士，并拒绝支援他们，致使一些抗金态度一向坚决的义军被金兵镇压。其他未被镇压的义军也不对杜充抱有希望，而相继脱离抗金前线，或拥兵自保，或转移南下。宗泽苦心经营的防务体系瞬间瓦解了。
此时的南宋朝廷正密谋与金国议和。黄潜善对高宗说，与金囯议和应该有诚意。但具体是什么诚意，黄潜善没说明。
宋高宗赵构想了许久，终于明白“诚意”二字的含义。于是，赵构不知廉耻地去掉皇帝尊号，改用康王的名义给金兵前线指挥官粘罕写信，用非常谦卑的语气说，宋朝现在已经处在坚守没有精兵强将、撤退没有地方可去的境地，乞求粘罕不要再追赶了。粘罕见赵构如此无能，便更加放心地发动大举进攻。
岳飞从淮河流域返回汴京后，以为从此可以全力抗金，实现自己以身报国的志向了。不料刚到汴京，杜充就让他跟随自己南下。
岳飞十分不满杜充的这一决定，他知道，部队一撤走，就意味着放弃汴京，也就是说，又将有大片的美好河山葬送于金人之手。他按捺不住自己的不满，义正词严地对杜充说，中原之地，一定要寸土必争，况且汴京是大宋的第一京城，放弃汴京对全国抗金形势的影响非同小可。并且说，放弃容易，收复难，若要收复汴京，恐又将牺牲几十万人的性命啊。
杜充毫不理眯岳飞的规劝，反而命令他立即率师南下。在杜充的威逼之下，岳飞违心地跟随着浩浩荡荡的人马南撤。金兵不费吹灰之力就占领了汴京，此时南宋已失去了半壁江山。
杜充威逼着岳飞和他一起南下，一直跑到建康才停了下来。在留守建康的日子里，岳飞回顾自己投军三年经历，先后跟随过七名主将，在抗金战场上，始终是出生入死，浴血奋战，然而换来的不是北进，而是不断的南撤。因此，他的心情很是沉闷。
由于岳飞对高宗等人的投降路线认识得还不是很清楚，以致认为宋军的节节失利，都是由于将领的指挥不当造成的。他甚至抱怨自己不该做一个偏将，倘若当上大将，就可以指挥千军万马，跨过长江，杀过黄河，赶走残暴的金军，迎还“二圣”。
而现在，他屈居下僚，受命于人，英雄无用武之地，只能徒唤奈何了。
