刘光世是南宋初年“中兴四将”之一，他创立了淮西军。金军大举南侵的时候，他曾和韩世忠等一同防御江南，立下了汗马功劳。南宋政权稳定下来之后，他厌倦了刀头舔血的戎马生涯，统帅的五万大军也成了“军律不整”的骄兵悍将，朝野上下颇有怨言。刘世光早就看透了高宗的意图，因此赵构还没有开口，刘世光便上书称自己身体不好，希望能安排一个闲职。赵构赏赐给他一些珍宝古玩，刘光世津津有味地把玩到了后半夜。这让高宗十分满意。
但是，刘光世麾下士兵众多，训练有素，让谁来接手这支军队呢？
这时，宋高宗想到了岳飞。一些重臣也都上书表示岳飞是最佳人选。不久，高宗就收到了刘光世自请解除军务的奏折。高宗没有做什么挽留，就同意了他的请求。
随后，高宗给刘光世的部下王德等人写了一道御札，信中说道：“希望你们听从岳飞的号令，就好像是我发布的命令一样！”
这些行动岳飞都已经知道了。素以收复失地、恢复中原为志的岳飞欣喜异常。他每次北伐，都因兵力不足，而成为局部战役。刘光世的部队兵马是自己的两倍，如果真能将这两支军队合并一起，则可大展宏图，收复中原的宏愿更容易实现了。
伪齐的刘豫政权，由于两次南征均以失败告终，士气低落，人心涣散，这正是南宋大举反攻的好时机。
岳飞怀着激动的心情，畅想着美好的前景。为了收复中原一事，他不停地给高宗写奏章，阐述了他对如何收复失地的想法。
高宗阅读了奏折之后，心中也十分高兴，但是高兴归高兴，高宗还有一定的顾虑。岳飞作为一介武将，已经掌握了五分之三的兵力，这不得不让高宗忌讳。在高宗的内心深处，是十分的惧怕武将们权利过于强大的。想当年，宋朝的开国皇帝就是以武将的身份，发动了政变，当上了皇帝，而为了解除后患，又采用“杯酒释兵权”的办法削了一部分武将的兵权，才安安稳稳地做起了皇帝。因此对武将的防范和猜忌，就成了赵宋代代相传的家规。
狡猾的宰相张浚和秦桧就是利用高宗的这个心理，以历史来提醒高宗，不要忘记列祖列宗的教训，免得犯错。他们的目的就是让高宗明白，如果给岳飞太多的兵权，有朝一日岳飞权力达到了顶峰，功盖天下，而一旦起了谋反之心，那么想后悔也来不及了。
因此虽然高宗已经给王德等人颁发了御札，也命令他们要听从岳飞的安排，虽然张浚也已经把刘光世的将军、士兵、人马列了清单，等待岳飞接手，可最关键的一点，朝廷始终没有用皇帝的名义给岳飞一道明确的公文，让他去收编刘光世的军队。
只要没有明确公文，岳飞就不能名正言顺地去收编刘光世的军队，如果岳飞贸然前去说不定还会被扣上一个拥兵谋反的罪名。
朝廷中的很多文武大臣也向高宗上奏，说：“既然罢免了刘光世就不应该使用其他的大将，免得将来难以驾驭这些武将。”于是高宗决定依然把刘光世的军队作为一支独立的部队，把王德提升为都统制而归都督府，即由张浚直接统领。
于是高宗亲自给岳飞写信说：“淮西合军，又很多不方便之处，之前我虽然已经写信给王德提起这件事情，但是你必须要得到朝廷的公文，才能够统领刘光世的军队”。高宗的意思很明白了，他希望岳飞放弃合并军队这个念头。赵构为自己的聪明而高兴，他委婉地取消了成命，然后，让张浚处理善后。张浚将岳飞召到都督府，在这两位坚定的、实际上志同道合的主战派战友之间，发生了一次给历史留下深刻遗憾的谈话。
张浚装作不知道高宗之前有意任命岳飞接收刘光世的军队，征询岳飞的意见说：“淮西的士卒们都很服气王德，因此非常拥护王德作为新一任的统领。你认为如何呢？”
岳飞听了之后，知道事情发生了变化，但还是很客气地回答说：“王德和郦琼素来互不服气，这种安排必导致二虎相争。吕祉虽是通才，毕竟是书生，不习军旅，恐难服众。”
这时候张浚又问道：“那你觉得张俊如何？”岳飞回答：“张宣抚性子太暴躁，缺少谋略，尤其郦琼会不服。”
这时候张浚已经十分不满了，但他还是忍住没有爆发，而是拉长了脸问：“那么你觉得杨沂如何？”
岳飞回答说：“杨沂虽然勇猛，但是他和王德差不多，又如何能够驾驭得了这支部队？”张浚终于忍不住了，说出了一句相当伤人的话：“我就知道非太尉你来不可。”
这句话刺伤了岳飞，岳飞当时也十分恼怒，于是说道：“都督您正儿八经地问我，我不敢不据实回答。难道我是为了图谋这支部队吗？”
事情已经到了这个地步了，但是岳飞还是没有死心，他还是把并军的事情寄托到高宗的身上。于是他面见高宗的时候，再次提出请求并军，高宗默默地听着，最后淡淡地问了一句：“照你这么说，什么时候才能收复中原？”
岳飞回答：“大概要三年时间吧。”
高宗听了，十分不愉快地说：“我现在在建康，倚靠的是驻守淮南的军事力量。假如抽调刘光世的部队能平定中原，我当然会把这支军队给你。但是要是因为调动了刘的军队，不但不能恢复中原，反而把淮南这一块地给丢掉了，到时候连建康和临安都岌岌可危，你能担负起这样的责任吗！”说罢，拂袖而起。
岳飞看高宗满脸怒色，知道并军之事已成定局，只好默默退下。
不久，南宋朝廷明确宣布，把原刘光世所率领的部队分为六支军队，接受都督府的领导，并且由王德担任训练诸将军马的任务。
听到消息，岳飞难掩失望之情，岳飞开始了思索，一串串的疑问涌上心头，搅得岳飞心里乱糟糟的。他想起当年，收复襄阳六郡时朝廷不许越出界线一步，攻打伊、洛时不许渡河深入，而此时正当收复国土的大好时机，却又毫无理由地要收回兵权，分散兵力，这一切看似是偶然或是无意的，但其实是别有用心啊。
岳飞对高宗的出尔反尔，异常愤慨，于是上奏请求解除军务。理由是自己与宰相张浚意见不合，没有办法一起共事，当然实际理由并不是这一点，岳飞此举是为了表示对高宗的强烈不满。按当时的封建礼法制度，臣僚提出辞呈，必须要先经过皇帝的首肯，才能够离职。但是岳飞在极度愤怒下，不经皇帝许可，只对随从把军中机密作了一番交代后，就满怀悲愤地离开了建康，奔向庐山东林寺，给亡母姚氏守孝，尽一番孝心。岳飞这一近乎惊世骇俗的“抗上”行为，反映了他刚烈的性格。
岳飞的擅自离职激怒了宰相张浚，《宋史》记载，此后张浚多次上奏弹劾岳飞：“岳飞处心积虑，一心想兼并别人的部队。此次辞职，真实意图是要挟皇帝。”这种不负责任的弹劾，具有极其可怕的杀伤力，岳飞陷入险恶的漩涡中。像狐狸般狡诈的秦桧，竖起两只耳朵，一边倾听高宗的动静和意向，一边也极度热情地支持张浚，一心想整垮岳飞。
岳飞的举动，也令高宗大为震怒。他对岳飞的猜疑也更加重了，但是在众大臣婉转地劝说下，加上和谈还没有获得成功，在军事上还要依靠岳飞，所以权衡利害得失，他按下了心头怒火，派都督府参议军事张宗亢带领岳家军，稳住岳家军。
张宗亢是宰相张浚的心腹，他原来就对岳飞怀有很深的敌意，接旨到达鄂州后，着手统领岳家军。
岳家军对此感到非常担忧，人人心中慌乱，都说：“如今我们已经换了一个统帅，岳相公恐怕是再也回不来了。”后来又由因病告假的张宪出来主持军务，详详细细地向军中各大小将领解释派张宗亢来岳家军的原因，费了好大一番口舌才将全军将士的军心稳定下来。
张宗亢看到岳家军严明的军纪，雄威的军容，昂扬的士气，不禁消解了对岳飞的敌意，从心底对岳飞产生了深深的敬意，禁不住长叹一声：“岳帅果真治军有方啊！”从此尽心尽力地操持着军务。
从后来的历史发展来看，我们不难看出实际上高宗当时确实已经失去了对岳飞的信任。在中国的历史当中皇帝只要开始不信任自己的大将，那么接下来的事情就剩下诛杀了，岳飞最终也没有摆脱这种命运。
岳飞当时可能是想以赌气的方式引起高宗的重视，高宗却视而不见，但是当时朝廷确实需要岳飞这样的人才，于是高宗写了一封御札，要求他复出。接到皇帝的书信，岳飞仍然不肯回到军营。但是他还是只字不提自己和张浚不合的事情，只是说要为母亲守丧尽孝。
接到第二道御札，岳飞还是不肯遵循皇帝的指示，而是写给高宗第三道奏疏，声明自己的志向在于收复开封，此外并没有其他任何的野心，希望高宗能体恤他。
高宗这回仍然是退回原奏书，并写了第三封御札，说：“我知道你的用心，也很感谢你为国家社稷操持。你是大臣，应该有所担当容忍。”
为了让岳飞复出，朝廷又派鄂州宣抚使司的参议官李若虚和统制王贵，让他们到庐山去请岳飞返回鄂州，要是岳飞再违抗朝廷的命令，不肯回军，就连李若虚、王贵都要一起以军法处置。李若虚等人来到庐山东林寺。岳飞心中的怒火还是没有消除，坚持不肯下山。一直僵持到第六天，李若虚说：“难道你想造反吗？难道让你出来不是好事吗？你坚持不干，朝廷怎么会不怀疑你？想想看，你不过是农夫出身，受天子委托，掌握这么大的兵权，你是不是觉得可以和朝廷抗衡了？如你坚持不复出，我们二人受刑死掉，应算是再没什么对不起你了吧？可你一点都不觉得有愧于国家吗？”
在李若虚和统制王贵苦口婆心的劝说之下，终于岳飞同意和他们一起下山了。
岳飞来到了建康，三次向赵构谢罪，这时，张宗元从鄂州的岳家军营中回来，他告诉高宗：岳家军将领和士兵们都互相友爱，训练有素，人人心中怀着忠孝，这都是岳飞治军有方啊！高宗虽然不满岳飞个人的行为，但是听到岳家军对自己是忠心的，心中自然是高兴的。为了稳住岳飞，高宗告诉岳飞，自己并没有处罚他的意思，只要他能重新回到军中，为国效力就好。
赵构的话说看似不软不硬、实则杀机四伏。一般说来中国古代皇帝在对付他们心中的异己时，很少有手软的。岳飞作为一介武夫，让自己低下头来再三的请求下山，已经违背了君臣之德，但是因为暂时需要人才，所以才忍了下来，后来发生的一切表明，赵构也是如此。
公元1138年，南宋已正式定都临安。岳飞回去后，又上奏道：“临安靠近长江上游建都，亲率六军，监督作战，那么每个士兵都能知道您的心意，每个人必定会拼尽全力啊！”
赵构以手诏回复，表示欣赏岳飞的忠诚，“恢复之事，朕未尝一日敢忘于心”，就同意了岳飞单独北伐。于是，岳飞提起精神，厉兵秣马，准备出击。但是在这个时候淮西兵变爆发了，岳飞梦想收复大好河山的计划再一次被推迟了。实际上高宗早已经受够了岳飞，但是自己目前的地位只能靠岳家军来维护，因此他不得不采取安抚岳飞的办法，让岳飞再次为自己卖命效力。
