南宋政权虽然暂时安定了下来，但外有金兵虎视眈眈，随时可能再次南下，内有各地溃兵败将组成的游寇集团和农民的反抗武装，极大中兴四将图地威胁着宋廷的统治。在这种情况下，高宗不得不抛开压制武将的祖宗家法，着意笼络重用武将。当时最有名的将领就是南渡后的“中兴四将”。其中，刘光世出身将门，其父官拜节度使，他本人早年曾随父镇压方腊起义；张俊和韩世忠都是行伍出身，靖康年间就追随赵构，在平定苗刘兵变中又都立有大功；而岳飞则是资历最浅的一位，但是在短短几年间，他的战功和威名就已超越其他诸将，绍兴四年八月，在收复襄汉六郡之后，宋廷授他为清远军节度使，地位与刘光世、张俊、韩世忠不相上下。
在南宋初年的“中兴四将”里，岳飞出身农家，年纪最轻，资历最浅。他比张俊小17岁，比刘光世和韩世忠小14岁。1129年，就是建炎三年，平定护卫亲军叛乱时，韩世忠与张俊已经官拜节度使，岳飞则是正七品的东京留守司统制。而且，张俊还曾经是岳飞的老领导，多次重用、提拔、奖励过岳飞。刘光世则是将门之后，其家世背景、资历和经历都是岳飞所不能比拟的。
高宗是在向金人求和而不得的形势下才重用武将的，其目的只是自卫，并没有北伐恢复的打算。岳飞收复的失地，实际是从金人建立的傀儡政权伪齐手中夺取的。岳飞出兵前，高宗明白他与其他将领只守不攻的作风不同，特地下手诏，告诫他只需收复伪齐所夺之地，千万不可领兵北上，触犯金人，否则就算立下战功，也定要严惩。这一纸诏书，牢牢地束缚了岳飞的手脚，加上岳家军只有不到三万人的兵力，也无力进行北伐，因此岳飞只好在收复襄汉后，率主力退守鄂州。
面对金人的进攻，高宗始终不愿放弃投降求和。尽管绍兴四年以后，岳飞、韩世忠等率军先后击败了金和伪齐的两次南侵，但高宗并不想利用这绝好时机进行北伐，宋军的战果只是为他与金朝议和提供了讨价还价的砝码。就在各地抗金斗争接连取得胜利的时候，高宗派出求和的使臣络绎不绝。绍兴七年年底，宋使王伦从金朝带来了议和条件，金朝要求南宋称臣、交纳岁币，作为交换，金朝答应废黜伪齐，归还徽宗帝后棺木和高宗生母韦氏，归还河南地。高宗得到这个消息，欣喜异常，屈膝求和的决心更加坚定，他再派王伦使金，与金朝商量具体的和谈事宜。
高宗议和的决定遭到了朝野上下的强烈反对，其中几位手握重兵的大将的意见，对于和议能否顺利签定至关重要。绍兴八年八月，高宗召韩世忠、张俊与岳飞入朝，希望说服他们，至少不反对和议。张俊向来害怕金兵，在历次对金作战中都极力避免与金兵交锋，其为人又善于逢迎，所以马上表态支持议和。而韩世忠与岳飞则坚决反对，岳飞更是对高宗明确表示：“夷狄不可信，和好不可恃，相臣谋国不善，恐贻后世讥议。”这番义正词严的话不禁使高宗对岳飞心生嫌忌。
在此之前，岳飞已经在两件大事上冒犯了高宗。这位抗金最坚决的大将个性耿直，在战场上有勇有谋，而在政治斗争中却显得缺少心计，太不善于保护自己。
绍兴七年三月，宋廷解除了“中兴四将”之一的刘光世的兵权，高宗本来答应将刘光世率领的淮西军队拨给岳飞指挥，岳飞信以为真，以为这样一来，自己兵力大增，兴奋之余，立即提出要带兵10万，出师北伐，这正犯了高宗的大忌。高宗临时变卦，拒绝将淮西军队交给岳飞。对高宗的出尔反尔，岳飞十分愤慨，一怒之下，他竟然离开本军驻地鄂州，以为母守孝为名上了庐山。在高宗看来，这种行为分明是要挟君主，但当时金兵的威胁尚在，解除岳飞兵权的时机并不成熟，因此高宗不得不再三下诏，对岳飞好言抚慰，敦促其下山。六月，岳飞返朝，向高宗请罪，高宗表示对其宽恕的同时，引用太祖“犯吾法者，惟有剑耳”的话以示警告，言语之中已经暗藏杀机。
大约就在公元1137年，有一天，岳飞与皇帝赵构谈话。君臣二人十分投机。可能是谈得兴起，岳飞突然相当莽撞地提出，希望皇帝早日解决皇位继承人的问题。此言一出，谈话的气氛立即急转直下。尽管当时正值岳飞的声望如日中天、最受信任最受宠爱之际，赵构仍然丝毫也不假以辞色地呵斥道：“你虽然出于忠心，但是，手握重兵在外，这种事情不是你所应当干预的。”岳飞的脸色当时就变了，十分尴尬。高宗的独子赵旉8年前夭亡，他又在扬州溃退时受了惊吓，失去了生育能力，但高宗时年才30岁，内心仍抱有生育的希望，此时立太子，在他看来无疑是向天下暴露其难言之隐。宋朝的祖宗家法也规定武将不得干预朝政。所以，岳飞的建议一下又触犯了两大忌讳，更加深了高宗对他的忌恨。
绍兴八年，高宗与金朝的媾和活动正紧锣密鼓地进行，文武百官的反对之声日益高涨，只有秦桧极力支持高宗议和。十一月，金朝“诏谕江南使”张通古与宋使王伦南来。金使的称号中将“宋国”称为“江南”，敌对两国互通信息，应称“国信”，金朝却称“诏谕”，显而易见，这是金人故意羞辱南宋。金人接下来的要求更令南宋臣民难以接受，金使居然要高宗跪拜受诏，奉表称臣。为了苟安偷生，高宗对此并不介意，他冠冕堂皇地表示：“只要百姓能免于刀兵之苦，朕可以牺牲自己的体面来换取和议。”然而，天子有此“美意”，臣民们却不愿“领情”，朝廷内外群情激愤，抗议运动达到了前所未有的声势和规模，临安市民甚至在街上贴出醒目的榜文：“秦相公（秦桧）是细作（奸细）！”矛头虽然是指向秦桧，实际上表达出对高宗的强烈不满。尽管高宗恼羞成怒，将反对激烈的大臣一一贬谪，但面对舆论的强大压力，他也不能不有所顾忌。十二月，高宗以为徽宗守孝为借口，由秦桧等宰执大臣代他向金使行跪拜礼，接受了金朝的国书。
高宗以为和议之事已成，从此就可以安享太平，便大赦天下，给文武大臣加官晋爵。岳飞在接到升官诏书后，当即上书表示拒绝，提醒高宗不可相信金人，并重申自己率师北伐的宏图大愿。高宗和秦桧此时对岳飞切齿痛恨，除掉岳飞的阴谋已经在酝酿之中了。
绍兴十年五月，金人撕毁和议，再次南侵，岳飞率军又奔赴抗金前线。七月，金将兀术集结大军，从开封直扑郾城，岳家军以寡敌众，大败金兵。同时岳家军乘胜追击，一直打到了距离开封只有45里的朱仙镇。
岳家军的接连胜利当然不利于高宗和秦桧与金朝重开和议，他们连下12道金字牌，催促岳飞立即班师。此时，数万岳家军由于收复失地很多，战线过长，兵力分散，而且，其他各路军队也已接到撤军的命令，张俊、韩世忠、刘锜等部陆续班师，岳飞要想在没有后方支援、缺乏友军配合的情况下，孤军深入，收复故土，实是难上加难。在形势和君命的逼迫下，岳飞违心地拒绝了两河百姓要他继续北伐的恳求，奉诏班师。退兵之日，他不禁深深痛惜自己的“十年之力，废于一旦”！这次最有希望的北伐就这样被高宗和秦桧葬送了。
绍兴十一年正月，兀术统领近10万大军卷土重来，直攻淮西。高宗命驻守鄂州的岳飞率军增援淮西，但岳飞援军尚未赶到战场，杨存中与刘锜、王德等已在柘皋大败金兵。张俊准备独吞战功，便打发岳飞等回军，不料兀术命孔彦舟回师攻陷亳州，并重创前来救援的杨存中和王德军，当岳飞率领的援军赶到时，金兵已安然渡淮北上。岳飞两次赴援淮西，成了后来秦桧陷害他的口实。
绍兴十一年四月，高宗将张俊、韩世忠和岳飞召到临安，任命张俊、韩世忠为枢密使，岳飞为副使，名为升官，实际是夺去了三大将的兵权，三将所辖军队从此直接听命于皇帝。接着，高宗和秦桧将迫害的矛头直指岳飞。七月，秦桧死党万俟卨（mòqíxiè）秉承上意，上章弹劾岳飞，他抓住岳飞曾经擅离职守、私上庐山以及没有及时应援淮西等事，大做文章，并把张俊撤除淮东防务的事情栽赃到岳飞头上。岳飞意识到自己处境险恶，上书辞职，恳求高宗“保全于始终”，能放过自己，但高宗对岳飞的厌恶由来已久，根本不打算手下留情。
在高宗看来，除去岳飞，既可以使和谈顺利进行，又能震慑其他武将，收到杀一儆百的效果，真是一举两得。因此，他不惜违背“不杀大臣”的祖宗家法，于绍兴十一年（1141）十二月二十九日，亲自下旨，以毒酒赐死岳飞，张宪、岳云斩首。
岳飞自20岁从军，到39岁被害，一生戎马倥偬，战斗在抗金的最前线，时时不忘以恢复中原为己任。他领导的岳家军纪律严明，骁勇善战，沉重打击了南侵的金兵。有人曾问岳飞，天下何时才能太平，他答道：“文臣不爱钱，武臣不惜死，天下太平矣。”的确，像岳飞这样既不蓄姬妾又不营私财的正派官员，在中国古代社会里是非常罕见的。但是，在当时的情势下，岳飞越是廉洁正直，高宗和秦桧对他就越是忌恨，必欲除之而后快。一代抗金名将最终不是牺牲在战场上，而是死于自己所保卫的朝廷之手，不禁令后世之人对他更生无尽的痛惜和由衷的崇敬之情。
