这样，在形势和君命的双重压迫下，岳飞违心地拒绝了两河百姓要他继续北伐的恳求，下令撤军。退兵之日，岳飞悲愤交加，仰天长叹道：“十年之功，毁于一旦！所得诸郡，一朝全休！社稷江山，难以中兴！乾坤世界，无由再复！”当地人民纷纷上前拦住岳飞的马，说：“我们顶香盆，运粮草，迎接官兵，金人都知道，将军走后，我们还能活吗？”岳飞取出宋高宗的诏书给大家看，说：“我不得擅留！”百姓无不失声痛哭，岳飞也悲痛地流下了眼泪。
十二道金牌事件，既反映了宋高宗不求进取、无心迎回父兄的心态，也表明了他担心岳飞就此立下盖世奇功，将来会功高盖主。在他心中，对岳飞的嫌隙早已经种下了。而单纯的岳飞还恍然不知。他不满朝廷下金牌召他回师之事，气愤之情多次溢于言表。
绍兴十一年（1141年）正月，金兀术统领近十万大军卷土重来，直攻淮西。宋高宗命驻守鄂州的岳飞率军增援淮西，但岳飞援军尚未赶到战场，杨存中与刘锜、王德等已在柘皋大败金兵。张俊准备独吞战功，便打发岳飞等回军，不料金兀术命孔彦舟突然回师攻陷亳州，并重创前来救援的宋杨存中和王德军。当岳飞率领的援军赶到时，金兵已安然渡淮北上。
岳飞两次赴援淮西，行动都迟缓了一些。据说第一次是当时他正患感冒，第二次则是因为军队乏粮，这对素来以用兵神速著称的岳飞而言，实在不是特别过硬的理由，因而有人猜测这是性格刚直的岳飞是在借机发泄对宋高宗阻挠他继续北伐的不满情绪。不管岳飞的真实心意如何，这件事在后来成为了秦桧陷害他的有力口实。
宋朝自宋太祖开国以来，武将地位低微，“重文轻武、以文制武”成为宋朝制度的最大特点。然而，从北宋末年金军攻宋开始，宋金战争激烈频繁，金军铁骑纵横大江南北，南宋朝廷出于现实生存的需要，不得不格外倚重武将，这也是宋朝立国以来从所未有的事，但对武将的疑忌和防范并没有根除。
淮西之战后，宋高宗、秦桧为扫清和议障碍（据说金兀术提出的议和条件之一就是杀岳飞），将张俊、韩世忠和岳飞召到临安，任命张俊、韩世忠为枢密使，岳飞为副使，名为升官，实际是要削夺三大重将的兵权。并且三大将的宣抚司一齐废罢，宣抚司中原有统制官各统所部，自为一军，一律在其军衔上加“御前”二字，表示三将所统率的军队从此直接听命于皇帝。结果，三大将全部都俯首听命，乖乖地交出了兵权，以实际行动表示了对皇帝的忠心。
这样，在没有引起任何事端的情况下，宋高宗赵构使用明升暗降的手法，解除了韩、张、岳三大宣抚使的统兵权。但是还有更大的阴谋，秦桧还要对坚持抗金最力的韩世忠、岳飞进行陷害。
矛头首先指向了韩世忠。胡纺首先向秦桧秘告，韩世忠亲校耿著企图鼓动兵变，以迎韩世忠回楚州重掌军权。秦桧立即逮捕耿著并严刑拷打，阴谋以此陷害韩世忠。刚好此时岳飞奉命前往楚州（今江苏淮安）检阅韩世忠的军马，他发现韩世忠大军声名如此卓著，却不过三万人，为诸大将中最少者，不由得对韩世忠钦佩有加。也就在这一次阅兵时，岳飞意外得知耿著的冤狱，当即派人飞报韩世忠。韩世忠立即上书宋高宗，请求告老还乡。由于他曾在危难之间救过宋高宗，最终宋高宗放过了他。韩世忠罢枢密使后，以醴泉观使、奉朝请，“自此杜门谢客，绝口不言兵，时跨驴携酒，从一二童奴游西湖以自乐，平时将佐，罕得见其面”。
秦桧陷害韩世忠的阴谋因为岳飞而落空，从此对岳飞更加忌恨，一张针对岳飞的罗网悄悄张开了。御史中丞何铸、右谏议大夫万俟卨和殿中待御史罗汝楫三人受到秦桧指使，出面弹劾岳飞“志满意得，日以颓惰”，还将淮西之战中岳飞迟缓说成“稽违诏旨”。宋高宗认可了弹劾岳飞的奏章，由此可见他内心深处支持秦桧铲除岳飞。岳飞深以为惧，提出辞职，宋高宗趁机下诏免去了岳飞的枢密副使之职。
秦桧一伙随后又伙同张俊收买岳飞部将王贵部下的副都统制王俊，指使王俊诬告张宪、岳云谋反，说张宪曾经写信给岳飞劝进，将张宪、岳云逮捕下狱。秦桧又派杨沂中到庐山把岳飞诱骗到临安，以谋反罪名下狱。岳飞长叹道：“我方知已落秦桧奸贼手中，使我为国忠心，一旦都休！”其实，这固然是秦桧的阴谋，但更是宋高宗的阴谋。
据说金兀术曾提出“必杀岳飞，而后和可成也”的条件，这有可能是真事，也有可能是秦桧编造出来的谣言，目的只是敦促宋高宗下定除掉岳飞的决心。宋高宗下令举办诏狱，由御史中丞何铸出任主审官。何铸之前虽然受命弹劾岳飞，但在审讯过程中看到岳飞背上由母亲亲手刺上的“尽忠报国”四个大字，深入肤理，深深感动，顿时天良发现，转而力辨岳飞无辜。秦桧说：“此上（指宋高宗）意也！”可见宋高宗早已经有铲除岳飞之意，甚至不惜制造冤狱。
何铸听了很是痛心，叹息说：“强敌未灭，无故戮一大将，失士卒心，非社稷之长计。”秦桧大怒，改命万俟卨审讯。岳飞历来鄙视万俟卨为人，万俟卨正好挟私报复。岳飞等坐狱两月，秦桧、万俟卨仍找不到任何证据，但还是要以谋反罪处死。大理寺卿薛仁辅、寺丞李若樸、何彦猷皆言岳飞无罪，认为只能判岳飞两年徒刑。
一直以明哲保身为原则的韩世忠也忍无可忍，质问秦桧岳飞到底犯了何罪。秦桧回答说：“飞子云与张宪书虽不明，其事体莫须有。”韩世忠悲愤地说：“相公，‘莫须有’三字，何以服天下乎？”他见事情不可挽回，对南宋朝廷彻底绝望，从此隐居于西湖，每日以饮酒纵游为乐，不再问政事，十余年后死去。临终前，对看望他的人说：“吾以布衣百战，致位王公，赖天之灵，保首领没于家，诸君尚哀其死邪。”对岳飞遭秦桧陷害一事犹念念在心。
关于岳飞的罪名“莫须有”三字的意思，历来众说纷纭：有人认为是“或许有”；有人认为是“肯定有”；有人认为是“难道没有吗”（李敖先生看法）；有人认为是“不需要有”；有人为是“一定是有的吧”；有人认为是“不见得没有”；还有人认为是“有自然有，你却没资格问”（启功先生看法）。这里略谈一下作者自己的看法。在中国历史上，岳飞和于谦两案性质一致，时常被相提并论，因岳飞的罪名是“莫须有”，被人称为三字狱；于谦的罪名是“意欲”，时人称为二字狱。由此可见，“莫须有”更接近“意欲”的意思。这一点，从后面讲到的南宋接伴官回答金国使者刘祹的问话也能进一步得到证实。
绍兴十二年（1142年）十二月二十九，秦桧在家一边吃着柑子，一边想着岳飞的案子，脸上是一副令人捉摸不透的表情。妻子王氏从旁说了句：“缚虎容易纵虎难。”由此终于促使秦桧下定了决心，“手书小纸付狱”。万俟卨受命后，最后一次提审岳飞。岳飞知道最后的时刻到了，只在供书上写了八个大字：“天日昭昭！天日昭昭！”
本来秦桧是判处岳飞论斩，张宪论绞，岳云论徙（流放），起码还是留了岳云一条性命。但宋高宗看过后却立即下旨：“岳飞特赐死（赐毒酒留全尸），张宪、岳云并依军法施行，令杨沂中监斩。”此时，宋高宗早已经忘了他曾经手书“精忠岳飞”制旗赐给岳飞。随后，岳飞被毒杀于大理寺风波亭（现浙江医科大学内），时间刚好是除夕夜。一阙《满江红》，震古铄今；一叶风波亭，天地同泣。岳云、张宪同日被斩首。这也是宋高宗第三次违背宋太祖誓约杀人。
岳飞军中一些将校被罢免，岳飞得力部将牛皋后来（1147年）也被秦桧派人毒死。这样，整个岳家军核心人物荡然无存，群龙无首。岳飞家产被籍没，家属都被发配往广南、福建路居住。一些大臣也受到了牵连，支持岳飞出兵的李若虚、为岳飞鸣冤叫屈的薛仁辅等官员都被免官流放，而附和秦桧陷害岳飞的万俟卨等都得以升迁。值得一提的是枢密使张俊，他积极奉迎宋高宗和秦桧，参与了陷害韩世忠、岳飞，本以为可以保全自己的地位。不料他也是武将，宋高宗对他并不放心，不久就被罢免。
岳飞二十岁从军，三十九岁遇害，将其一生中最宝贵的年华都奉献在抗金的战场上，因而成为中国历史上著名的民族英雄。他不但战功赫赫，其坚决抗战的斗志和勇气更是极大地鼓舞了中原人民的抗金斗争。岳飞之死引起广大人民的悲愤，“天下闻者，无不垂泪；下至三尺之童，皆怨秦桧”。出使金国被扣留在金的宋使臣洪皓写回密信说，金人听说岳飞被杀，争相摆酒庆贺。
洪皓，字光弼，饶州鄱阳（今江西波阳）人，少有奇节，慷慨有志。政和五年（1115年）进士，初入仕途时，正是阶级矛盾与民族矛盾最尖锐之时。建炎三年（1129年），金军大举南侵，迅速攻占了华北、山东大片土地，但其最终目的是要捉获宋高宗。宋高宗一路奔逃至建康府（今江苏南京），任命洪皓为徽猷阁待制、假礼部尚书，出使金国求和，表示愿去尊号、正朔，比于藩臣，想以求和来缓解金人的追击。洪皓一行到达太原就被金人拘捕，押送到云中（今山西大同）后，金军统帅完颜宗翰爱惜其人才，强迫他到金国傀儡政权刘豫下做官。洪皓严辞拒绝，完颜宗翰恼羞成怒，将其流放到冷山（今黑龙江哈尔滨北）。那里气候寒冷，生存条件极为恶劣，金人想以此来消磨洪皓的意志，迫使他屈服。但洪皓含辛茹苦，始终矢志不移，忠贞不屈，还做了近千首诗，表现了强烈的爱国热情。绍兴十年（1140年），金国内讧后不久，洪皓被迁到燕京（今北京）。金熙宗赏识其才华，欲授为翰林直学士，被洪皓拒绝。留居燕京期间，洪皓冒着生命危险，屡次派人密奏金朝政情，力言和议非计，希望朝廷兴师北伐、恢复中原。一直到绍兴十三年（1143年），金熙宗因为宋称臣纳贡及得皇子而大赦中外，才放洪皓回国。此时，洪皓已经身陷金国十五年，宋高宗称赞他虽苏武不胜过。即便如此，后来洪皓因主战得罪了秦桧，依旧受到排挤。洪皓博学强记，全节归宋后，复述在金见闻为《松漠纪闻》，绍兴二十五年（1155年）病逝，时年六十七岁。
后来金国使者刘□出使南宋，很好奇地问接待的官员说：“岳飞以何罪而死？”南宋接伴官回答：“意欲谋叛，为部将所告，以此抵诛。”刘□根本不信岳飞会谋反，嘲讽地说：“江南忠臣善用兵者，止有岳飞，所至纪律甚严，秋毫无所犯。（刘邦）所谓‘项羽有一范增而不能用，所以为我擒’。如（岳）飞者，无亦江南之范增乎？！”（《坦斋笔衡》）就连金国使者都忍不住要为岳飞鸣冤。
鄂王墓上草离离，秋日荒凉石兽危。
南渡君臣轻社稷，中原父老望旌旗。
英雄已死嗟何及，天下中分遂不支。
莫向西湖歌此曲，水光山色不胜悲！
——元·赵孟□《岳鄂王墓》
在中国历史上，岳飞被杀已经不仅仅是单纯的个人事件。千百年来，对岳飞无辜遇害根源的讨论层出不穷，因此而产生的各种文章更是可以达到汗牛充栋的地步。世人多认为宋高宗对岳飞产生杀机是因为立太子一事。起初，宋高宗为躲避金人，从扬州逃跑时受到了严重惊吓，从此失去了生育能力。而他唯一的儿子赵旉也于三岁时患病卧床，刚巧宫女进屋服侍时，不小心踢倒了一只金炉，突如其来的响声惊吓了病中的赵旉，结果导致病情加剧。不久，赵旉便重病而死。这父子二人的命运都跟惊吓相连，由此也可以看出南宋建国之初，局势是何等的不稳定，而金人洗劫后的中原，在相当长的时间内都没有恢复元气。
宋徽宗死在金国后，金人不断放出风声，说要把宋钦宗或其子赵谌送回汴京（开封），册立为宋帝。金人此举，无非是要故意扰乱南宋朝廷和时局。在这样的情况下，南宋朝廷册立太子便成为十分必要之事。但对宋高宗来说，却有难言之隐，倘若公然立养子赵伯琮为太子，无异于公然在天下人面前暴露其不能生育的事实。此人自私的天性，让他凡事都要自己的利益为出发点，是以始终在立太子一事上迟疑不动。群臣深知宋高宗心理，大多沉默不言。
事隔不久后，金人果然将宋钦宗的儿子赵谌送到汴京作了傀儡皇帝。岳飞得知消息后，立即赶到建康上奏，建议宋高宗速立赵伯琮为太子，以挫败金人的阴谋。不料宋高宗当即驳回了岳飞的奏章，并说：“卿言虽忠，然握重兵于外，这类事体并不是你所应当参预的。”言语中已经透露了皇帝强烈的不快和杀机。宋朝自立国以来，规定武将不得干预朝政，此次岳飞无异触动了忌讳。这件事，被认为是岳飞后来非死不可的根源之一。正如张戒在《默记》中所说：“（岳飞身为大将）而越职及此，取死宜哉。”
实际上，立太子事件只是一个表面的契机，岳飞遇害还有两个更深层的原因。
一是岳飞因其家乡汤阴沦陷，与金人有家仇国恨，因而一直力主抗战，北伐收复河北故土，并直捣黄龙，迎回宋徽宗、宋钦宗。然而一旦宋徽宗、宋钦宗归来，宋高宗该如何自处？皇位是不是还保得住？所以绍兴十二年宋金议和时，宋高宗只要回了他的生母韦氏，根本没有兄长宋钦宗一句。正如明人文徵明在《满江红》中所吟：“岂不念，中原蹙？岂不惜，徽钦辱？但徽钦既返，此身何属。千载休谈南渡错，当时自怕中原复。笑区区，一桧亦何能？逢其欲！”这不但是岳飞被害的原因，也说明真正要杀岳飞的人是宋高宗，秦桧不过是适逢其欲而已。
