眼看刘光世的部队就要拨归岳飞了，可是中途又出现了意外。
为什么会这样呢？
问题出在张浚身上。
张浚此人一生都力主北伐中原、收复失地，是个强硬的主战派。但他为人好大喜功，自视甚高，慨然以天下为己任，对于怎么收复失地、中兴朝廷，他有自己的看法。在他看来，岳飞从襄汉上流先取伪齐的北伐属于奇兵突出，而他的战略思想是从江淮沿线层层向北推进，堂堂正正地收复失地，属于正兵北伐。但单就此而言，并不足以破坏这次人事安排，而且，最初他也同意赵构把刘光世的军队交给岳飞。
真正让他坐立不安的是赵构给岳飞的批复，赵构说了：“中兴之事，朕一以委卿，除张俊、韩世忠不受节制外，其余并受卿节制。”
你想想，一旦赵构将中兴之事全部都交付给了岳飞，全国军队除张俊、韩世忠部外，其余皆受岳飞节制。那么岳飞节制的军队非但包括刘光世的行营左护军五万多余人，还包括仍为宣抚副使的吴玠行营右护军七万余人、杨沂中殿前司军的三万人、侍卫马军司和侍卫步军司军一万多人，总计达十七万多人。
而张浚的职务是都督，本应督领全国诸路军马。岳飞“宣抚诸路”，权力急剧膨胀，已经取代了他都督的职位了，那以后的中兴大计，还有他张浚什么事呀？
张浚可受不了这个！
一连痛苦了好几天，张浚做了个决定：想办法让赵构收回成命，阻止岳飞染指刘光世的军队。
于是，他就一天到晚在赵构耳朵边嘀咕些什么“以合兵为疑”的道理，提醒赵构不要忘记家训，不要把太多军队的指挥权集中在一人身上。并暗示说，有朝一日，岳飞功高盖世，权倾朝野，事情就不好收拾了。
赵构答应把刘光世的部队交给岳飞本来就是一时的冲动，早就后悔不迭了。一方面，扬州暴动、苗刘兵变等一系列反面事例给他留下了武人不可轻信、武人权力过大容易威胁到自己政权的印象；另一方面，自宋开朝，就是因为对武人的猜忌太深，才有太祖赵匡胤“杯酒释兵权”的举动。所以经不起张浚的撺掇，赵构的思想就动摇了。
的确，赵构又怎知岳飞不会走东晋刘裕的路线？
可是说出的话，泼出的水，要马上改口，又拉不下面子。
怎么办呢？
想来想去，他觉得这种话不好意思跟岳飞当面说，但可以通过发信解决。
于是，他捣鼓了大半日，给岳飞编写了一封短信（札子），称：“淮西合兵的事，还有曲折，之前发给王德等人的《亲笔》，必须由朝廷统一安排，等明确由你节制淮西的军队了，才能交付。”其中的意思，羞羞答答，欲说还休。短信发出，赵构又委托张浚帮自己擦屁股，去当面做岳飞的思想工作。
张浚拍拍胸脯，这事儿包我身上了。
见了岳飞，张浚装出一副对之前的事毫不知情的样子，开始了一场决定南宋国运走势的谈话。“刘光世提前退休了，现在淮西军中最有人望的非王德莫属，我打算让他担任军中的都统制，再安排吕祉为都督府参谋，协助他统领这支军队，你觉得如何？”
岳飞一听，莫名诧异，心里直犯嘀咕，而张浚又一再催问，只好强打着精神说：“淮西军中鱼龙混杂，大多数是叛亡盗贼出身，彼此关系并不好，个个牛气哄哄、不可一世，互相拆台的事时有发生，如果节制不好，变乱就在股掌之间。你现在提名王德，要知道，王德之外，淮西军中还有郦琼；王德和郦琼不相上下，现在突然由王德任都统制，郦琼一定不服，到时恐怕会引起内讧。吕尚书虽是文学通才，但终究不习军旅，镇不住兵众。这件事，我觉得必须慎重，得由大将级别的人来接管，不然，后果不堪设想。”
张浚装出若有所悟的样子，点点头，说：“哦——这么说来，就由张俊接管好了，你觉得怎么样？”
岳飞盯着张浚，不动声色地答道：“张宣抚的确是出了名的宿将，说起来，他还曾经是我的上司。但现在既然是为国家谋划大事，我就直言不讳，就事论事，要我说，张宣抚为人暴而寡谋，一直以来都为郦琼等人所不服，恐怕不是最佳人选。”
“唔——”张浚有些阴阳怪气，他说：“照你这么说，那就只能安排杨沂中了。”
岳飞目光如电，反驳道：“杨沂中和王德、郦琼是同一类人，而且现在的职位、威望都相同，他又怎能驾驭王郦等人！”
张浚再也按捺不住了，愤然起身，冷笑道：“说来说去，你的意思无非就是除你之外，谁也接管不了这支军队啰！”
岳飞生来耿直，吃软不吃硬，早看不惯张浚刚才的惺惺作态了，也“霍”地站起，正色回答道：“刚才都督以军政问飞，飞只是就事论事，岂是为了自己掌兵权！”言罢，拂袖而去。
在离席的那一刻，岳飞异常清楚，接管刘光世军队的期望已成画饼。
果然，不日，赵构下诏督催岳飞从速返回鄂州军营，同时也发出明令宣布，刘光世原行营左护军分为六军，全部归都督张浚领导，由都督府的参谋军事吕祉直接管辖，并且由原任行营左护军前军统制的王德担任提举训练诸军。
政令一出，岳飞万念俱灰。
第二天，岳飞以守母孝为由，向赵构提交了辞职申请。不等回复，轻车简从自建康溯江西上，径往江州庐山东林寺而去。岳飞因为一时气愤，做出了这样一个不冷静的决定，震惊了朝野。
他本人不知道，这一举动，后果很严重，为自己埋下了一颗定时炸弹。也因为这一举动，他颇受后世的学者专家的谴责和抨击，说他性情浮浪、行事草率，不懂政治，不知韬晦，小肚鸡肠，器浅量窄，易怒易爆，只看眼前利益……
这些批评在一定程度上点出了岳飞的弱点。
但从常理而言，如果岳飞没有这样的表现，那就不是岳飞了。
岳飞，是一个普普通通的人，跟我们一样，食人间烟火，有爱恨情仇，有悲欢喜乐，甚至，因为是个农家子弟，他要比我们很多人单纯质朴；因为出身行伍，他的个性刚烈耿直，对是非判断也易于绝对化；而且少年得志，难免心高气盛。
史称他“平日沉默寡言，语不轻发”，是个很安静、很沉默的人，而一旦看不顺眼的人或事，特别是与自己理想、追求相违背的人或事，必“意所欲言，不避祸福”，不妥协、不屈服。
他因为看不惯赵构从应天退扬州、扬州退杭州，越职上书；他因为不能接受王彦“退避敌锋”的策略，大闹虎帐，高声切责；他因为不愿跟随杜充弃走东京，疾呼“中原之地尺寸不可弃”；他因为不能容忍杜充在建康府龟缩避战，强行闯进杜充的卧室，破口大骂：“金陵失守，相公能复高枕于此乎！”；甚至对恩帅宗泽义授的兵书阵法，因为与自己的看法不同，一点儿面子也不给，以“阵而后战，兵法之常，运用之妙，存乎一心”的理由将书束之高阁。
因为与收复故土的壮志相悖，他上书“乞将飞母、妻并二子为质，免通泰州镇抚使”，差点让赵构下不来台。
绍兴四年春将复襄汉，宰相朱胜非好意提醒他，只要旗开得胜，朝廷就授节度使的头衔。结果他的一句“丞相待我何薄耶”，弄得朱胜非尴尬万分。
岳飞文武双全，既有诗人的浪漫情怀，又有英雄的狂傲。
赵构的变卦，在岳飞看来，简直就是一种开涮、糊弄。
这是岳飞所不能容忍的。
朱熹说：“若论数将之才，则岳飞为胜，然飞亦横。”又说：“今人率负才，以英雄自恃，以致持气傲物，不能谨严，卒至于败而已。”
一直以来，受《说岳全传》的影响，很多人认为岳飞矢志不渝、尽忠报国的思想是一种“愚忠”，而中国历史上的爱国主义也总是和忠君扯在一起，国家、王朝和君主三位一体，忠君就是爱国，爱国就必须忠君。
岳飞并非如此。
从靖康奇耻到政权南迁，他经历了宋朝最痛苦、最黑暗的时期，眼睁睁地看着国家山河破碎、白骨盈野，他对女真的憎恨和收复故土的决心与日俱增。他的爱国精神是在国难当头时挺身而出、誓死以报，他对君主的态度，虽受忠君道德的束缚，但一旦皇帝表现出与自己的理念不符，岳飞选择的便是忠于自己的理想及目标，不屈从，不盲从。
岳飞的悲剧其实就是封建时代里忠君与爱国不能两全。
与岳飞相似的是，明末袁崇焕连续取得了“宁远大捷”和“宁锦大捷”的辉煌战果，却因不满皇帝的赏赐和朝内言官告黑状而愤然辞职。仔细比较起来，就不难发现，两人的思想境界并不在一个层次上。
岳飞辞职是因为他看透了当局没有收复中原的心思，理想破灭，壮志成空，怀着满腔的悲愤和苍凉黯然离去。愿望越迫切，失望了就会越沉重。如果这种事搁在刘光世、张俊一类人身上根本就不算个事——刘光世现在就很坦然地拿自己的军队和赵构进行政治交易。
岳飞孤傲、耿直和充满理想主义的性格注定了他不可能心平气和地接受赵构的戏弄，他的辞职，是向封建专政和封建强权的一种无声的抗议。
张浚听说岳飞撂挑子了，勃然大怒，你当你是谁啊？别以为少了你一个臭鸡蛋老子就做不成蛋糕！直接任命自己的亲信张宗元为湖北、京西路宣抚判官，前往鄂州掌管岳家军，同时上奏赵构说：“岳飞处心积虑，专在并兵，辞职求去，意在胁君。”痛斥岳飞要挟朝廷的行为，指责岳飞野心很大。
赵构听了张浚的话，都要气炸了，大为震怒。
群臣战战兢兢，噤若寒蝉。
过了好一会儿，左司谏陈公辅才弱弱地说：“岳飞不过一介粗人，遇事欠考虑。他的表现虽然有些过激，但之前他要以十万雄兵横截金境孤立伪齐的想法也足表其忠义可用。”
赵构强制自己冷静下来，也深感现在离不开岳飞，于是驳斥回了张浚收回岳飞兵权的计划，命参议官李若虚、统制官王贵火速赶往江州，敦请岳飞返回鄂州。
王贵和李若虚到了庐山东林寺，一连劝说了五天，均无果。
到了第六天，李若虚改变了策略，不再劝说，改为了切责。他板起面孔，严肃地对岳飞说：“宣抚原本不过河北的一个平头农夫，机缘巧合，得到了天子的恩宠，授予重任，现在朝廷正需用人，才一而再，再而三地请你出山，你倒好，恃宠而骄，坚持不从，是不是要造反？！”
“是不是要造反”这五个字犹如当头棒喝，震得岳飞耳膜轰轰作响，脸色霎时大变。
李若虚知道事情有了转机，继续说：“就算你本意不是造反，但你以这种态度跟朝廷对抗，朝廷又怎能不对你的动机产生怀疑？”
岳飞一摆手，阻止李若虚往下说，脸色苍白，沮丧地说道：“什么也不要说了，我听从安排就是了。”
张宗元到了鄂州，看见岳家军中将士人如虎，马如龙，一个个精神抖擞，不由得对岳飞的治军能力大为叹服，收到岳飞出山的消息，便兴冲冲地回来复命，向赵构盛称岳飞的统兵能力，称岳家军中“将帅辑和，军旅精锐，人怀忠孝，众和而勇，皆飞训养之所致”。
不日，岳飞青衣素服，径往行在向赵构请罪，上表称：“臣有擅自请求退休的大罪，敬请陛下明正典刑，以示天下。”
赵构警告道：“你这次的表现也太轻率了，不过，我不怪你，如果我真要怪你，就不会让你官复原职继续掌握兵权了，回你的辖区去吧，以后，你务必谨记，本朝太祖说过，‘犯吾法者，唯有剑耳’。”
此事虽算圆满结束，但君臣之间的嫌隙已生，为之后的悲剧埋下了祸根。