杨么占据湖湘，已成气候，可谓是宋朝的心头大患，岳飞仅用了两个半月的时间，就轻松地将之瓦解，朝野拍手称快。
平定杨么，无论是对南宋朝廷还是对岳家军，都是值得庆祝的事情。
此后，南宋国内再未出现类似规模的叛乱，生产得以保障，社会矛盾也得以缓和，反对外侮的战争也终于有了一个安定的大后方。
而岳飞也因此收编了五六万身强力壮的士兵，大大地扩充了岳家军的兵力。岳飞在经过朝廷同意的情况下，整编了二十二名统制、五名统领和二百五十二名将官。
有宋一代，各支大军都有军、将、部、队等编制单位。军一级的统兵官有统制、同统制、副统制等名目。此外，还有统领、同统领、副统领等，属于统制的助手，或者在统制之下分统军马。将一级的统兵官有正将、副将、准备将等名目，总称“将官”。将官之下，有训练官、部将、队将、队官等。
二百五十二名将官中，又分设正将、副将和准备将各八十四名。将军队编为十二军，分别是：背嵬军、前军、右军、中军、左军、后军、游奕军、踏白军、选锋军、胜捷军、破敌军、水军。这十二军中，以背嵬和游奕、选锋三军最为精锐。
“背嵬之名，始于西番”，岳飞将自己最精锐的部队号以背嵬，用意深远。首先，背嵬军的战士全部经过优先选拔，“犒赏异常，勇健无比”，作战凶悍，无坚不摧；另外，这支军队全部由骑兵组成，无论是长途奔袭还是短距离发动冲锋，均是来去如风，以至于日后金兵提起岳飞的背嵬军，无不为之色变，夸张地称“背嵬一来，寸草不留”、“背嵬军马战无俦，压尽当年众列侯”。
游奕军是一支机动的轻骑兵师，选锋军中全是锋锐之士。
水军是岳家军中新成立的部队，原先的岳家军“并无舟船”，全是清一色的陆战队，平定杨么后，军中一下子增添了大批泳坛健儿，又缴获一千多艘战船，其中还有几十艘作为主力舰的大车船，于是便多了水兵这一兵种。岳飞后来将之安置在与鄂州（今湖北武昌）隔江相望的汉阳军城，兵威赫赫，威震一时，史称“鄂渚水军之盛，遂为沿江之冠”，岳飞也因之自比昔年扼守荆襄的关云长。
岳飞本人也不无自豪地说：“我身居要位，定当收复神州，迎回二帝，让后人知道岳飞与关羽张飞齐名。”（“要当克复神州，迎还二帝，使后世史册知有与关张齐名。”）可惜刘备之后再无刘备，那种视将士如手足、待谋臣如肱股的君主已经再也看不到了。
岳飞初平襄汉六郡，赵鼎就对赵构说：“湖北的鄂州、岳州堪称沿江战略要地，我请求安排由岳飞镇守这两个地方，不但淮西可以凭借他的声援，湖南、两广、江浙一带也得安居乐业。”
赵构深以为然，命岳飞改驻鄂州。自魏晋以来，鄂州城即是长江流域的重要城镇之一，地处今湖北武汉市武昌区老城区一带，是长江与汉水交汇之所。
“吴孙权赤乌二年修筑旧垒，谓之夏口城。”这夏口城就是鄂州城的前身，其“依山傍江，开势明远，凭墉藉阻，高观枕流”。经过数百年发展，在北宋年间已跃居长江中游最大的城市，是区域性政治、经济、文化中心。而随着政权南迁，鄂州成为荆湖北路的首府。
从湖湘返回鄂州（今湖北武昌）的路上，岳飞接受了幕僚黄纵的建议，效仿诸葛亮七擒孟获的故事，“耀兵振旅而归”，十万军队整装而行，浩浩荡荡，地动山摇，沿途而过，“军律严整，旗帜精明，观者无不咨嗟叹息”。
战后论功，赵构让岳飞兼任淮南西路蕲州（今湖北蕲春县）和黄州（今安徽黄州市）制置使，并在两镇节度使以外，另加检校少保的虚衔，随后，又将他封为荆湖北路、襄阳府路招讨使，将唐州、邓州、随州、郢州、均州、房州、信阳军划到了他的管辖范围内，统一管理。
招讨使是大战区的高级长官，南宋初年，招讨使“定位在宣抚使之下，制置使之上，著为定制”。
赵构在抗战斗士张浚的鼓舞和劝说下，也有了让岳飞北上“招讨”的心思，他亲手起草了一份诏书给岳飞，说：“杨么心腹大患已经剪除，北伐中原的构想可以着手开展。”
于是，驻守鄂州期间，岳飞除了严格进行军队的整编和操练工作外，还在襄阳府、唐州、邓州、随州、郢州、信阳军、复州（治今湖北天门市）、汉阳军等地安排驻防军队，兴建“山城水寨”，同时，又继承了宗泽的遗志，实施“连结河朔之谋”，和太原、绛州（今山西新绛县）、怀州（今河南沁阳县）和河东路的泽州、隆德府、平阳府（今山西临汾市）等地的义军取得联系，积极为下一次北伐作准备。
然而，就在各项工作都在如火如荼地展开时，岳飞却病倒了。
他得的是眼病。
其实，这病从跟随杜充南撤建康时就有了，可能跟气候有关。南方气候湿热，尤其是夏天，阳光底下，强光耀眼，眼睛容易发炎，而南下六年，每年岳飞都在暑期用兵，所以，每年盛夏眼睛都会发病。发病时，两眼病情严重程度不一，右眼轻，左眼重，岳飞看东西时，不得不右开左闭，久而久之，人们称之为“大小眼将军”。
绍兴五年（1135年）六月，从湖湘回到鄂州，病势加重，“两目赤昏，饭食不进”，“四肢堕废”，这种情况下，显然不再适合执掌兵权了。
于是，他第一次向赵构提出了辞职，理由是：以带病之躯执掌兵柄，关系到国家的生死存亡，如果贪图荣华富贵，恋栈不去，势必耽误恢复故疆大计（“职掌兵戎，系国利害”、“若贪冒荣宠，昧于进退”）。
赵构对岳飞越来越倚重，怎肯由他退隐？断然拒绝，“岳爱卿肩负重任，责任重大，正应该激励忠愤之心，一雪国耻，帮助我建成大功，不许退休！”（“爱卿措置上流事务，责任繁重”“卿当厉忠愤之素心，雪国家之积耻，勉副朕志，助成大勋”“勿复有请。”）
岳飞勉为其难，只好收回了申请，把军务交给参谋官薛弼和参议官李若虚两人。
在岳飞养病期间，军中发生了一件恶劣的反叛事件。
鼓动反叛的头目叫王缺子，原先是杨么手下的得力干将，在山寨里惯享酒肉，自投入了岳家军，一直难以适应军中的清苦生活，早有反心。
老实说，这时候的南宋小朝廷初建，财政紧缺，军士们的待遇的确很差，他们缺衣少食，生计艰难。而由于钱粮供应不足或不及时，军中断炊的事时常发生。
根据史料记载，绍兴二年（1132年），岳飞破曹成后屯军江州，因为“钱粮阙乏”，竟然发生了“本军杀马，剪发，卖鬻妻、子”，以“博易米斛”的事件。
岳飞作为军队中的最高长官，对此痛心疾首，经常“仰天横泗，气塞莫能语”，“奉己至薄”，和士卒一起共渡难关。酒肉严格和部属均分，军士露宿，自己绝不入馆舍。
平定杨么，军士的待遇提高了很多，可是王缺子还是觉得跟自己的理想差得太远，决定趁岳飞患病不能掌兵之机，开始行动。
他四下串联，秘密鼓动旧部跟随自己一起造反。
兄弟们，跟我干吧，咱们重新回到山寨中去，吃香的，喝辣的，不比在这儿整天清汤寡水的强？王缺子以他的人生观和人生追求来说服手下的弟兄，满以为会得到热烈的响应和支持。可是，他失败了。
虽然岳家军生活清苦，虽然岳飞治军严苛，但他对士兵极好，同甘共苦，对归顺之人也一视同仁，不分彼此。经过这一段时间的相处，并没有多少人愿意跟随王缺子造反。
主管机宜文字的幕僚黄纵曾在严寒的天气里看到一名兵士衣着单薄，便试探着问他：“军营待遇这么差，你心里一定会有很多怨言吧？”
这个兵士回答：“有什么可以抱怨的呢？和其他军区的兄弟相比，他们虽然身穿棉袄不会受冻，但他们的粮饷都被克扣了相当一部分，家里的老少生活在饥寒交迫之中。而在岳宣抚军中，每月的军饷分毫不减，我身上穿得虽然少，那是因为我儿女众多，父母又在，家庭负担实在太重的缘故，并不是岳大人薄待于我，所以并无怨言。”
这个士兵的回答代表了岳家军中很多人的心声。
王缺子瞎忙乎了数天，响应者寥寥无几，甚至连他的母亲也反对他这么干。
母亲对其反复劝诫无果，大义灭亲，连夜向薛弼举报了自己儿子的反情。
薛弼得讯，大惊，来不及向岳飞禀报，立即行动，将王缺子抓了起来。一场动乱，就这样兵不血刃地解决了。