绍兴二年（1132年）十月，赵构将两个牛人转调入岳家军。
第一个牛人姓牛，名皋，字伯远，汝州鲁山（今河南鲁山县）人，比岳飞整整大了十六岁，属于岳飞的长辈行列。
金人南侵之初，牛皋只是军中一名普通的弓箭手，作战勇敢，累有战功。西道总管翟兴慧眼识珠，将他补为保义郎。
杜充任东京留守期间，牛皋奉命在鲁山一带讨伐巨贼“没角牛”杨进：三战三捷。牛皋因此累迁为荣州刺史、中军统领。
金人两次南下，牛皋在京西进行伏击，“十余战皆捷”，后升为果州团练使。
建炎四年（1130年），金人西路军攻下江西，由荆门北返，牛皋先后在宝丰县的宋村和邓家桥邀战，皆胜，转为蔡唐州信阳军镇抚使、知蔡州，封亲卫大夫。
第二个牛人姓董，名先，字觉民，洛阳人。
他也是投军在翟兴帐下，“与金人战，勇功为多”，被翟兴提为京西制置使前军统制，“每战，冒矢石为诸军先”，是战场上勇冠三军的急先锋。
绍兴元年（1131年），金兵大举攻取商州（今陕西商县），董先率军迎战，九战九捷，一直将金兵追到试剑关。
这是两员不可多得的猛将。
赵构为什么心血来潮地将这两人调入岳家军呢？
原来，刘豫的“大齐”政府借助金人的势力，割据了中原的广大地盘，向南扩张，已侵占了襄阳府、邓州（今河南邓州市）、随州（今湖北随州市）、唐州（今河南唐河县）、郢州（今湖北钟祥市）等州府，让南宋朝廷惊恐不安。
其中的襄阳府属于长江中游地区，西连川陕，东接吴越。单单襄阳府的失陷就意味着南宋的长江防线出现了一个巨大缺口，不但丢掉了通向川陕的路线，而且行都临安也暴露在伪齐军的兵锋之下。
而最让赵构抓狂的是，这节骨眼儿上，盘踞在洞庭湖一带的杨么叛军又和刘豫关系暧昧，勾肩搭背，暗中约定来年麦熟，两军实施南北夹击，一举灭亡南宋政权。
唉，树欲静而风不止，是该采取点儿措施了。
赵构忍无可忍，决定收复襄阳六郡，给刘豫点儿颜色看看。
那么，由谁统兵和伪齐开战呢？
赵构第一个想到的就是岳飞。
岳飞接连打败和剿灭了李成、戚方、曹成几支盗贼，官至正四品的镇南军承宣使，威名远扬，震慑敌胆。
而这年（即绍兴二年，1132年）七月，原蕲、黄镇抚使孔彦舟经受不起伪齐的引诱，率团入降。赵构又让岳飞兼任了江南西路舒、蕲州制置使，负责江南西路、舒、蕲州制置使的差遣。同时，又将驻守蕲州（今湖北蕲春县）的统制李山，屯扎江州的统制傅选两支部队并入岳家军。而岳家军的军号由神武副军升格为神武后军，岳飞由都统制改任统制，和驻扎在上游的王燮，驻扎在下游的韩世忠、刘光世，驻守沿江的四个重镇。
牛皋和董先都是从伪齐统治区杀回来的爱国将领，对那儿的地形地貌和作战态势相对比较熟悉，赵构既然有意让岳飞主持北伐，将他们调入岳家军就在情理之中了。
这年十二月，牛皋、董先正式到岳家军报到，听从岳飞节制。
除了将牛皋、董先拨归岳家军统属外，赵构考虑到岳飞任江南西路、舒、蕲州制置使，全面负责淮南西路舒州和蕲州的防务，兵力严重不足，便再命江南西路兵马钤赵秉渊将驻守在洪州（今江西南昌市）的一万多兵马并入岳家军。
可惜在两年前的一次宴会上，“飞因饮酒大醉，殴击秉渊几死”，赵秉渊心存芥蒂，死活不肯交割军队，并托人转告刘光世，让刘光世出面向赵构提出申请，将他的兵马改隶刘光世。
这已经是岳飞第二次酒后伤人了，性质恶劣，后果严重。岳飞也因此想起母亲曾经的告诫，懊悔万分。是你自己酒性不好，我帮不了你啦——赵构专门下了一道诏书，“戒飞饮酒”。岳飞无言，从此彻底与酒绝缘。
岳家军由神武副军升格为神武后军，军中的许多将佐就跟着沾光，获得了不同程度的升迁。其中王贵任中军统制、提举一行事务；张宪任前军统制、同提举一行事务。两人俨然成了岳飞的左膀右臂，必要时，他们还代替岳飞全权行使军务，指挥其他统制作战。
张宪、王贵、徐庆、牛皋和董先均是独当一面的人物，堪称岳家军中的五虎将。此外，还有杨再兴、李山、傅选、王万、岳亨、姚政、李宝（南宋中期名将）、毕进（南宋中期名将毕再遇之父）、孟林（南宋中后期名将孟珙之祖）等一大批能征善战之士。
有宋一代，重文轻武，岳飞在军务之暇，经常以儒装示人，他并不是在刻意附庸风雅，而是以此来延揽文士，史称其：“敬贤礼士，食客所至常满，一时名人杰士多归之。”
因为岳飞的志向、追求、品质和富于吸引力的人格魅力，他的身边也集结起了一大群有学识、有才干、有气节的文士。
严州桐庐县人朱梦说，是个饱学之士。早在政和五年，他就警觉到了北宋的种种亡国之兆，不断给执政的赵佶上书言事，痛陈时弊，惹得蔡京、童贯一伙奸人恚恨不已，将他抓了起来，发往池州。赵恒在火线中即位，听说了朱梦说的忠义之名，特意召了他回来。靖康元年（1126年），东京失陷，朱梦说宁死不屈，积极组织民众救亡抗金，直至战败，流落到了南方，累迁泰州军事推官。岳飞敬仰他的为人，多次邀请，安排他在军中当制置司干办公事。两人志同道合，相得益彰。
温州永嘉县人薛弼，进士出身，遇事多谋善断。靖康初年，金人入侵，李纲进言要坚守东京，当时有很多人持反对意见，但薛弼却坚决拥护和支持李纲的主张。他在刑部侍郎兼河防宋伯友手下任点检粮草官，负责筹备粮食、军需等后勤事务，“为计画甚切”，是个极其优秀的参谋型人才。岳飞将他招揽到岳家军担任荆湖南路的转运判官，全面负责军中钱粮供应。
苏州人黄纵，精于军事，负有天机神算，因为他的父亲黄策被赵佶定性为“元符奸党”，黄纵终生不得参加科举。赵构南迁后，黄纵借向朝廷献言之机，献上十册自己对兵法的研究心得，轰动一时。
岳飞通过奇士赵九龄的穿针引线，费尽周折，终于把黄纵纳入自己军中，堪称当时军界里的一段佳话。荆湖南路制置大使席益曾向岳飞致贺，大赞黄纵，说他在后省审阅两千多份关于兵书的讨论文章，没有一份比得上黄纵的精辟独到。
可以说，黄纵是岳飞的良师诤友，岳飞每临机制敌，“军事必与谋之”。黄纵感激岳飞的知遇之恩，知无不言，也正因如此，岳飞经常叮嘱黄纵：“如果岳飞有过失，你务必给我直接指出。”二人的关系，远远超出了主从关系。
此外，还有李若虚、高颖、王良存、夏珙、李启、党尚友、张节夫、于鹏、孙革、侯邦、智浃、王大节等。
侯邦原在荆南府制置使王燮手下统制官郝晸家中当门客，是黄纵早年一起交游的朋友，很有才干，经黄纵举荐，岳飞专门派人前去接侯邦。郝晸觉得岳飞在挖自己墙脚，杀心顿起，命人将侯邦抓起来，准备杀掉。
岳飞大怒，拍案而起，说：“郝晸算什么东西？敢妄杀读书人！”（“郝晸何人，敢杀士人！”）警告郝晸立即将侯邦恭恭敬敬地送来，如少了一根毫毛，吃不了兜着走。郝晸没想到岳飞对一介文士如此重视，只好乖乖将侯邦送来。
夏珙和李启是经济型人才，夏珙先是担任荆湖北路的转远判官，筹划岳家军的钱粮供给，后由岳飞保奏升迁为转远副使，负责岳家军的开支用度。李启善于理财，担任军中回易官，经营公使、激赏、备边、回易、关引、典库、房钱、营田等处，平日布衣草鞋，遇事躬亲操劳。
王大节原是四川名嘴，有辩才，喜怒不形于色，是个极其优秀的间谍。多次混入敌军阵营中搞情报。岳家军打仗时能知己知彼，其可谓居功至伟。
李若虚是河北西路洺州曲周县（今河北曲周县）人，他有一个英雄的弟弟——靖康之难中以死难闻名的李若水。
胡闳休是开封人，上马能提枪，下马能提笔，著有兵书二卷，能文能武，是个不可多得的全能型人才。
……
总之，这些人中，既有望门名士，也有庶门隐士；既有科举出身的官员，也有寒微布衣之士。岳飞不拘一格，唯才是用，和他们“商论古今，互相究诘，切直无所违忤”。岳飞器重幕僚，幕僚也尽心尽力，为知己者用，乃至以效死力。岳家军中，主宾情投意合，将帅上下相得。无怪史称岳飞“欲有所举，尽召诸位统制与谋，谋定而后战，故有胜而无败，猝遇敌不动，故敌为之语曰：‘撼山易，撼岳家军难’”。
这时候的岳家军，阵容强大，配置合理。将帅上下一心，为抗击金人，收复河山，蓄势待发。