马家渡大战失利，岳飞被迫撤军在钟山驻扎。
不久，建康失守，杜充降敌，岳飞这支部队就和组织失去了联系，成为了一支孤军，仿佛又回到了太行山打游击那段时间。岳飞“孤军转战，且行且击”，不断向赵构所在的临安方向靠拢。
南撤的路上，下起了雪。天幕低沉，前后左右一片白茫茫、灰乎乎。
形势比计划变化快，刚到建康府句容县（今江苏句容县）地界，就听到了赵构已经从临安跑路的消息。
“怎么办？”岳飞拔剑四顾，心茫然。
恰好，同在马家渡被打散了的刘经和扈成两支队伍也流落到了句容。
几个人一碰头，交换了意见，最后一致同意南下广德军（今安徽广德县），蓄精养锐，以观时变。
“寒色孤村暮，悲风四野闻。”从建康府到广德军的路上，一派萧条景象，说不尽的荒芜肃杀。
岳飞等人和金兵六度交手，“六战皆捷”，斩首一千二百一十六级，擒女真、漠儿王权等二十四人。
到了广德军的钟村，又有消息传来，说赵构出海逃亡，生死不明。
一时间人心惶惶，“诸将汹汹欲叛”，其中扈成的部将戚方率先叛乱，他鼓动了一伙不安分的士兵，斩杀了扈成，裹胁军队叛乱为盗。
岳飞手下也有将士跃跃欲试，想以戚方为榜样，在乱世中占山头、喝酒吃肉爽一把。
“蓬生麻中，不扶而直；白沙在涅，与之俱黑。”岳飞虽然出身农家，但父亲的正直侠义、母亲的知礼识义，使他自小就有了忠奸之辨、正义与邪恶之分；而遇上了刘韐、张所、宗泽等亦师亦友的长辈、上级，更是潜移默化地塑造了他忠义爱国的勇气和气节，再加上他本身又喜读《春秋》一类言大义的史书，使他没有像张俊、刘光世之流那样胡乱地生长，终成一代楷模。
当他觉察到了将士这种苗头，立刻召集全军进行整训。
在会议上，他拔刀在自己的左肩上插了一刀，“洒血厉众”道：“同胞们，战友们，现在国难当头，正是我们舍生取义、慷慨赴死的时候，咱们保家卫国，可青史留名。如果咱们趁乱为盗，苟活偷生，到头来不过枉活一世，遗臭万年！大家想想，建康是江左形胜之地，就算胡虏暂时盗据，也不足以立国！只要我们发奋起来，万众一心，就一定能把胡虏驱逐出境，今日之事，有死无二，擅离者，斩！”（先臣洒血厉众曰：“我辈荷园厚恩，当以忠义报国，立功名，书竹帛，死且不朽。若降而为虏，溃而为盗，偷生苟活，身死名灭，岂计之得耶！建康，江左形胜之地，使胡虏盗据，何以立国！今日之事，有死无二，辄出此门者斩！”）众将士大为感慨，军心慢慢稳定了下来。
不久，刘经和岳飞的队伍合并在了一起。
杜充从东京带出的东京留守司部队里很多士兵都是西北人，他们听说杜充已经渡江投敌，纷纷前来投奔岳飞。
岳飞将这些人按照之前的行伍兵籍集合起来，鼓励他们说：“团结就是力量，咱们本来就是最富战斗力的队伍，现在又团结在了一起，正是收复中原，建立奇功的大好时机。到那时，咱们身受朝廷封赏，衣锦还乡，岂不是人间盛事！”
大家热烈鼓掌，一起欢呼道：“从今以后，惟岳统制之命是从！”
兵马屯驻钟村，军中“粮食罄匮”，岳飞只得“资粮于敌”，以战养战，不断向金人发动袭击，靠获取战利品给士兵提供衣食。
听说金人进犯溧阳县，岳飞和刘经带领了一千人，趁夜向他们发动袭击，短短两个时辰不到，斩五百多金兵，生擒金人的同知溧阳县事、渤海太师李撒八等高级官员数人。
当然，像这样辉煌的战果并不是时时都有的。在这段艰苦的日子里，岳飞以身作则，“与士卒最下者同食”。
很多将士衣不蔽体、食不果腹，面有饥色，但岳飞治军严谨，大家畏惧军中纪律，不敢扰民，“市井鬻贩如常时”。
军中的开支节度越来越捉襟见肘，所幸宜兴县令闻听岳飞的威名，“奉书以迎”，说城中存度颇丰，可供养万人十年有余。岳飞喜出望外，当即于这一年二月，移师宜兴，将兵营屯扎在县城西南的张褚镇。
原江淮宣抚司的水军也从建康溃逃到了宜兴，扰掠吏民，听说岳飞屯军在侧，恐惧莫名，“即命虏捉舟船、尽载老小，若将遁者”。
岳飞亲自写信，派人送去，好言抚慰，招抚了半数人员过来，悉数纳为己用。史称：“江淮宣抚司右军统制岳飞自广德军移屯宜兴县。杜充之败也，其将士溃去，多行剽掠，独飞严戢所部，不扰居民，士大夫避寇者皆赖以免”，“常之官吏、士民弃其产业趋宜兴者万余家”。在这里，岳飞召集到了很多素质极高的将士，这其中有张宪、王贵、姚政、王万、徐庆，等等。
张宪比岳飞小三岁，在抗战的日子里成为了岳飞最亲密的战友，他陪着岳飞一起走完那条属于他们的道路。当然，张宪绝对不会想到，自己会是陪着岳飞一直走到路之终点的人。
岳飞在乱世中治军宜兴，等于在宜兴建立了一方净土，许多外地人纷纷移居宜兴避难。人们交口相赞：“父母之生我也易，公之保我也难。”为了表达自己的感激之情，很多人“各图其像，与老稚晨夕瞻仰”，把岳飞的画像供奉起来。甚至，人们“又相帅即周将军庙，辟一堂祠之”，在宜兴的周将军庙旁边，为岳飞建造生祠，将岳飞尊奉为神人。
金兵中的“签军”到了宜兴地界，听说岳飞大名，“皆相谓曰：‘岳爷爷军也！’争来降附”。从金营中投降的“签军”前前后后约上万人。
大军既已安顿好，岳飞多次派人回故乡寻找家人下落，终于把自己的母亲姚氏、长子岳云、次子岳雷、弟弟岳翻接到了军中。
岳云年方十二，躯干不丰，表面一副弱不禁风的模样，实际上却生得铜皮铁骨，力大无穷军中号为“羸官人”。清朝袁枚曾题诗赞岳飞及其云、雷二子，诗云：“不依古法但横行，自有云雷绕膝生。”
而岳云的母亲，即岳飞的夫人刘氏，因不堪忍受寂寞，改嫁了，并未在南来的亲友团中。后来，岳珂作《鄂国金佗稡编》，有意为长者讳，将岳云记作是岳飞的养子。
岳云少小有乃父遗风，喜习武艺，《鄂国金佗稡编》卷九《诸子遗事》称其“手握两铁椎，重八十斤”，每次打仗，都是一马当先，冲锋在前。
在宜兴，岳飞对军队进行了整合集训，史称：“其御军也，重蒐选，谨训习，公赏罚，明号令，严纪律，同甘苦。”
岳飞从上万的“签军”和逃难的难民中精挑细选了七千人，编入了自己的军队，按照《孙子兵法》上所说的“进不求名，退不避罪，唯人是保，而利合于主，国之宝也”，“视卒如婴儿，故可与之赴深溪；视卒如爱子，故可与之俱死。厚而不能使，爱而不能令，乱而不能治，譬如骄子，不可用也”，进行严格训练。
岳飞希望在保全民众，爱护士兵的基础上组成一支这样的军队：无论面临绝境，还是深陷重围，这支军队都一往无前，能够压倒一切敌人，而不为敌人所屈服，即使战斗到最后一刻，也绝不投降，战斗到底。
所以，在每堂训练课上，岳飞都要训上一段话，将士兵个人的命运和国家、民族的兴亡结合起来，鼓励大家刻苦训练。
终于，一支让金兵闻风丧胆的军队新鲜出炉了，这就是岳家军！
岳家军纪律严明，作风优良，当然，最让岳飞引以为豪的是它的作战能力。
在反复操练各种队形战法、冲刺砍杀的既定课程之外，岳飞还特别设置了马上的各种技艺训练，当然，在完成这些高难度动作的过程中，都要求士兵“被重铠”。
而这些，只缘于马家渡那场大战，岳飞见到了兀术的“拐子马”战术，他深深地知道，如果没有精湛的骑术和过硬的技击术，根本不可能与金国骑兵相抗衡。
史书记载，有一次，岳云身披重甲骑马进行“注坡”训练，从高山上俯冲下来，到了半山，快速勒马停驻，因为冲得太急，马的前足陷入了一个小坑洼里，马失前蹄，岳云一个倒头葱，身体越过马头，狠狠地摔了下来。
岳飞当场斥责道：“难道上阵杀敌，也这样吗？”当即下令将他推出去斩首。众将士大惊，急忙求情，最后打了一百军棍了事。
正因为如此严格的要求，岳云更加努力练习，练就了一身非凡的武艺。全军也因此一个比一个刻苦训练，精熟安习各种技艺，“一皆当百”。
另外，岳飞本人便身怀绝技，他根据自己的多次技击经验和实战心得，分别创造了一套拳法和枪法，亲自在教场上传授，这就是流传至今的“岳家拳”和“岳家枪”。
南宋嘉定年间的武状元、中国古代著名军事家华岳曾在他的兵书《翠微先生北征录》中不无崇拜地说：“臣闻呈试有四门马枪，拣指有马上单枪。岳飞教荆襄之兵，有稽枪射。”他认为：“自近代，善马射者不善马枪，所以海队只选马枪一十八条、正副旗头六名，其余皆系弓箭。立为定制，不容增减。盖新刺马军、新补马校不练教习，不熟弓马，两手挟弓犹恐不能施放，更责以马枪兼人之能，则彼安能独办？要之，一队皆系老旧马军，则令各稽小枪，而不拘以十八人之数；皆系新招生疏之人，则令专事弓箭，而不拘以正副旗头之额。庶不强人以短，而反害其所长。是谓枪制。”对岳飞的马上枪击之技佩服得五体投地。
农耕文明的人民要精于骑术已非易事，而马上又要善使枪、要善使弓，更是难上加难，将这三种本事集于一身，其作战力便足以威吓一方。
一系列训练下来，这些学员个个练就了非凡的武艺，战场杀敌便多了一分胜算。
此外，岳飞还在他的军队中定下了铁一样的纪律。
只有在铁的纪律保障下，军队才能具备可怕的战斗力。正如西方的兵家之祖维吉提乌斯在《罗马军制论》中所说：“真正的勇士不是天生的，而是用严格的训练和铁一般的纪律造就的。”英雄所见略同。
时逢乱世，很多军队的粮草得不到补充，士兵四下劫掠，维持生计。
为了不让自己的军队沦落为流寇，岳飞将他们拉到了宜兴县太湖边上的张渚镇附近，这儿三面临湖，只有一条狭窄的小道与外面相通，岳飞每天派出亲将把守路口，严格控制士兵外出作乱。但有发现，严惩不贷。
时有大夫称岳飞这支军队：“将帅辑和，军旅精锐。上则禀承朝廷指令，人怀忠孝；下则训习武技，众智而勇。”
岳飞军纪的严厉程度，在当时说起来，称得上是严酷。史称，他的军队，一旦有“践民稼，伤农功”，或者在市场上强买强卖，甚至“取民麻一缕，以束刍者”，立刻斩首。
相传湖口有一个姓项的樵夫，将岳飞的士兵视为子弟兵，甘愿便宜两钱银子将柴卖给前来买柴的后勤兵，可是，该后勤兵正色说道：“千万不可，我们军法严厉，我可不想为了这两钱银子掉脑袋！”说完分文不少地付钱而去。
副将王贵帐下有士兵私自拿百姓的稻草喂马，岳飞得知，大怒，“即斩以徇”，这还不算，命人将王贵拿来，狠狠地打了一百军棍。
说到这里，也许，有很多人认为岳飞太过于严苛、残酷，以至于不近人情。是的，任何一位名将，在军纪上，都和仁慈、温和之类的名词绝缘，所谓“仁不带兵，义不行贾是也”。
为了严肃军纪，他必须心如铁石，冷酷无情。也只有对士卒严酷，才能待百姓以仁，更能得到民心，从而拥有更强悍的战斗力。
有时军队外出，在百姓家门口露宿，百姓实在不忍心，开门将士兵请进屋内，早晨军队开拔，室内“草苇无乱”。
岳家军“每屯数万众，而市不见一卒，惟阅试振旅，则人始幸观之”。每到一地，岳飞“必自从十数骑周遭巡历”，检查军容军风，维护军纪。
“冻杀不拆屋，饿杀不打虏”，是这支军队最响亮的口号。
中国历史上曾出现过无数支精锐的特种军队，如汉代的虎贲军，以三千骑横扫匈奴，杀北匈奴王，将北匈奴向北逐出数千里，不敢再犯；又如唐代的玄甲军，装备精良，马匹充足，初步配置了火器装备，攻坚战能力和野战能力都为一流，成功地将突厥人赶了出去，让这个当时驰骋欧亚大陆号称最强大的帝国退出了历史舞台。
而名闻天下，流传千古，且以将领的名字命名的军队只有岳家军一军而已。
陆游赞道：“巨盗曾从宗父命，遗民犹望岳家军。”
南宋史官吕午在《和岳王庙壁上韵》也称颂说：
当年谁说岳家军，纪律森严孰与邻。
师过家家皆按堵，功成处处可镌珉。
威名千古更无敌，词论数行俱绝尘。
拟取中原报明主，亦劳余刃到黄巾。
吕午在诗后注解：祁阊西一舍有庵，曰东松。绍兴初，岳鄂王提兵经吾郡西上，士卒秋毫无犯，夜宿人门外，足不敢一越限内。尝憩是庵，留题。
哥一直被模仿，但从未被超越！
岳飞，这位年方二十七岁的年轻统帅，就凭着自己必胜的信念、顽强的毅力和严谨的治军方略，建立了这样一支伟大的军队。
宋人的笔记曾记有这样一件小事，岳家军的一名士兵奉令过长江，当时正遇上“风暴禁渡”，渡船为生的艄公谁也不愿过江，这名士兵就单独驾船过江，众人大惊，一起劝阻，他却说：“宁为水溺死，不敢违相公令。”然后毅然前行，在惊涛骇浪之中，越去越远。
故此，人皆惊叹凡是在岳飞麾下者，“人百其勇”。岳飞自己也曾不无自豪地说：“某之士卒真可用矣！”
按照《孙子兵法》上所说，这支军队完全达到了“风火山林”的“六如”要诀：“其疾如风，其徐如林，侵略如火，不动如山，难知如阴，动如雷霆！”而兵家都知道，能达到这“六如”要诀者，则战必克，攻必取，无往不利！
很快，岳飞这支部队的战斗力就会在战场上得到检验。