7月3日，晴，衡阳城四围的中国士兵纷纷从工事、碉堡、战壕中钻出来。到处摊开一片片洗过的军衣和晾晒的被褥。军部医院和各师、团包扎所的医护人员趁好天洗净了一大批绷带和手术巾，在阳光下晾晒，条条块块的白色，掩映于阵地和街衢。
反击日军对衡阳第一次进攻的战斗集中在预10师和第3师阵地。6月28日至7月2日5天5夜中，两师共伤亡6千余人。在预10师30团防守的张家山高地，几天中竟与日军反复争夺阵地20余次，先是2营伤亡殆尽，接着1营增援上来又被打得所剩无几，团长陈德生带领团预备队再上，不到一天又差不多被打光了。6月30日，师长葛先才亲率师预备队赶来解围，并亲操机枪投入一线战斗，留下《葛先才赤膊大战张家山》的新闻标题。7月10日，一架中方飞机投下来蒋介石颁赠给葛先才的一枚青天白日勋章。
与30团相邻的29团据守虎形山阵地，5天中打退日军十余次攻击。战斗停歇时，最先死去的中国士兵尸体已经腐烂，阵地上臭气熏天，昼夜蚊蝇云聚。
日军暂停进攻，但军长方先觉内心毫不轻松，从作战全局来看，在短时间内并不可能形成外线部队对衡阳周围两个日军师团合围的态势。几个集团军都在几十公里之外与日军或对峙，或兜圈子，没有马上杀过来的意思。
而第10军从物资到心理，是按守半个月准备的。
本来，日军第一次进攻衡阳，两个师团倾尽全力，杀得人困马乏、粮弹不济，正是援军运动过来打他个疲惫不堪的良好时机。方先觉几次想向重庆发电报建议，但都没有去做。他在想，这个情况蒋介石会不了解吗？
频频催援，校长会怎样看我？
从7月2日停止攻击到7月11日第二次进攻期间，日军不间断地在衡阳四周进行袭扰。
一到晚上，不是将百姓的狗和牛赶到河里，将插上烛光的木板放到河里引诱守军打枪消耗弹药，就是派小股部队虚张声势地进行偷袭。因为军委会以较强的中美空军力量支援衡阳守城，日军飞机在白天活动比较谨慎，但有时也乘中美飞机不在时突然飞来轰炸。7月6日，军部医院落弹数十枚，700余名伤兵和许多医护人员当即身亡。
一天，老伙夫招呼方先觉、孙鸣玉等人吃饭。几位将军坐在餐桌前不禁一愣：雪白的大米换成了糙米，鸡肉和猪肉换成了几碗鱼——在南方，鱼是最差的菜了。
方先觉问：“怎么，换口味了？”
伙夫语塞，支吾道：“实在对不起，钧座，好米没有了，鸡鸭和猪肉也没有了，这鱼还是刚才敌机炸弹投到水塘里震漂起来的……”
孙鸣玉说：“吃吧吃吧，这才刚刚开始哩，我算着没有一个月咱们别想见援军的面。”
7月8日，横山勇带着新任68师团长堤三树男中将来到设于衡阳城外的68师团部。堤三树男原任驻无锡第55旅团长，精通攻城，是横山勇亲点的一员强将。
横山勇召开68、116师团军官会议，传达了大本营要求尽快攻占衡阳的命令。
由于太平洋战争失利，日本朝野反对身兼首相、陆相和参谋总长的东条英机的呼声越来越高，军人内阁面临危机。天皇和东条英机都希望以中国大陆新的军事胜利来振奋民族精神，维持目前局面。
7月10日，日军兵站向衡阳部队补充的弹药达到76吨，并形成了每日30吨的供应能力，同一天，日军航空兵配属作战的飞行队在湘潭开设机场。
7月11日上午7时，衡阳城区周围在剧烈的爆炸中腾起浓浓的黑烟。日军对衡阳第二次进攻开始了。
预10师政治部主任杨正华回忆说：
“7月11日晨，敌120联队和第2联队在炮兵配合下，猛攻虎形山。飞机轮番轰炸并投掷燃烧弹，阵地附近的建筑变成了一片瓦砾。防守虎形山的预10师29团劳跃民营死战不退。敌人攻不动阵地便施放毒气。我官兵中毒者甚众，但仍顽强坚守。
“苦战直至第二天上午9时，阵地终于被敌人攻破。2千余日军乘机越过湘桂铁路，突至五桂岭南街。
“为了控制这个要点，军指挥部增调在第二线的3师3营投入逆袭。战斗惨烈，彻夜未停。营长孙虎斌、平射炮连长赵世鹿，8连、9连连长等先后殉国，其他官兵牺牲者亦多。突入虎形山之日军被我逆袭部队歼灭近千人，突入新街之敌亦被歼灭过半。
“7月13日拂晓，敌又发起猛攻，突入新街。3师周师长亲自指挥官兵以手榴弹和白刃与敌搏斗。经过极惨烈的巷战，将突入新街之敌悉数歼灭，阵地转危为安。战中敌120联队长和尔大佐等多名敌军官被我军击毙，周师长作战勇敢，指挥有方，军委会特颁青天白日勋章一枚。”
中国官兵以惨烈的搏杀打退日军一次次强大的攻势，阵地上横尸累累，留在历史的记忆中是一片血光，而日军的进攻同样伤亡惨重。历史对它的记载亦是鲜血淋漓。战后，日军116师团133联队长黑濑平一回忆道：
“（7月——笔者注）11日开始了对衡阳的第二次攻击。战斗极其惨烈，尤其是各级干部伤亡严重，令人总不能从悲愤的情绪中自拔。
“13日，继续攻击前次未能占领的张家山，战斗中，新到任的第1大队长关根彰大尉和带伤指挥的第2大队长足立初男大尉阵亡。第3大队长迫八郎负重伤被救下阵地，但几天后伤口感染坏疽病而死去。
“16日，我向师团长报告战况和伤亡情况，岩永旺师团长对我联队的困难表示理解，调218联队之第3大队归我指挥。但在17日进攻萧家山要点中，该大队不幸误入敌兵的手榴弹伏击区，损失极大，大队长平冈卓大尉也不幸身亡。
“在第一线带领士兵冲锋的中队长和小队长伤亡情况就更加严重。中队长只有一名是战前配备的，小队长全部阵亡。18日在电话中报告战况和伤亡时，不禁流下热泪。我对师团长说，133联队尽到了最大的努力。岩永旺师团长在电话的另一端久久沉默不语。”
7月11日至20日，第10军各师依托着残破的阵地阻挡着日军的疯狂进攻。在几处要点，两军反复争夺。几位亲历老兵都曾说到这样一种感觉，敌人的尸体、战友的尸体，到处都是尸体。整天看见，都麻木了，战斗紧张，心理紧张，来不及想自己的生死。腐尸的气味熏得人恶心、头胀、不想吃饭，到后来也适应了。
10昼夜腥风血雨，日军116师团前进400米，68师团仅前进200米。横山勇根据两个师团上报的减员情况，于7月20日下午5时下令停止进攻，原地休整，补充兵员、弹药。
但令横山勇更加沮丧的另一件事是，7月18日，日本内阁追究战略要点太平洋塞班岛失守的指挥责任，东条英机被迫辞去参谋总长职务，随即被解除日本首相职务。
日军对衡阳第二次攻势失败，在全国抗日军民中引起巨大反响，大后方主要城市举行了庆祝活动，一时间祝捷电报和慰问信漫天飞舞。报刊将方先觉军长和他的4位师长和参谋长孙鸣玉统称为“五虎将”，宣扬得妇孺皆知。
与这种热闹形成强烈反差的是困守在衡阳城中的官兵们。
粉碎日军第二次进攻中，全军战斗减员总计已达7\\/10，自军长到士兵，天天盼望援军到来。不知哪位京剧爱好者带了个头，全城各阵地一阵风一样流行起两句杨家将戏文中杨六郎的唱腔：
“不提那援军还罢了，提起那援军恼煞人”。
符能在衡阳作战前是排长，战斗中连长阵亡，他被提为连长。对那段生活，他回忆道：
“我们守城已经一个多月，死伤多半，伤员没有医药。如190师568团方子才连长带兵游渡草河侦察敌情，返回时被敌发现，方连长右臂被敌机枪打断。回到师部医疗队时，胡队长根据伤势，决定将伤臂锯掉。没有麻药，甚至没有消毒水，只能用开水消毒。锯臂时，方连长痛得全身发抖。
“医生护士安慰道，援军一到药品就会有的。
“许多伤员伤口感染化脓，有的甚至从伤口里长出蛆虫来。伤员们用刺刀削一支竹签，自己去一点点挑出伤口中的蛆虫。许多伤员因为没有药品，伤势恶化而死去。
“由于无法掩埋阵亡的战友们，尸体在夏天的高温中很快就腐烂发臭。一群群老鼠光天化日就来咬尸体，睹之令人心寒。城内老鼠肆虐，许多受重伤不能活动的战友也有被老鼠咬伤。
“本来有够吃三个月的储粮，但由于敌机的轰炸，大部分粮库烧毁，粮食也成了问题。许多士兵打老鼠剥皮用火烧来充饥，有的将老百姓钉在木架上的牛皮取下来用刀切碎煮烂果腹。
“我军和美国飞虎队的飞机有时为我们空投一些粮食和弹药，但杯水车薪无济于事。有的物资落到了敌我中间地带，在双方的射程之内，谁也拿不去……”
仗打到7月下旬，第10军坚守衡阳已逾一个月，等待援军成为守军的生命所系和唯一的精神支撑。九战区驻第10军督战官兼炮兵指挥官蔡汝霖一直与军部在一起，他回忆道：
“衡阳保卫战的最后两旬，我们每夜都在中央银行防空洞上面听援军的枪声，有时听不见就用两手护着耳边，伸着脖子凝神注听。张秘书因听不见，方军长总以为他是年岁大了，耳朵不好。援军的枪声好像故意和我们开玩笑，忽近忽远。听得近了，大家都兴奋欲狂，一切似乎都很光明。
“但枪声远了，大家不觉又皱起眉头，心里也不知是怨是恨、或是希望。有一种说不出的酸辣滋味。
“有一天炮兵陈营长来电话，说我们的援军枪声打得很激烈。他报告的声音显得很高兴，但顷刻我们去电话再问时，他的声音又显得很悲惨地答复说：又听不见了……
“方军长在绝望之中只有用电报向委座、薛长官、王耀武、李玉堂及各友军呼救：‘衡阳危在旦夕’、‘个人事小国家事大’、‘救兵如救火’、‘无论如何，哪怕派一团兵力冲进城来也好’……
“上峰和友军纷纷答复：‘再守三日，援军即可进城’、‘苦斗苦干、必生必胜’、‘切勿功败垂成’、‘坚持最后五分钟’……
“通信营长对我说：测了一个字，十八子李。他说按‘李’字的意义，应在7月18日这天援军进城。他说：我测字向来都是灵验的。
“到了日期，援军杳无消息。我问他，他笑笑说：这是我安定军心的方法。
“我们每天守在译电人员旁边，等待援军的消息。委座、薛长官、王总司令、李副总司令、几路援军及空军，来往文电如同雪片，译电人员像一部机器昼夜不停。我们如看中央社新闻一般，急急地看电文中有无援军消息。只是什么也没有。
“军部的食品，菜由鸡鸭猪肉变为一碗大鱼，由大鱼变为油炸花生米与黄豆。花生米与黄豆吃光了，就吃白盐和开水，饭也换成了灰糠与糙米。苦吧？并不觉得。
“一天，收到委座电报：‘我比你们还急，你们苦处我全明白，不必说，敌人知道了打得你们更厉害！’
“孙参谋长曾说守城满一个月时必定能解围，将到一个月时，音讯全无。我对孙打趣说：‘即将胜利了，你要准备守城战术材料，将来到了后方，各学校一定请你讲守城要领。’
“孙说：‘没有旁的，就是地形要熟，连一个巷子的宽度都应该知道。’
“我又转向张秘书说：‘你要预先准备各方贺电的回电稿，以免临时来不及，因为一个字不当就会得罪人。’
“又对彭参谋说：‘你要准备接见记者来访问。’彭说：‘嘿！这是我常做的事。但说实话，我就怕见记者。因为你来他去，一天到晚不能休息！’
“方军长也插入我们的谈话，他说：‘哪一部援军先打进城来，我一定向委座叩头，请求颁给他一枚青天白日的勋章！’
“仿佛援军真的就要到了似的，想来真好比连饭都吃不饱的人在谈论怎样住高楼坐汽车。
“方军长有一只黄狗，行动不离主人，一声不叫，到了最后那几天时，它钻前跑后乱吼乱叫，大家说：连狗也着急了……”
在守军望眼欲穿之中，各路援军仍在途中。一个月里，他们徘徊观望者有之，敷衍塞责者有之，虽经苦战但力不从心、突不过日军拦截者亦有之。
7月23日，蒋介石再次向62、74、79、100及37军下达进行围困衡阳之敌的严厉命令。日军破译了军委会和九战区使用的通讯密码，以27、34、40、64师团重兵在衡阳外围堵截。
此次，援军再也不敢怠慢，几经苦战，但仍无一能杀入重困增援衡阳者。第10军官兵们眼巴巴听着衡阳外围的枪声时近时远，心中无限凄凉。
日军久攻不克衡阳，日驻中国派遣军打通大陆交通线、破坏中美空军西南机场的战略意图受阻于一个残破不堪的第10军。日军11军司令官横山勇受到大本营来电指责。横山勇于8月2日率少数参谋人员由长沙赶往衡阳前线。
为避开中美空军，横山勇所带的两架飞机于8月2日凌晨5时30分天刚亮时飞抵衡阳江东机场。
衡阳守军发现两架敌机着陆，当即以迫击炮进行连续射击。飞在横山勇座机前的那架在刚落地时中弹，为尽快停下来，驾驶员紧急刹住轮子，使飞机在惯性力中倒立起来，翻过身去。横山勇见有炮袭，招呼随从人员一起，在飞机还没有完全停稳时就跳到跑道上，并迅速离开机场。飞机刚停稳时，一颗炮弹在机腹下爆炸，一名未离机的军官和两名飞行员当即身亡。
这次来衡阳组织作战，横山勇将擅长城市攻坚的第58师团拉上来作为主力，另以第13师团加强力量，加之68和116师团原有兵力共4个师团建制。横山勇以绝对优势兵力，部署对衡阳的第三次攻击。
8月3日，日11军在衡阳以北4公里处开设作战指挥所。同一天，横山勇亲自组织了4个师团的参谋长进行了一整天兵棋推演，周密安排了各部队和各兵种的作战协同。8月3日晚上，横山勇来到133联队，向官兵们宣布，大本营鉴于133联队在前两次作战中的英勇表现，晋升联队长黑濑平一大佐为陆军少将。因暂时没有旅团长缺职和即将展开的作战的需要，黑濑仍作为联队长率部作战。
4日6时，横山勇带领各师团高级军官遥拜东方本土。仪式毕，他抽出战刀，向衡阳城猛地一挥。