1944年4月17日夜，日军在开封方面渡过黄河，19日占领郑州；5月1日，日军攻陷许昌，25日洛阳失陷。5月下旬，日军以14个师团的兵力发动湖南会战。第九战区司令长官薛岳指挥4个集团军(共15个军)另2个军共约40万人，在空军(飞机181架)、友邻战区支援下，以一部依托湖北通城东南山区、湖南新墙河南岸、沅江和益阳地区的既设阵地，节节抗击，消耗、迟滞日军；主力分布于浏阳、长沙、衡阳及宁乡等要地，相机歼敌。
6月2日，军事委员会致电第九战区：“饬薛长官转各总司令、各军长、师长，上下一致，争取最后胜利。并规定凡命令固守地点，不得擅自撤退，违者照连坐法治处。……令固守长沙(岳麓山)、浏阳、衡阳三要地。”
6月14日，日军占领浏阳；16日，日军对岳麓山及长沙市发动总攻，18日15时，长沙失陷。随后，东、西、中路日军从三面包围了衡阳。
衡阳位于湘江中游，城东端紧临湘水西岸，系粤汉铁路和湘桂铁路的交会点，是第九战区的重要战略基地之一。防守衡阳的部队为第十军，下辖第三师、第一九○师及预备第十师，另外还配属有暂编第五十四师(欠2个团)及第四十八师的战防炮营、第四十六军的1个山炮连和第七十四军的野炮营。防御部署是：第三师防守衡阳西北部，预备第十师防守衡阳西郊，第一九○师防守衡阳南郊，暂编第五十四师防守衡阳北郊。
杨光荣本来是被调去守长沙的。“九战区没有我们这种炮，长沙、衡阳不靠近湘江嘛，兵舰能过去，坦克能过去，他们就向大本营打电报申请，要这种炮，一查，驻在云南的部队有，就把我们调到长沙去。”
6月19日，赶了7天的路，终于到达长沙城郊的时候，杨光荣忍不住骂起人来——长沙已落入敌手。
杨光荣回忆：“我到九战区的指挥部去报到，他们说：‘你赶紧到第十军报到，第十军守衡阳。’我就赶紧去了衡阳。”
决心死守“小上海”的“泰山军”
衡阳城内，两个多星期前，第十军军部电台报务员卢庆贻已经开始把电台之类的设备往中央银行的地下室里运。
卢庆贻回忆：“地下室全部是钢板防护，不管炸弹还是炮弹，都没有妨碍。军司令部同我们电台隔得不远，军司令部都在地下室。”
休息的时候，卢庆贻登上中央银行的楼顶平台，他看到，30万居民正在紧张迁移。
