为了备战，军方决定“衡阳空城”。时为预备第十师师长的葛先才在回忆录中说：“要求城厢内外人民一律撤退不可留下一人，以免伤及无辜百姓。”他写到百姓逃难时的景象：
东西两站人山人海，扶老携幼、肩挑手提，大人喊叫声，小孩啼哭声，一片混乱凄惨景象。还有孩子多、所携之物较重者，挤不上车，坐在路轨旁，露宿餐风，等待下一空列车到来。车站轨道上，经常停有七八列载满人群列车，等待开出。
不但车厢内挤满了人，车顶上亦有人满之患。远处望之，有如一条条死蚯蚓爬满了蠕动着的蚂蚁，惨不忍睹。列车出站入站三昼夜不停，庆幸于敌人攻击之先三天疏散完毕，大家才松一口气。
夜晚，衡阳渣江镇逃难的人群中，一对父母拉扯着一个6岁女孩逃向山中。这个女孩就是后来成为作家的琼瑶。45年后，在自传体小说《我的故事》中，琼瑶回忆：“一路上，遍是荆棘和杂草，天亮的时候人们发现，自己的家园已经被烧成了平地。”
卢庆贻说：“坚持要老百姓离开，一个是怕伤害他们，再一个也怕汉奸混在百姓里头搞鬼。”
出城的人群中，有一个名为彭忠志的年轻人却急着进城。
彭忠志回忆：“那时我为什么要到衡阳去？学校停课了，我哥哥彭忠荣是预备第十师二十九团迫击炮连连长，驻在衡阳，我去他那里看一看，不晓得要打仗了。”
从小崇拜哥哥的彭忠志没想到这一去就留在了部队。彭忠荣承认：“他去部队受我的影响。”
彭忠志说：“我到了部队就对哥哥说：‘我留下来做事可以吗？’他就跟团长讲：‘我弟弟在学生会搞宣传工作，会画，会写。’团长就让我帮他们写标语，比如抗日必胜、还我河山。”
这个成天乐呵呵写标语的新兵，还无法想象这座城市将经历一场怎样的血战。
到了衡阳的杨光荣对这座城市印象深刻：“当年衡阳相当热闹，两个汽车站，还有个飞机场，能同时起飞6架飞机。”
战争爆发后，上海、汉口等地工厂搬迁到衡阳，加上原本就发达的工商业，1944年的衡阳，被称作“小上海”。时为预备第十师三十团三营副营长的蒋鸿熙在回忆录中写到战前的衡阳：“多么繁荣的市面啊！真是车水马龙，百货俱全。我找不出什么适当的词语可以形容这热闹的场面，只可以套用两句话来包括：‘目不暇接，惊心荡魄’。”
早在“一号作战”之前，毛泽东就认为，从战略上看，衡阳远比长沙重要。不过，驻守这一重镇的第十军，却面临兵力不足的窘境。
