自湘军兴起至甲午战后新式陆军的编练，湘军军制影响了清代军事制度整整40年，可见其影响之深远。但这种影响的另一方面也同时表现在：湘、淮军虽暂时挽救了清王朝行将灭亡的命运，却也由此动摇了清王朝中央集权的军事基础，使军权和政治实权从满清皇室贵族手中逐渐转移到汉族的督抚大员手中，从而导致了近代军阀制度的产生和加速了清王朝的灭亡。人们把曾国藩和湘军视为近代军阀的渊源，也是不无道理的。如果说，此前者是曾国藩本着“勤王卫道”的目的和维护封建统治的愿望出发，收到了预想的效果的话；那么，此后者则是清王朝所始料未及，也是与曾国藩本人的愿望大相径庭的。
曾国藩的军事思想好影响了几代人，且不说其同时代的湘、淮将领以曾国藩为楷模，就是其后的黄兴、蔡锷等资产阶级军事家对曾国藩治军方略也推崇备至，张之洞、袁世凯等在甲午战后采用西法编练新军时，还采纳了曾国藩治军的许多做法。民国军事家蒋方震在他的《国防论》中赞赏曾国藩是近代史上“一个军事天才家”，还说凡领军者都应该效法曾国藩。蒋介石则明确表示要师承曾国藩，要求国民党军队中的将领必须“认清历史，效法曾胡”。连毛泽东这样的无产阶级军事家，早年时也曾有“近人之中，独服曾文正”的话语，可见对其影响不小。
