新中国成立之初的前十年，中国人民解放军一边作战，一边精简整编。军队数量由最高时的600余万减至200余万，初步建立了科学合理的编制体制，军队的质量迅速提高。
1950下半年至1951年，首次精简整编
中华人民共和国成立之时，近450万的解放军基本上还是“小米加步枪”的以步兵为主体的陆军，没有空军，也没有海军，技术兵种也很少。随着中南、西南、西北等地区战略追击作战的迅速胜利，解放军的总员额在1949年底很快达到了570万人。陆军有19个兵团部、70个军，其中绝大部分是步兵部队，只有少量的特种兵部队。此时，解放军数量庞大，兵种单一，武器装备庞杂、落后，机械化程度很低，编制体制不完备、不统一。这与即将开始的全国大规模经济建设和军队现代化建设的总目标和总任务不相适应，必须进行精简整编。
1950年4月，中共中央政治局首次开会讨论了人民解放军的精简整编问题，决定将全军总员额由550万减至400万，同时还计划了这400万兵力的编配：西南军区78.8万，中南军区98.7万，华东军区99万，东北、华北、西北3个军区共100万，军委直属单位及海、空军20万。中央军委为了贯彻落实好政治局会议精神，搞好首次精简整编工作，于同年5月16日至31日在北京召开了全军参谋工作会议，专门研究部署这项工作。朱德总司令亲自到会讲了话，聂荣臻代总参谋长作了总结报告。全军参谋会议确定了这次整编的原则：担负剿匪和其他军事任务以及从事生产的部队，力求少变动，不要变动太宽；全国陆军统编为国防军和公安部队；国防军分为战时和平时两种编制，平时一般为“三三制”；野战军领导机构兼大军区领导机构；兵团领导机构兼省军区领导机构；整编后的陆军军、师，统归大军区直接指挥；加强陆军师的领导机构，使其具有独立作战及诸军兵种联合作战的能力；成立公安部队领导机构，统一指挥全国军事系统中的公安部队和属于政府系统的人民警察。
聂荣臻在会议总结讲话中说：“我们处在历史的新时期。我们的军事任务，较之过去时期是不同的。我们的基本任务，是将人民解放军提高一步，发展空军、海军和其他技术兵种的建设，以对付帝国主义可能的侵略行为，有效地保卫国家的独立，巩固国际的和平事业。”他还指出：“我们要现代化，仅是550万的正规军，既无空军，又无海军及特种兵部队，现代化的国防建设与国防力量怎样去加强？故我们必须要缩小陆军数目，减少财政开支，加强空军、海军及其他兵种建设，并使我们的陆军能与空军、海军及特种兵部队保持适当比例……因此，缩减陆军减少财政开支，增加其他军兵种经费开支，都是为了加强我们国防建设与国防力量。”
6月30日，中央人民政府人民革命军事委员会主席毛泽东、政务院总理周恩来发布了人民解放军复员150万人的决定。中共中央和中央军委对这一次精简整编高度重视，为贯彻落实上述决定，领导好新中国成立后的首次大规模的复员工作，中央军委和政务院共同组成了中央复员委员会，中央军委副主席、政务院总理周恩来亲自任主任，聂荣臻任副主任。中央复员委员会拟定了复员工作大纲，以中央军委主席毛泽东和政务院总理周恩来的名义颁发了复员工作条例，地方各级政府也均成立了复员委员会，具体负责复员战士的安置工作。此次复员的原则是：干部不复员；对每个复员战士，务使各得其所，尽量做到人人满意。
毛泽东、周恩来和聂荣臻等军委领导，为搞好共和国成立后军队的第一次精简复员工作，对组织领导方法、步骤、复员人员的待遇和安置等，作了一系列的指示。
在中央和军委首长的亲切关怀下，这次大规模的复员工作完成得非常好，工作做得周到、细致。从1950年下半年开始到1951年基本结束，整个复员工作进展顺利，没有发生大的问题。
第一次全军精简工作，到1951年初基本结束，共缩减陆军2个兵团、9个军、27个师，94万余人。由于抗美援朝战争爆发，精简工作未能继续进行，军队又进行了扩编，到1951年12月，全军总人数增加到627万，是解放军历史上兵力最多的时期。
1952年，第二次精简整编
1951年底，中央军委根据国内大规模剿匪作战已取得了决定性的胜利，抗美援朝战争已转入阵地防御作战阶段，出现了比较稳定的形势，故决定于1952年再次对人民解放军进行大规模精简整编，以提高军队的质量，支援国家经济恢复工作。中央军委根据中共中央关于整编部队、加强国防力量的指示，于1951年12月制订了《军事整编计划》。计划确定：在两年内将军队总人数从627万，分期分批精减为285万，共精简342万人。
