康复后的黄维又回到了功德林战犯管理所。因他身体不好，被安排半日象征性劳动半日学习。后来，多数战犯都转到了距北京40公里的秦城农场去劳动，黄维和其他几个有病的战犯仍留在功德林养病。
自1956年开始，管理所不但组织战犯参加“五一”、“十一”的天安门庆祝活动，还组织他们外出参观了长春第一汽车制造厂、武汉长江大桥、南京中山陵等。当看到那一批批国产的汽车和那横跨长江天堑的大桥时，黄维深深感到，中国共产党的确做了国民党做不到的事情。
1959年，人民政府对战犯开始实行特赦。周恩来总理曾点名要特赦黄维，但根据黄维在管理所的表现，大家认为他改造得还不彻底，若此时将他特赦出去，不仅对他本人不利，别的战犯也不会服气。黄维被留了下来。他本人在仔细分析了自己的思想状况和表现之后，对这一决定心悦诚服。不久，他被转到秦城农场继续改造，1968年又被转到了辽宁抚顺。
1975年3月19日，是黄维一生中最难忘的日子。这一天，中央召开了隆重的宣布对全体战犯特赦的大会，许多党、政、军的高级领导都前来参加。这壮观的场面、热烈的气氛，使得黄维及其他最后被特赦的战犯激动万分。在长达27年的改造生涯中，黄维由一个顽固坚持反动立场、拒绝进行改造的战犯，逐渐变成了一个拥护共产党政策，拥护社会主义，与共产党同心同德的人，这是一个多么巨大的变化啊！
会后，黄维回到自己的房间，一遍遍看着手中的中华人民共和国最高法院颁发的特赦通知书，心情久久难以平静。他回想自己27年所走过的崎岖道路，看看今天，禁不住放声痛哭。他真正佩服共产党对国民党战犯的宽大教育政策，佩服战犯管理所工作人员的思想修养和工作方法，感谢共产党27年来对他的改造。
特赦后，71岁的黄维从抚顺回到北京，受到党和国家领导人的亲切接见。黄维代表全体特赦人员宣读了致毛主席和党中央的感谢信，并表示要努力为祖国的社会主义建设事业多做贡献。
之后，政府马上安排黄维与妻子儿女团聚，并让他当上了全国政协文史专员，每月工资200元，还给他安排了新家。1978年3月，根据周恩来总理生前的指示，黄维又被推选为全国政协常委。
1989年3月20日，黄维因心脏病突发，在北京病逝，终年85岁。
