后来，黄维跟随方志敏一起报考黄埔军校，方志敏对黄维关怀备至，可以说，如果没有方志敏陪同，黄维简直寸步难行。他们先来到了上海，但不巧，因为来得太早，黄埔军校还没开始正式报名，而且据传言说黄埔军校能不能开办还尚难确定。这时，黄维的盘缠也快耗尽，在进退两难之际，方志敏又托上海的熟人给黄维暂时找了份工作，使黄维的吃住有了着落，解了黄维的燃眉之急。不久，黄埔军校开始招生，方志敏与黄维都顺利通过了初试。黄维想到今后能与方大哥一起心里特别高兴。但没想到，接到复试通知的第二天，方志敏告知黄维自己有些事情要办，不能复试了，叫黄维先去广州，自己忙完就去广州找黄维。没想到这竟成了二人的诀别。实际上，早在1923年方志敏就加入了中国共产党，他在上海与黄维分别是受中共指派去了江西。当时，方志敏没给黄维说，因为这是党的纪律，否则的话，黄维的命运也许会和以后大相径庭。
进入黄埔后，在国共合作的大背景下，徐向前、陈赓、左权等共产党高级将领都曾是黄维的同学。但黄维加入国民党后对蒋介石忠心耿耿，也没与共产党人擦出火花，实属遗憾。1949年1月10日淮海战役，黄维被围双堆集眼看死到临头，解放军中原野战军司令员刘伯承和华东野战军司令员陈毅曾多次劝降黄维，但黄维还是顽固不化，坚决抵抗。
黄维被俘后，先后在北京功德林监狱和抚顺战犯管理所接受改造。在长达27年的改造过程中，黄维还是未能受中共感化。当时。所有国民党战犯在学习毛泽东的《论持久战》后，都会写读书笔记并结合自己的罪行当众作思想报告。杜聿明就曾写了万余字的读书笔记并作了2个多小时的报告。而黄维不但不写笔记，别人作报告时他也一言不发。一次，黄维的妻子来探监并给黄维做了很丰盛的饭菜，用餐中妻子劝他和中共合作，争取早日特赦。
结果，黄维直接把筷子摔在桌子上，并大声斥责夫人：“从现在起不吃你做的饭，你也别来看我!”但是，共产党和政府还是予以最大的宽容对待黄维，黄维初到功德林监狱时身患五种结核，经中共医护人员四年的精心治疗护理根治了他的病症，日常生活中他也受到了优待。后来，黄维以研究“永动机”为名拒绝思想改造，但中共还是尽力满足他的要求，周恩来总理还亲自审阅了他的设计图。1975年3月，黄维作为最后一批国民党战犯被特赦，后被中共任命为全国政协委员，在政协文史资料研究会工作。
暮年的黄维曾回到江西老家，当站在方志敏烈士墓前时，黄维沉默了，深为自己未能像方志敏一样报国为民而流下了悔恨的热泪。叹曰：“廉颇老矣，尚能饭否?”黄维一直困惑：“国军人数装备俱优于解放军，为何还会如此惨败?”殊不知，共产党爱民如子，与人民情同鱼水。国民党纵有雄兵百万，但面对亿万民众，犹如石牛人海，岂可奈何?正应了“水可载舟，亦能覆舟，得民心者得天下!”这句古语。
