这样让人咋舌的财富让朱皇帝很是在意，起自淮右布衣的朱元璋从骨子里是极端仇视富人的，在即位之初即命江浙富户数千家迁入南京，表面上说是为京城繁荣，实际上是将这些富户连根拔起，并借机将他们的土地收走。时为江南首富的沈万三当然也逃不出朱皇帝的手心。在出资修筑了十多里的城墙后，朱元璋封了沈万三的两个儿子为官。也不知是为了报答皇帝的恩情还是再次展示自己的财富。沈万三竟然向朱皇帝提出由自己出资劳军。这样的建议极大刺激了皇帝的自尊心，由此引出了下面的对话：朱元璋说：“朕有百万军，汝能遍济之乎？沈万三说：每一军犒金一两。朱元璋说：此虽汝至意，不须汝也！”
之后的结局就是皇帝以为你一个平民百姓要代天子劳军，是要造反吗？随后沈万三就被充军发配云南并死在那里（寿八十多岁）。而沈氏一家的厄运才刚刚开始，在“胡惟庸案”中，沈万三的女婿陆仲和被牵连其中并被处斩。洪武十九年，沈万三的两个孙子沈至、沈庄又因田赋而坐牢，并在不久后死在牢里。洪武三十一年，因沈万三的女婿顾学文牵连进了“蓝玉案”，沈氏一族八十多口被满门抄斩。这个曾经富可敌国的江南第一大族从此也消失在了历史的长河之中。
