1971年2月后，在毛泽东、周恩来的关心下，公安部的工作有了好转。1970年12月到1971年2月11日，在周恩来的指示下，公安部召开了第十五次全国公安会议。周恩来到会，对谢富治进行了严厉批评，传达了毛泽东“对公安工作要一分为二”的指示精神，明确指出新中国头17年的公安工作是毛泽东思想占主导地位的，绝大多数公安干警是好的和比较好的。周恩来的讲话传达后，一部分领导干部和业务骨干陆续回到部机关，公安部也恢复了与地方公安机关的联系和对他们的业务指导。
骨灰被请出了八宝山革命公墓在“文革”中劣迹斑斑的谢富治，因为身体的原因才没有能够继续危害社会。1970年，谢富治经诊断患有胃癌。此后，他的活动明显减少，6月，其公安部的工作移交给了李震。
1972年3月26日，谢富治在北京病死，终年63岁。3月29日，谢富治的追悼大会举行时，天安门、新华门等处均降半旗志哀。悼词称谢富治的死是“我党我军的重大损失”。
1978年12月，中共十一届三中全会决定对谢富治、康生进行审查。1980年10月，中共中央决定把康生、谢富治的反革命罪行向全党公布，同时撤消这两人的《悼词》，并开除党籍。谢富治的骨灰匣也被请出了八宝山革命公墓，揭下了覆盖的党旗。1981年1月23日，中华人民共和国最高人民法院特别法庭判决书特法字第一号确认，谢富治为林彪、江青反革命集团案16名主犯之一。
