孔祥熙的丑闻避免外扬，蒋介石过去保孔为的是保己，现在到了非换马不可的时候，弃孔也是为保蒋自己。陈布雷提醒老蒋必要时还得弃车保帅。
在免去孔的职务时，蒋介石采取的是暧昧手法。1942年国际形势发生了变化，这种变化对中国抗战是有利的。成立了美、英、苏、中同盟国的反法西斯统一战线，共同消灭法西斯。此时外交比军事还重要。蒋介石委他舅兄宋子文出任外交部长，后以特使身份要去美、英签约，故提高“档次”以宋为行政院副院长兼外交部长。孔祥熙则于1945年 5月才正式提出辞去行政院院长的辞呈。可见其中内幕之微妙。
在“四大家族”内斗失意的孔祥熙，仍然是“孔财神”。1947年四川水灾，上海市长吴国桢主持为水灾募捐大会，邀了孔出席。与会者满以为这个中国第一富豪，会乐善好施，结果孔却一毛不拔。慷慨捐献的竟是杜月笙。吴国桢对左右说：“你看这个家伙还不如一个流氓！”
