胡善祥虽然被立为皇后，但很少得到明宣宗的宠爱，而孙贵妃却宠贯后宫，“妃有宠”“时孙贵妃有宠”的字眼在《明史》中跳跃。即位之初，明宣宗“颇事游幸，且好弄”，作为皇后的胡善祥“数数规讽”，惹得明宣宗很不高兴，以至于“上稍厌后”。宣德二年（1427年）十一月，孙贵妃生下一子，即朱祁镇，这是明宣宗在三十岁时得的第一个儿子。明宣宗非常兴奋，宣布大赦天下，孙贵妃“由是眷宠益重”。与此同时，明宣宗内心也有了废掉胡善祥，另立孙贵妃的念头，毕竟在当时“母以子贵，礼也”。
为此，明宣宗召集大臣，商议以什么借口废掉胡善祥。明宣宗提出，“后未有子，又善病”，应该让位。众臣见皇帝铁了心，只能就范，并提供了宋仁宗废郭后、光武帝废郭后的先例。宣德三年（1428年）二月，明宣宗将朱祁镇立为太子，随即“帝令后上表辞位，乃退居长安宫，赐号静慈仙师，而册贵妃为后”。胡善祥嫁给明宣宗十一年，当了两年半皇后，最终因为失宠离开了中宫。
胡善祥“性本恬不喜事华饰”，退居长安宫后，“至是学清净，奉黄老为仙姑”，参习道法，平静度日。皇太后张氏“悯后贤，常召居清宁宫。内廷朝宴，命居孙后上。孙后常怏怏。”在皇太后心里，胡善祥的分量要比孙皇后重得多。明英宗正统七年（1442年）十月，太皇太后张氏去世，胡善祥痛哭不已，第二年也离开了人世，明英宗朱祁镇下令“用嫔御礼葬金山”。天顺七年（1463年）闰七月，明英宗尊谥胡善祥“恭让诚顺康穆静慈章皇后”，恢复了其皇后名号。
胡善祥是明朝第一位遭废黜的皇后，之后以“静慈仙师”的身份清虚度日十五年，去世时大约四十几岁，其“无过被废”“贤而无罪，废为仙师”的不幸遭遇，“天下闻而怜之”。大概出于这层原因，故世人对取而代之的孙皇后愤恨不已，甚至史料中说孙皇后也就是曾经的孙贵妃借腹生子，如《明史》称“妃亦无子，阴取宫人子为己子，即英宗也”，《胜朝彤史拾遗记》称“宫人有身者，贵妃隐之为已有”。当然，这是不符合历史实情的，也经不起推敲。
