到了五十四回，贾母才算是真正的发飙了说道“袭人怎么不见？他如今也有些拿大了，单支使小女孩子出来。”贾母说这番话，并非单指这一次事，而是多次事件累积后的不满，要注意贾母说这番话的场合，是在全家欢乐的元宵节，即便有什么事也该过了节日再说，但是贾母没忍住，当时王夫人就替袭人解释，贾母对于王夫人亲自解释还是给了面子，但是老太太的原话却是“跟主子，却讲不起这孝与不孝。若是她还跟我，难道这会子也不在这里不成？皆因我们太宽了，有人使，不查这些，竟成了例了。”这一句话还是对袭人的批评，贾母对袭人的不满已经不是一天两天了，在下文中凤姐拉出为宝玉的缘故打圆场，贾母才不在追究，并且给了台阶下，表扬了几句。当凤姐说袭人的娘死了，太太赏了四十两银子，贾母的态度只是点头，说了句这还罢了。对于府中姨娘家中人死后的葬银多少，那是有例子。贾母自己也是从年轻凤姐这一代过来的，她岂能不知道，只不过挨着王夫人的面没有说而已。
在六十四回里袭人要为宝玉赶着做扇套，宝玉让她歇歇，袭人是怎么说的呢“如今那府里有事，这是要过去天天带的，所以我赶着另作一个。等打完了结子，给你换下那旧的来。你虽然不讲究这个，若叫老太太回来看见，又该说我们躲懒，连你穿带之物都不经心了。”在贾母的眼中，袭人至始至终都是一个丫鬟，而不是姨娘的位置，对于宝玉生活的得失袭人是要负责任的。直到七十八回王夫人在贾母面前诋毁晴雯顺利成功后，又推举袭人为宝玉的内定姨娘，贾母迫于无奈才算认可，饶是如此还说她是个没嘴的葫芦。
