1949年2月2日凌晨3点，张学良又被突然转移到高雄，秘密藏在寿山要塞的兵舍中。当时，“代总统”李宗仁要求“恢复张、杨自由”，毛人凤等借口不知“张、杨”在何处，推托不办。尽管各界呼声甚高，但没有“蒋先生”点头，自然无人去落实，故一拖再拖，终成一纸空文。而张学良、赵一荻被囚禁于台湾井上温泉已被外人知晓，为了“安全”就把他们紧急转移高雄。
在高雄住了近一年，因为担心高雄已成为空袭目标，1950年1月，张学良又搬回井上温泉，从此开始了长达十余年的井上幽禁岁月。井上温泉远离城镇，采购困难。“大伯靠自己种点青菜、养些鸡鸭才得以维持简单的营养。本是大家闺秀的大妈关在山里，那段日子生活很艰苦，没有衣服穿，都是我大妈自己做的。那里连电灯都没有，几年里，大伯听力、视力大为减退。他的精神也很苦闷，有时只能逗小猫打发时间，一点娱乐都没有”。张闾蘅回忆起伯父的这段岁月，感慨万千。
但是张闾蘅并不是一开始就知道自己有个大伯和大妈，住在新竹县竹东的一个人烟稀少的山里。
“我第一次见到我的大伯、大妈大概在1954年。”那一年，张闾蘅在台湾上小学五年级。有一天，接她上下学的三轮车夫给了一张纸条，纸条是妈妈让闾蘅放学后直接到台北中心诊所找她。
到了之后，她发现全家人都在诊所，等待着张学良和赵一荻的到来，一听到廊道有动静，家人都贴在门缝往外看。妈妈告诉闾蘅：“大妈生病要住院开刀，大伯、大妈从山里来到台北。”但是这一次，小闾蘅并没有和大伯、大妈直接碰面，而是偷偷地看，“我只是看清了大妈的模样，而大伯只看见了背影。”张闾蘅说。
■从幽禁到半自由张闾蘅上高中时，大伯、大妈从高雄搬回台北，但还是不允许与家人见面。“记得一个星期天，迪克（卢致德）约我们一家去做客，他家隔壁住着董显光（原“驻美大使”），听说那天大伯、大妈会到董显光家做客，这次，我们是隔着大玻璃窗观望。”张闾蘅至今还记得那次终于看清了大伯的模样：“个头不太高，有些发福，头发灰白，几乎掉光了，怎么也想象不出当年英俊少帅的样子”。
