第二年春天，叛军发生内讧，安禄山的儿子安庆绪杀了安禄山，自己称帝。要消灭叛军，这本来是个好机会。但是肃宗急于回长安，不听李泌的计划，把郭子仪的人马从河东调回，强攻长安，结果打了一个败仗。后来，郭子仪借了回纥（我国古代北方民族之一，纥音ｈé）的精兵，集中了十五万人马，才把长安攻了下来。接着，又收复了洛阳，叛乱头目安庆绪逃到河北，史思明也被迫投降。
唐军收复了长安和洛阳，唐肃宗觉得心满意足，用骏马把李泌接到长安。
唐肃宗的宠妃张良娣和宦官李辅国，嫌李泌权大，早就互相勾结，想把李泌除掉。
太子李俶发现张良娣他们想害李泌，就告诉了李泌。李泌说：“不打紧。我和皇上有约在先，等收复京城，我就归山，就没有事了。”
这回，李泌见唐军收复两京，算是了却一个心愿，决心离开朝廷。
有一天晚上，唐肃宗请李泌喝酒，并且留他一起睡。李泌趁机会就对肃宗说：“我已经报答了陛下，请让我回家再做个闲人吧！”
唐肃宗说：“哎，我和先生共了几年患难，现在正想跟您一起享受安乐，怎么您倒要走了呢？”
李泌恳切地说：“我和陛下结交太早；陛下太重用我，信任我。就是因为这些缘故，我不能不走。”
唐肃宗说：“今天先睡吧，隔天再说。”
李泌说：“今天我跟陛下坐在一个榻上谈话，你不答应我。将来到了公堂上面，就没有我说话的余地了。如果你不让走，那就等于杀我了。”
唐肃宗虽然不愿让李泌离开，但是经不住李泌一再请求，只好同意。
李泌到了衡山（在今湖南省），在山上造个屋子，重新过他的隐居生活。
李泌走了以后，唐肃宗身边少了一个正直的大臣，李辅国等一批宦官的权力就大起来了。
如何评价唐朝的李泌?
李泌所处的时代，是一个多事的战乱时代；他所处的朝廷，是一个矛盾极为尖锐的朝廷。如何在这个异常复杂的环境中保全自己，是当时每一个人，特别是当权者都要遇到的问题。前文提到的曾排挤过李泌的杨国忠、李辅国、元载都曾权倾一时，后又都在政治斗争中被杀。在进入权力中心之后，李泌则时刻以世外神仙自居，甚至不惜以荒诞的形式宣示于众。
（1）善于协调统治集团内部的关系
（2）具有阔大的政治家胸怀
（3）反妥协，反割地，作风果敢
（4）具有传统士大夫的死节精神
