女儿胡木英回忆说：
他参加中央工作会议后，神经衰弱已严重到无法拿笔写文章的地步，他被迫放下一切工作彻底休息。于是他给毛主席写了封信，请假去休息一段时间。
1961年8月17日，胡乔木给毛泽东写了一信，说明病情，要求请长期病假。一星期之后，正在庐山上主持中共中央工作会议的毛泽东回复一函，表示同意——
乔木同志：
8月17日信收到，甚念。你须长期休养，不计时日，以愈为度。曹操诗云：盈缩之期，不独在天。养怡之福，可以永年。此诗宜读。你似以迁地疗养为宜，随气候转移，从事游山玩水，专看闲书，不看正书，也不管时事，如此可能好得快些。作一、二、三年休养打算，不要只作几个月打算。如果急于工作，恐又将复发。你的病近似陈云、林彪、康生诸同志，林、康因长期休养，病已好了，陈病亦有进步，可以效法。问谷羽好。如你转地疗养，谷宜随去。以上建议，请你们二人商量酌定。我身心尚好，顺告，勿念。
毛泽东
1961年8月25日
从此，胡乔木离开了他的工作岗位，虽说他名义上还是毛泽东的政治秘书，实际上他已不在毛泽东身边工作。政治秘书工作，由陈伯达一人承担。陈伯达权重一时，以致“文革”爆发时出任“中央文革小组”组长。
胡乔木这一病，不止病“一、二、三年”——一直病到“文革”爆发。
胡乔木患神经衰弱症，这是确实的。不过，他一病就病得那么久，内中有没有政治因素，这就不得而知了。
毛泽东的信中，提及了陈云、林彪、康生的病况。内中，康生、林彪的病，明显地带有“政治病”的色彩……
胡乔木多年担任毛泽东秘书，曾经精辟地指出：“秘书要具有政治家的视野”。
他说：“秘书一要正确观察、分析、判断形势，尤其是政治形势;二要根据形势的正确判断，从宏观上提出相应的微观政策。”
这几句话，可以说是胡乔木多年担任毛泽东秘书的深刻体会。
