安史之乱后不久，太子李亨在灵武即位，是为唐肃宗。当时，李亨身边的文武官员只有30人，这个临时建立的朝廷干什么都没有秩序，一些武将也不太听指挥。李亨想平定叛乱，非常需要有个能人来帮助他。这时，李亨想起了好朋友李泌，就派人从颍阳（在今河南）把李泌接到灵武。
李泌想到朝廷有难，便马不停蹄地赶到了灵武。李亨看见李泌，高兴得像得到什么宝贝一样。那时候的临时朝廷不太讲究礼节，李亨跟李泌就像年轻时候一样，进进出出总在一起，大小事情全都跟他商量。李泌出的主意，李亨全都听从。李亨想封他当宰相，李泌坚辞不受。后来，李亨只好任命李泌为元帅府行军长史（相当于军师）。
那时候，郭子仪也到了灵武。朝廷要指挥全国的战事，军务十分繁忙，四面八方送来的文书从早到晚没有一刻的间歇。李亨命令把收到的文书一律先送给李泌拆看，除非特别紧要的才直接送给自己。宫门的钥匙由太子李俶和李泌两人掌管。李泌有时忙得连饭也顾不上吃，觉也不能睡安稳。
后来，叛军发生内讧，安庆绪称帝。这本来是个消灭叛军的好机会，但李亨急于回长安，不听李泌的计划，让郭子仪的人马从河东回攻长安，结果打了败仗。后来，郭子仪向回纥（我国古代北方民族之一）借精兵，集中了15万人马，才把长安攻了下来。接着，又收复了洛阳。叛军头目安庆绪逃到了河北，不久，史思明也被迫投降。
唐军收复了长安和洛阳，李亨便觉得心满意足起来，用骏马把李泌接到了长安。一天晚上，李亨请李泌喝酒，并且留他在宫里安睡。李泌趁机对李亨说：“我已经报答了陛下，请让我回家做个闲人吧！”李亨说：“我和先生几年来患难与共，现在正想跟您一起享受安乐，怎么您倒要走了呢？”李泌一再请求，李亨虽然不愿让李泌离开，最终也只好同意。
李泌到了衡山，在山上造了个屋子，重新过起了隐居生活。
