前事先定天宝十四年（754年）三月三日，李泌自洛阳乘驴回别墅，随行的仆人落在后面。路旁有一个大门，毛驴竟自行走了进去，李泌无法制止。这时遇到了这家的人，各自把乘坐的驴和马牵出来。李泌感到疑问，询问这家的主人，便与仆人走进屋去。主人请李泌进屋里坐下，李泌坐下后，主人的妻子出来同李泌见礼，李泌不知道这是为什么，怀疑自己遇见了妖怪鬼魅。李泌询问主人的姓氏，主人回答姓窦。李泌暗中派仆人去附近的人家证实，知道主人确实姓窦。李泌又详细询问，主人回答叫窦廷芬，并请李泌留下住宿，以便继续交谈。其态度诚恳得叫人无法推辞。李泌便住了下来，但是心中非常害怕。窦廷芬对李泌说：“中桥有个算命的人叫胡芦生，因为算得极准，所以非常出名。昨天他为我算命后告诉我，不出三年，我们家有灭门之祸，必须找到黄中君才能幸免。我问他如何才能找到黄中君，他回答说，去问鬼谷子，我又问怎样才能找到鬼谷子，他说的就是您的姓名呀！他又告诉我，应该在三月三日，全家出城寻找。如果找不到您，我们全家到时候必死无疑。如果找到了您，一定要全家人出来哀求祈祷，则一定能免除灾祸。刚才我们全家人出访寻找，而终于遇见了您，真是苍天解救我们全家的性命啊！”窦廷芬对李泌招待得十分周到。第二天，李泌告辞，并说要回颍阳庄。窦廷芬坚持挽留，并派人去颍阳为李泌送信。并代其拿取他关心的东西，李泌接到叔父的回信后，又住了十多天才告辞回家。自从这以后，窦廷芬不断地给李泌赠送礼物。安史之乱后，唐肃宗收复西京，之后回师长安，收复陕府，抓获了刺史窦廷芬。肃宗下令诛杀其全家，并将家产没收入宫。又气愤地说：“玄宗的外家亲戚反而替反贼做事，真是该杀。”李泌因为知道窦廷芬命运的前因后果，所以派人拿着自己所写的奏章去朝见肃宗说明情况。肃宗派人去调查，回奏同李泌说的一样。肃宗非常惊奇，随即下令赦免窦廷芬的死罪，并问黄中君和鬼谷子是什么？窦廷芬也说不知道，而此时胡芦生已死。肃宗感叹说：“天下的事，都是从前就定下来的呀！”

　　许做宰相传说李泌避隐时期，听到一个和尚念经的声音，悲凉委婉而有遗世之响，李泌认为那是一位有道的再来人。打听之下，才知道是一个作苦工的老僧，大家也不知道他叫什么名字。平常收拾吃过的残羹剩饭充饥，吃饱了就伸伸懒腰，找个角落去睡觉，因此大家便叫他懒残。李泌知道了懒残禅师的事迹，在一个寒冬深夜，独自一个人偷偷去找他，正碰到懒残把捡来的干牛粪，垒作一堆当柴烧，生起火来烤芋头。这个和尚在火堆旁缩做一团，面颊上挂着被冻得长流的清鼻水。李泌看了，一声不响，跪在他的旁边。懒残也像没有看见他似的，一面在牛粪中捡起烤熟了的芋头，张口就吃。一面又自言自语地骂李泌是不安好心，要来偷他的东西。边骂边吃，忽然转过脸来，把吃过的半个芋头递给李泌。李泌很恭敬地接着，也不嫌它太脏，规规矩矩地吃了下去。懒残看他吃完了半个芋头便说：好！好！你不必多说了，看你很诚心的，许你将来做十年的太平宰相吧！道业却不说了，拍拍手就走了。此段故事出自唐朝袁郊撰写的传奇小说集《甘泽谣》及杂剧《芋佛》。

　　归隐离京综合新、旧《唐书》及《资治通鉴》，李泌至少有四次因各种原因离开朝廷：第一次发生在玄宗天宝年间，当时隐居嵩山的李泌上书玄宗，议论时政，受到玄宗的重视，“令待诏翰林，仍东宫供奉”。然而却遭到杨国忠的嫉恨，说李泌曾写《感遇诗》讽刺朝政，结果李泌被送往蕲春郡（今湖北省蕲春县）安置，而李泌干脆脱离了官府，“乃潜遁名山，以习隐自适”。

　　第二次大约发生于肃宗至德末、乾元初。自从肃宗灵武即位时起，李泌就一直在肃宗身边，为平叛出谋划策，《旧唐书·李泌传》说他当时虽然没有身担要职，却“权逾宰相”。正是这种与皇上极为亲密的关系，招来了权臣崔圆、李辅国的猜忌。收复京师后，也由于平叛大局已定，李泌便主动要求离开权力的中心，进衡山修道，“有诏给三品禄，赐隐士服，为治室庐”（《新唐书·李泌传》）。

　　第三次发生在代宗大历年间。代宗刚一即位，就马上把李泌从衡山召进京师，任命他为翰林学士，并勉强他吃肉，还为他娶朔方故留后李的甥女为妻。当时的权相元载认为李泌不肯依附自己，留在朝廷对自己是一个潜在的威胁，此时刚好江西观察使魏少游请朝廷为他派去一些僚佐，于是元载就盛称李泌有才，可担任此任，于是就在重用人才的名义下把李泌赶出了朝廷。顺便要提到的是，元载是一位靠应试老、庄、列、文起家的文人，却容不得同道。

　　第四次则大约发生于代宗大历末、建中初。大历十二年（777年），元载被诛，李泌又被召回，却再一次受到常衮的排斥，先让李泌到澧朗峡（在今湖南省澧县）当团练使，不久，又调任杭州刺史。

　　实际上，李泌还有第五次离京的经历。建中四年（783年），泾原兵变，德宗逃往奉天，身处危难的德宗又把李泌召到身边。这一次，李泌在朝廷也仅呆了两年，至贞元元年（785年），又被任命为陕虢观察使。观察使的地位比较高，所以不能被视为受到排挤。到了贞元三年（787年），李泌才回到朝廷，当上了宰相。

　　四次被排挤出朝廷，又四次回到朝廷，且一次比一次更受重视，这在中国历史上是不多见的。屡蹶屡起的原因，主要得力于他恰当的处世方法和豁达的心态。每次被赶出朝廷，虽然我们不敢断定他就没有怨心，但我们的确没有听到他的怨言，这是他没有受到进一步迫害、能够东山再起的根本保证。李泌先后五次入京为官，除前两次为主动入京外（第二次肃宗曾召李泌，李未接到诏书即起身赴行在），后三次都是被召，这说明李泌已经达到了顺应外物、无我无己的境界。李泌还做到了儒家所提倡的“用之则行，舍之则藏”，“行”则建功立业，“藏”则修心养性，出处都过得十分充实，心情都很平静。

　　避祸全身时随地牢记并显示自己的布衣、道士的身份，以此来避害全身。

　　李泌所处的时代，是一个多事的战乱时代；他所处的朝廷，是一个矛盾极为尖锐的朝廷。如何在这个异常复杂的环境中保全自己，是当时每一个人，特别是当权者都要遇到的问题。前文提到的曾排挤过李泌的杨国忠、李辅国、元载都曾权倾一时，后又都在政治斗争中被杀。

　　李泌用来保全自己的方法，首先是在为国出力的同时，又竭力与权力中心保持着一定的距离。《新唐书·李泌传》记载：“肃宗即位灵武，物色求访，会泌亦自至。已谒见，陈天下所以成败事，帝悦，欲授以官，固辞，愿以客从。入议国事，出陪舆辇，众指曰：‘著黄者圣人，著白者山人。”’李泌坚决要以白衣人的身份为国效力的目的，无非是为了向皇帝身边的当权者表明自己没有政治野心，以避免卷进争权夺利的斗争之中。

　　在进入权力中心之后，李泌则时刻以世外神仙自居，甚至不惜以荒诞的形式宣示于众。《唐国史补》卷上记载：“李相泌以虚诞自任。尝对客曰：‘令家人速洒扫，今夜洪崖先生来宿。’有人遗美酒一植，会有客至，乃曰：‘麻姑送酒来，与君同倾。’倾之未毕，阍者云：‘某侍郎取榼子。’泌命倒还之，略无怍色。”有如此政治才能的李泌竟然荒诞到了这种地步，特别是当谎言揭穿后，李泌竟然能够泰然处之，毫无愧色，令人不可思议。

　　也正是因为这些原因，对李泌的为相，“时论不以为惬”（旧唐书·李泌传》），“泌有谋略而好谈神仙诡诞，故为世所轻。”（《资治通鉴》卷二百三十三）“有谋略”与“好谈神仙诡诞”本身就是一对矛盾，因为真正明智的人是不会陷于诡诞之谈的。那么我们是否可以换一个角度看问题，“好谈神仙诡诞”正是李泌“有谋略”的一个表现，欧阳修、宋祁等人就看到了这一点：“德宗晚好神鬼事，乃获用，盖以怪自置而为之助也。”（《新唐书·李泌传》赞语）说李泌是假借神怪以自助，这当然有道理，古代有数不清的政治家以神鬼设教，而这只是原因之一。

　　还有一个原因就是李泌处处表现出神仙家的本色，让同僚们清楚，自己的根本兴趣不在于人间，而在于仙界，这样—来，与世俗人就会少几分摩擦，自己也就多几分安全。我们这样讲并非全是猜测，《邺侯外传》记载：“（李泌）曰：‘若臣之所愿，则特与他人异。’肃宗曰：‘何也？’泌曰：‘臣绝粒无家，禄位与茅土皆非所欲。为陛下帏幄运筹，收京师后，但枕天子膝睡一觉，使有司奏客星犯帝座，一动天文足矣。”李泌反复强调自己是“绝粒无家”的世外人，不争名夺利，或者说世俗名利对自己无用，这样讲无非是要包括皇帝在内的名利之人不要把自己看作一个竞争对手。

　　以世外人的身份参与世内的政治活动，是李泌全身的策略。事实上也是如此，肃宗听了这番话以后，对他更加放心，并且不久就满足了李泌枕天子膝睡一觉的愿望。《资治通鉴》卷二百一十九还记载，李泌早就与肃宗有约：“俟平京师，则去还山。”收复京师之后，李泌不顾肃宗的真诚挽留，坚决到南岳当道士去了。

　　谦退处世以谦退的态度处世，是道家和儒家所共同提倡的。《尚书·大禹谟》：“满招损，谦受益。”《老子》六十七章说：“江海所以能为百谷王者，以其善下之。”四十四章也说：“知足不辱，知止不殆。”李泌深知这一点。《新唐书·李泌传》记载：德宗要授予他集贤殿、崇文馆大学士的头衔，而李泌坚决要求去掉“大”字，只要“学士”头衔。后来被授予“大学士”头衔的人也多引李泌为例，不敢称“大”。在金钱方面，李泌更是如此。动乱时期，朝廷赏赐百官的物品“皆三损二”，后来稍稍安定，“帝使还旧封。于是李晟、马燧、浑碱各食实封，悉让送泌，泌不纳”(《新唐书·李泌传》)。李泌能够在名利面前保持着一种谦让态度，这是他处世精明的又一表现。

　　有关李泌的谦退态度，时人也已看出，《资治通鉴》卷二百三十二记载：“上谓泌曰：‘卿昔在灵武，已应为此官，卿自退让。可见，李泌的“退让”态度给当时的君臣留下了极深的印象。