李顒自從上表舉荐，而趙蕤、李白師徒「不就」之後，不但不沮喪懊惱，反而鬆了一口氣，省操一份心；自然也愈益敬重這「趙徵君」了。根據他自己散存的幾首記事之詩所載，就在李白去來成都、峨眉千里之行的一、兩年間，他至少兩度造訪趙蕤，至則「通宵談飲，綴詩不歇，極盡歡噱」。

忽一日，刺史心念偶動，隨手扔下公事，就要微服易馬，前往大匡山找趙蕤作詩去，衙中別駕、司馬苦勸而不止，料是天意得知，忽而從烏何有之鄉闖來一人，名叫張夜叉。這張夜叉披頭散髮，肩立鸚鵡，狂歌終日不息，這一日偏就橫身臥在刺史馬前，像是醉倒了、又像是瘋魔了，滿口濫說胡話，招來更多閒人圍聚，刺史就更出不了署門外大街了。可是，人們不大敢驅趕張夜叉的道理也很實在：他不胡說則已，一旦說了，語便成真。

這一天，張夜叉說的是：「太守向是風雅人，儘說風雅話，張夜叉給太守送行，就學太守說四句吧？──太守莫出門，出門死太守。山留一世青，家有無涯壽。」

李顒留心民事，早聞聽人說：張夜叉有前知之能，聽見這話也的確有些悚然。然而繼之一轉念：某身為一州之牧，位列諸侯，不能夠禁絕邪神淫祠之屬，已經俱現柔懦了，如今教這無賴漢子擋馬即止，日後還能有甚麼顏面？有甚麼清望？想著，揚手一鞭，馬蹄便向張夜叉踏了去，一踏撲起了一陣黃埃灰土，空中只一鸚鵡盤旋數匝，嘎鳴而去。

此後之事，俱在李顒詩自注之中。這首詩的題目是〈匡山夜吟繼赴大明寺有懷寄趙徵君〉，主旨乃是藉由西晉時張翰忽然棄官的故事，來隱喻自己逃脫公職、作一日遊的心境。

秋風召我入匡廬，繫馬韉纓綴酒壺。隱約浮詞與君共，微聞高鳥向人呼。去來歸意分明在，多少名心逐漸枯。十里燈簷驚唄早，輕雲渡得此身無？

秋風之思，向出張翰，字季鷹，曾任齊王司馬冏東曹掾，《世說新語‧識鑒》說他在北地洛陽任官時，忽然有感於見秋風之起，而強烈地思念故鄉吳中盛產的菰菜、蓴羹、鱸魚膾，於是跟人說：「人生貴得適意爾！何能羈宦數千里以要（按：要，即邀，貪取的意思）名爵？」遂命駕而歸。不多久之後，齊王敗於司馬乂而被殺，當時人都以為張季鷹有「知機」之能。

匡廬，本來就是指廬山。李顒借用這個現成的詞，拆其字意，說的是趙蕤所隱居的大匡山室廬，也是詩家慣技。從詩的內容可以看出：這一天他乘馬登山，還攜帶著酒壺，為的是去和趙蕤商討詩句。詩意所繫，應該就是不耐為官的心情。這一場詩酒之會，或許在上半夜就結束了，揆諸常理，李顒應該不方便留宿，所以到了下半夜，便策馬告別，獨自前往臨山之外的大明寺借宿。

由於到時尚屬夜分，可是佛子勤劬誦經，其聲遠傳不絕，而令李顒忽生翩翩然遺世獨立之感。而在詩後小注之中，則提及了張夜叉行前示警、以及他當夜在大明寺的遭遇。

李顒今夜將到寺留宿，是他過訪趙蕤的慣例。不消說，早就有刺史衙署之人先行通報，並且預為打點。不料李顒才片腿下馬，就一溜身順落倒地，死了──唯獨心頭尚餘一點溫熱。

大明寺常住一向知道慈元與趙蕤、李客等人熟識，這一夜便遣慈元為使君知客。這份差使，在百丈懷海禪師為普天下叢林制訂清規之前，名目無數，蜀中各寺多稱為「知客水火」，也就是專為貴賓打理膳食，侍奉漿粥。

正在忙碌著水火之事，慈元忽然間聽說刺史死於馬下，便連忙趨至廄前，俯身察看，還期期艾艾地吩咐隨侍的淨奴道：「使君心頭猶熱，去取藥酒懷中熱罨來！」兩句話說完，又輕輕「噫」了聲，居然也一頭栽倒，跟著死了。

熱罨是急救之法，片刻施之，果然奏效。李顒悠悠然醒轉了來，第一句話竟然是：「和尚怎地去得恁快？」

眼前除了倒地不起的慈元之外，只有李顒公廨裡的參軍、從人以及取藥酒來推拿熱敷的淨奴，並無其他和尚。又過了不多時，寺中維那僧也來了，一路慌慌張張地問道：「慈元無恙否？慈元無恙否？」及至看見慈元倒臥在地，全沒氣息，渾身透涼僵硬，這才歎道：「果然！」

原來李顒一蹶如夢，夢中走在一片荒原曲徑之上；但見道旁一僧，手拄錫杖，待他走近時，突然合掌一揖為禮，道：「使君且留步。冥司有急敕來，謂使君尚有一卷詩文未完，此累世債，須盡償之乃已──此行，且付貧道代勞可矣。」

此外，大明寺的維那僧亦有所見──頃刻之前，他還在堂上指點新僧誦經，忽然看見正殿旁閃過一條緇衣人影，心想：時過寅初，豈容支離院僧夜行？遂趕緊奔逐而出，追隨那身影繞過兩個院落之後，才發現是慈元。慈元為維那僧所阻，不得已而轉過身來，面色煞白，神情哀戚，道：「已代李公大使死矣！某本佛圖戶賤民，難得遂此功果，幾般盤算，實勝在世清修，也便去了！」

維那僧但感身受寒涼，再上下打量慈元的容色，的確沒有半點活人氣息，便問道：「既云已死，可有遺言囑託常住？」

「小僧近佛日淺，俗心難化；貪嗔不去，慚愧已極，豈敢遺言以累道侶？唯代使君死，彼亦當有深恤。可盡付常住，以充佛前供養。」

慈元所交代的，也只能算一半實在──李顒得此代命之人，在一夕間翻死轉生，既受了驚嚇，也得了了悟。不久之後，他還真效法張季鷹飄然辭官，身歸故里，行前並捐輸大明寺數十萬宦囊所蓄，而留下了「一官何所有？半卷再生詩」的句子。

至於慈元，卻還有一半不算老實的隱私──他多年來在寺外與李客共營生計，不論放貸、質押，以貨以銀，私貯不下數十萬錢；這些，他都嚴口吞聲，沒半句吐露。