桓宣武既廢太宰父子，仍上表曰：“應割近情，以存遠計。若除太宰父子，可無後憂。”簡文手答表曰：“所不忍言，況過於言？”宣武又重表，辭轉苦切。簡文更答曰：“若晉室靈長，明公便宜奉行此詔。如大運去矣，請避賢路！”桓公讀詔，手戰流汗，於此乃止。太宰父子，遠徙新安。

　　庾太尉在武昌，秋夜氣佳景清，使吏殷浩、王胡之之徒登南樓理詠。音調始遒，聞函道中有屐聲甚厲，定是庾公。俄而率左右十許人步來，諸賢欲起避之。公徐雲：“諸君少住，老子於此處興復不淺！”因便據胡床，與諸人詠謔，竟坐甚得任樂。後王逸少下，與丞相言及此事。丞相曰：“元規爾時風範，不得不小頹。”右軍答曰：“唯丘壑獨存。”

　　謝中郎雲：“王修載樂托之性，出自門風。”