郗司空在北府，桓宣武惡其居兵權。郗於事機素暗，遣箋詣桓：“方欲共獎王室，脩復園陵。”世子嘉賓出行，於道上聞信至，急取箋，視竟，寸寸毀裂，便回。還更作箋，自陳老病，不堪人閑，欲乞閑地自養。宣武得箋大喜，即詔轉公督五郡，會稽太守。

　　桓宣武作徐州，時謝奕為晉陵。先粗經虛懷，而乃無異常。及桓還荊州，將西之間，意氣甚篤，奕弗之疑。唯謝虎子婦王悟其旨。每曰：“桓荊州用意殊異，必與晉陵俱西矣！”俄而引奕為司馬。奕既上，猶推布衣交。在溫坐，岸幘嘯詠，無異常日。宣武每曰：“我方外司馬。”遂因酒，轉無朝夕禮。桓舍入內，奕輒復隨去。後至奕醉，溫往主許避之。主曰：“君無狂司馬，我何由得相見？”

　　王丞相見衛洗馬曰：“居然有羸形，雖復終日調暢，若不堪羅綺。”