蘇子高事平，王、庾諸公欲用孔廷尉為丹陽。亂離之後，百姓雕弊，孔慨然曰：“昔肅祖臨崩，諸君親升禦床，並蒙眷識，共奉遺詔。孔坦疏賤，不在顧命之列。既有艱難，則以微臣為先，今猶俎上腐肉，任人膾截耳！”於是拂衣而去，諸公亦止。

　　顧長康道畫：“手揮五弦易，目送歸鴻難。”

　　桓南郡與殷荊州語次，因共作了語。顧愷之曰：“火燒平原無遺燎。”桓曰：“白布纏棺豎旒旐。”殷曰：“投魚深淵放飛鳥。”次復作危語。桓曰：“矛頭淅米劍頭炊。”殷曰：“百歲老翁攀枯枝。”顧曰：“井上轆轤臥嬰兒。”殷有壹參軍在坐，雲：“盲人騎瞎馬，夜半臨深池。”殷曰：“咄咄逼人！”仲堪眇目故也。