徳川家康の家臣・石川丈山が寛永17年(1640)に建てた山荘である。詩仙の間に中国の36詩仙の額を掲げるところから、詩仙堂と呼ばれるようになった。
石川丈山は、漢詩人、書家として、晩年をここで過ごした。現在は丈山寺という禅寺。
書院の前方の庭園は、回遊式で、四季の草花が咲く。快い音をたてる添水(ししおどし)は、丈山の考案によるという。