江戸時代初期の寛文10年(1670)に建てられた。
豊臣秀吉に使えた小川土佐守は関ヶ原の合戦で破れ出家したが、その長男がここで米・両替を商った。この建物はその住宅として建てられたものである。
また、京都に本陣を持たない各地の大名の宿泊所として利用されたため陣屋の性格を持つようになった。そのため、外見は普通の町家建築にみえるが、内部はからくり屋敷さながらの造作が施されている。特に、完全な防火設備が施された、書院づくりの大広間、茶室、お能の間などの折衷建築である。さらに釣り階段、落とし階段、武者隠しなど、防犯・防御機能工夫が施されている。
見学には事前の申し込みが必要。