正式名を浄土宗久遠山地蔵寺といいます。地蔵堂に安置している地蔵菩薩像は、平安時代初めに、小野篁（おののたかむら）が、一度冥土へ行った際に生身の地蔵尊を拝んだことで蘇った後、一木から六体の地蔵を彫りだしたうちのひとつという伝説があります。初めは大善寺に六体の地蔵尊が安置されていましたが、平安時代末期の保元年間（１１５６～５９）になり、平清盛が西光法師に命じて、大善寺も含め京へ出入りする街道口の6ヶ所に分けて安置するようになり、 ここ桂に分祀されたものと伝えられています。この地蔵尊は、一木の最下部をもって刻まれたもので、世に姉井菩薩と呼ばれています。寺の起源は、南北朝時代の1339年（暦応２年）に、光厳天皇の勅許のより虎関師錬が大明国師の塔所として建立しました。また桃山時代から江戸時代への移行期の1602年（慶長７年）に、細川幽斎が再興しました。方丈の襖絵は長谷川等伯の筆で重要文化財に指定されています。地蔵堂の東の薬師堂には、石造薬師如来坐像（鎌倉初期）が安置されています。