平安時代の819年に弘法大師によって開創され、正式名を石像寺という。
室町時代、両手がとても痛んだ大商人が、本尊の苦抜地蔵（くぬきじぞう）にお参りして願掛けしたところ、「前世で人を恨み人形の両手に釘を打って呪った報 いである。私が神通力をもって釘を抜き取った。」と夢の中でお告げがあった。夢からさめてみると、両手の痛みが治っていた。
以来、さまざまな苦しみを技きとるという苦抜地蔵は、釘抜地蔵（くぎぬきじぞう）と呼ばれるようになった。