江戸時代、紀州大納言の祈願寺となり、広く人々に信仰され、栄えました。その威徳から、人々は智剣山威徳寺（いとくじ）と呼ぶようになりました。江戸の火災や大震災等、いくたびの災禍を免れた霊験あらたかなお不動さまです。