传说 仁威观在办道时，出现了一些贪恋女色的不法之徒。他们把来上香的有些姿色的女人藏匿起来。这对道教来说，是犯了违反戒律和皇帝圣旨的大罪。当时的皇帝知道这事后，就遣锦衣卫率军进山剿杀。军队把这伙不法之徒埋入土中，用铁犁犁死，然后焚毁了仁威观，以警后世。
从隐仙岩下山的路上会经过仁威观遗址。
