금대리에서 약 5km쯤 영원골계곡을 따라 들어가면 남대봉의 아랫 기슭에 영원사가 있으며, 그 바로 위에는 유서깊은 영원산성이 있다.
신라 문무왕 16년에 의상대사가 영원산성의 수호사찰로 창건 하여 영원사라고 했다.
절의 동쪽 산 위에는 10리에 걸쳐 영원산 성의 흔적이 남아있다.
후고구려의 궁예는 이 성을 근거로 삼아 부 근의 여러 고을을 공략했다.
현재의 건물은 1960년대에 다시 지은 것이다