경북 상주의 옛 지명은 상산(尙山) 이며 상산지(尙山誌), 고적조(古蹟條)에는 상주의 성 밖 사방에 큰절이 있어 4장사(四長寺) 라 한다 하였다. 즉 남장(南長), 북장(北長), 갑장(甲長), 승장사(勝長寺) 를 가리키는 말이다. 이 가운데 갑장사는 4장사 가운데 으뜸가는 절이란 뜻에서 갑장사라(甲長寺) 했다 한다.
그 소재가 연악산(淵嶽山, 標高 805m), 일명 갑장산의 상봉이 되는 상주시 지천동 산5번지이다. 또한 상주는 3악(三岳) 이 있어 산천이 아름답기로 유명하다. 즉 남쪽의 연악산(淵嶽山), 서쪽의 노악산(露嶽山), 북쪽의 석악산(石嶽山) 이 그것이다. 이들은 모두 속리산의 지맥이며 주봉에서 장장 백여 리를 뻗어내려 왔다. 이 가운데 갑장사는 그 산상에 구룡연(九龍淵) 을 지닌 승지(勝地) 에 위치하였다.

절의 개기(開基) 는 고려 공민왕 22년(1373) 나옹 화상(懶翁和尙)에 의하였다 하며, 법당 앞에는 고려시대의 석탑 1기가 있어 이 시기의 건립을 증명해 준다. 이후 중건.중수에 대하여는 잘 알 수 없고, 다만 1985년 화재 당시 불상의 내부에서 발견된 복장기(1689년, 숙종 12년)로 보아 건립 이후 계속 법등을 이어왔음을 알게 한다. 그러나 한때는 사세가 위축되어 갑장암으로 불려진 시기도 있었다.

갑장사중수기(甲長寺重修記)에 보면 정조 21년(1791) 절을 중수한 것으로 되어 있다. 또한 1982년 개와 번와(蓋瓦飜瓦) 와 대들보를 개수하여 중수하였으나, 1985년 6월 15일 18시 30분경 온돌 가열로 인하여 산신각을 제외한 모든 건물이 소실됨으로써 전래되던 불상과 성보유물(聖寶遺物) 이 모두 소진(消盡) 되었다.

이후 주지 세웅 화상(世雄和尙) 은 각고의 노력 끝에 시주금 1억 2천만 원으로 법당 33평, 삼성각 6평을 1988년 5월 8일 완공하였다.

갑장사 복원문에는 근세 금봉 화상(錦峰和尙) 이 중수하였으나, 이후 불기 2529년(1985) 실화하여 소실되자 주지 세웅 화상은 갑장사 재건을 발원하고, 1987년 6월 31일 기공식을 가져 상주를 비롯한 원근 각지의 3,000여 불자들이 헌납한 1억여원의 성금으로 1988년 5월 8일을 기하여 준공식을 거행함과 동시에 신조(新造) 된 관음보살상을 봉안하였다고 하였다.

현존 건물은 인법당(人法堂)인 대웅전은 정면 5간, 측면 3간의 팔작지붕이며, 총 30평이다. 그 외 삼성각 4평의 건물이 있다.  

그리고 중요 석조 유물로는 삼층석탑과 석조부도가 전래된다. 이들 가운데 삼층석탑은 총 높이 약 2m에 불과한 단층기단의 소탑이며, 그 형식으로 보아 고려시대의 제작이라 하겠다. 그외 석조부도는 경내에서 약 100여m 동쪽 언덕 넓은 대지에 있으며, 크기는 약 114 X80cm의 석종형 부도이다. 그리고 그 우측에 약 3m 높이의 적석쌍탑(積石雙塔) 이 있다. 이는 근세 불도들의 정성으로 축조되었다.