신라 문무왕 17년(677)에 의상대사가 현 압곡사에서 서북쪽으로 5km 지점에 창건하였으나 장소가 협소하여 현 사찰에서 남으로 8km에 있는 아미산 봉우리에서 나무로 오리를 만들어 하늘을 향해서 던지니 현재의 압곡사에 앉아 이곳에 사찰을 짓고 압곡사라 이름을 지었다.원래 이 골짜기에는 물이 없었는데 나무오리가 앉은 뒤부터 깨끗한 물이 흘러내린다고 한다.

현재 건물은 인법당과 누각이 있으며, 인법당 안에는 300년 이상 된 보물급 탱화가 있었으나 솜씨가 뛰어나고 작가와 연대를 알 수 없는 탱화가 있었으나 1988년에 도난 당했고 소장하고 있는 선사영정들은 어떤 경로를 거쳐 압곡사에 보관되었는지는 전혀 알 수 없으며, 모두 표구되어 유리로 덮인 액자 속에 잘 보관되어 있다.

만은당대선사(晩隱堂大禪師), 만우당대선사(晩愚堂大禪師), 보광당대선사(寶光堂大禪師), 수월당대선사(水月堂大禪師), 의상조사(義湘祖師), 정허당대선사(淨虛堂大禪師), 사명당(四溟堂), 총산당대선사(聾山堂大禪師), 현암당대선사(玄庵堂大禪師)의 초상화 가 있으며, 이 압곡사 선사영정들은 경상북도 문화재자료 제239호로 지정되어 있다.

경북 의성군 춘산면에서 경북 군위군 고로면 낙전리로 산을 넘어오는 재를 도마재라고 하는데, 신라 말에 한 승려가 전국을 유랑하다 이 고개에서 쉬던 중 도마뱀 한 마리가 큰 뱀에게 쫓기는 것이 보였다. 도마뱀은 얼른 꼬리를 떼어버리고 도망을 가서 위기를 모면하는 것을 본 승려는 크게 깨우쳤다는 설화가 전한다.