자지산은 붉은색인 지초(영지버섯)가 많이 난데서 유래된 지명이다. 자지산을 ‘성재산’이라고 부르기도 하는데 이는 산 중턱에 오래된 산성이 있어 불려진 이름이다.  지금은 오래된 성이  대부분 무너져 일부만 남아 있다.

자지산의 원래 이름과 뜻은 다르지만 남근에 비유하기도 한다. 천태산 쪽에서 자지산을 바라보면 불끈 솟은 남성의 생식기를 닮았다 한다. 부엉산 아래 벼랑에 설치된 인공폭포 오른쪽 좁은 바위골을 음굴(용굴)이라 해 음양의 조화를 맞췄다.