건들바위라는 이름의 유래는 잘 알 수 없으나 예로부터 그 모양이 갓 쓴 노인같다고 해서 삿갓바위라고도 불리었다.
200년 전에는 이 바위 앞으로 맑고 깊은 냇물이 흘러 많은 시인들이 이곳에서 낚시를 하며 풍류를 즐겼던 경치 좋은 명소의 하나였으며, 서거정 선생이 노래한 대구 10경 중 입암조어(笠巖釣魚)의 장소로도 잘 알려져 있다. 조선 정조 때 시가지 일대의 하천 범람을 막기 위하여 제방을 만들고 물줄기를 다른 곳으로 돌리면서 더 이상 이곳으로 물이 흐르지 않게 되었다고 한다.
이 바위는 조선시대는 말할 것도 없고 근대에 이르기까지 무당이나 점쟁이들이 몰려와 치성을 드렸는데, 특히 아기를 갖지 못하는 부인들이 치성을 드리러 많이 찾아왔다고 한다.
현재는 바위 앞으로 도로가 설치되어 당시의 모습을 찾아 볼 수 없게 되었는데, 주변을 아름답게 꾸며 시민들에게 휴식의 공간을 제공하고, 특히 물이 흐르던 옛 모습을 재현해 두어 옛 정취를 조금이나마 느낄 수 있도록 배려하고 있다.
건들바위는 약 1억 년 전에 형성된 중생대의 퇴적암 지층 경상 누층군대구층으로 구성되어 있으며, 층리가 잘 드러나 있다. 사진에서 볼 수 있듯이 적색층과 백색층이 교대로 나타나는 것을 관찰할 수 있다.
건들바위는 하천의 침식작용으로 생긴 선바위(하식애)로 약 1억년 전 중생대백악기 때, 호수로 운반되어 온 자갈, 모래, 실트, 점토 등의 물질이 쌓여 이루어진퇴적암이다. 옛날에는 건들바위 앞으로 대구천이 흘렀고, 건들바위는 대구천에 의해 침식되어 형성된 것이다. 이후 암벽의 균열과 더불어 대구천에 의한 지속적인 침식작용으로 인해 암벽 본체에서 떨어져 나와 현재의 모습을 보인다. 건들바위라는 이름이 언제부터 생긴 것인지 확실치는 않으나, 서 있는 모습이 불안하게 보여 인근 주민들은 건들바위라고 부르게 되었다고 한다. 1990년대까지만 해도 이곳에 점쟁이와 무당들이 몰려와 치성을 드리곤 했는데, 특히 아기를 갖지 못하는 부인들이 치성을 드리는 효험이 있다고 하여 많이 찾았다. 20세기 전기까지만 해도 대구천은 건들바위 앞으로 흘렀으나, 이후 지속적인 개발로 인해 물길은 사라지고 현재와 같이 복개된 상태로 남게 되었다. 건들바위의 규모에서도 알 수 있듯이 과거에는 바위 앞으로 풍부하고도 맑은 물이 흘러 수려한 풍광을 보이는 명소였다고 한다. 1994년 조경공사를 통해 건들바위 일대에 분수계류, 폭포 등을 새로이 설치하고 물이 흐르도록 하여 옛 정취를 느낄 수 있게 하였고 몇 차례의 개선공사를 통해 현재에 이르게 되었다.