合水歷史悠久。約在20萬年前，境內已有人類活動；5000年前，人類在合水的生產活動已具規模。古為西戎之域，周屬北豳，春秋屬義渠戎國。周赧王四十九年秦昭王滅義渠歸秦，為北地郡義渠道轄。西漢置略畔道。東漢屬泥陽縣。三國、西晉屬羌胡。南北朝屬襄樂縣。隋置樂蟠後改合水。唐置蟠蛟縣，後又改合水、安化。宋復置合水。清屬慶陽府，民國屬涇原道。
隋末設縣，至今有1300余年的建制史。滄桑歲月，湧現了諸多仁人誌士，更積澱了厚重的文化土層，古老的歷史創造了燦爛的特色文化。1973年春，在板橋鄉穆旗村馬蓮河西岸半崖上挖掘出轟動世界的第四紀早期完整的黃河劍齒象化石，書寫了合水歷史上最有價值、最輝煌的壹頁。