1906年（清·光緒三十二年）9月1日，清朝政府在崇右爾庫站（今三站）設置大通縣。隸屬吉林省依蘭府管轄。張熙為首任知縣。1909年（清·宣統元年）4月1日重新勘界，大通縣隸屬黑龍江省管轄，縣衙遷至岔林河口現通河鎮。1914年（民國3年）5月15日，根據北京政府內務部通令，黑龍江省大通縣改為通河縣（因與甘肅省大通縣重名）。縣名延用至今。
1932年4月29日，日本關東軍61炮艦聯隊侵占通河，駐通守軍—黑龍江邊防軍第三旅步兵第五團與日本侵略軍激戰七晝夜，三戰通河城，團長吳淩漢、副團長張興華等愛國官兵在保衛通河城中英勇犧牲,在得不到增援的情況下敗退。5月4日，政府縣長路克遵見守城無望、拒絕與日本人合作，燒毀縣政府重要檔案70余卷，棄官攜縣政府印章只身出城（夜晚騎馬從通河鎮東大門離開通河，下落不明），從此通河城陷落。日本人在通河成立“通河縣公署”偽政府，從此統治通河，至1945年8月15日日本國政府投降，通河人民才結束日本人的黑暗統治。
1945年8月15日偽政府倒臺後，通河縣由偽政權遺留下來的舊官吏及偽警察繼續統治通河人民。1945年8月20日，蘇聯紅軍在歸國抗聯人員的帶領下進駐通河，扶持由偽官吏及警察組成的“通河縣臨時地方治安維持會”。局勢穩定後蘇軍留下壹個通訊班駐通河。1946年2月6日，由中國***產黨領導的八路軍三五九旅七壹八團及松江地區部隊進駐通河縣城鄉。至此通河縣解放，通河縣人民獲得自由。中***中央東北局北滿分局書記、吉黑軍區政委陳雲（中央政治局委員）、吉黑軍區司令員高崗（中央政治局委員）及中***松江省、松江軍區的領導隨大軍進駐通河縣，中***北滿分局北滿軍區機關及中***松江省委、省軍區機關隨後進駐通河城辦公。1946年2月7日，中***通河縣委、縣民主政府成立。隸屬中***合江省工委、合江省政府。1946年4月下旬，中***北滿分局，吉黑軍區（北滿軍區）機關及松江省、松江省軍區機關撤離通河進入哈爾濱。1946年6月，通河縣由合江省劃歸松江省管轄，中***通河縣委、縣政府隸屬中***松江省委、省政府二分區（哈北）地委、哈北專員公署。1946年8月，中***哈北地委、地行署撤消，中***通河縣委、縣政府由松江省委、省政府直接領導。
1949年7月，通河縣民主政府改稱為縣人民政府。1954年8月，松江省建制撤消，並入黑龍江省，通河縣委、縣政府隸屬中***黑龍江省委、黑龍江省人民政府直轄。1955年3月，通河縣人民政府改稱通河縣人民委員會。1956年3月，中***綏化地委、綏化專員公署成立，通河縣委、縣政府隸屬於綏化地委、綏化專員公署。1958年8月，通河縣委、縣政府隸屬於松花江地委、松花江專員公署。1960年4月，中***通河縣委、縣政府劃歸中***哈爾濱市委、市政府領導。1965年8月，通河縣劃歸松花江地區管轄。1967年4月，經省革命委員會、省軍區、松花江軍分區批準，成立通河縣革命委員會，取代了縣委、縣人民委員會的領導權。1969年3月，根據中***中央指示，成立中***通河縣革命委員會核心小組，開展黨的工作。1970年9月，通河縣召開了第四次黨代表大會，恢復了縣委、但未設工作機構，仍於縣革命委員會合屬辦公。1973年6月，根據省委指示，恢復縣委工作機構，縣委及工作機構於縣革委分設。1980年9月，通河縣召開了第八屆人民代表大會第壹次會議。會議取消縣革命委員會，成立了通河縣人民政府。
1996年11月1日，省政府辦公廳下發《黑龍江省人民政府轉發<國務院關於同意黑龍江省松花江地區與哈爾濱市合並的批復>的通知》，通知規定：“新組建的哈爾濱市體制自1997年1月1日起實行。”至此，通河縣規劃省會哈爾濱市管轄。