早在17世紀，歐洲壹批數學家就已開始設計和制造以數字形式進行基本運算的數字計算機。1642年，法國數學家帕斯卡采用與鐘表類似的齒輪傳動裝置，制成了最早的十進制加法器。1678年，德國數學家萊布尼茲制成的計算機，進壹步解決了十進制數的乘、除運算。
英國數學家巴貝奇在1822年制作差分機模型時提出壹個設想，每次完成壹次算術運算將發展為自動完成某個特定的完整運算過程。1884年，巴貝奇設計了壹種程序控制的通用分析機。這臺分析機雖然已經描繪出有關程序控制方式計算機的雛型，但限於當時的技術條件而未能實現。
巴貝奇的設想提出以後的壹百多年期間，電磁學、電工學、電子學不斷取得重大進展，在元件、器件方面接連發明了真空二極管和真空三極管；在系統技術方面，相繼發明了無線電報、電視和雷達……。所有這些成就為現代計算機的發展準備了技術和物質條件。
與此同時，數學、物理也相應地蓬勃發展。到了20世紀30年代，物理學的各個領域經歷著定量化的階段，描述各種物理過程的數學方程，其中有的用經典的分析方法已根難解決。於是，數值分析受到了重視，研究出各種數值積分，數值微分，以及微分方程數值解法，把計算過程歸結為巨量的基本運算，從而奠定了現代計算機的數值算法基礎。
社會上對先進計算工具多方面迫切的需要，是促使現代計算機誕生的根本動力。20世紀以後，各個科學領域和技術部門的計算困難堆積如山，已經阻礙了學科的繼續發展。特別是第二次世界大戰爆發前後，軍事科學技術對高速計算工具的需要尤為迫切。在此期間，德國、美國、英國部在進行計算機的開拓工作，幾乎同時開始了機電式計算機和電子計算機的研究。
德國的朱賽最先采用電氣元件制造計算機。他在1941年制成的全自動繼電器計算機Z-3，已具備浮點記數、二進制運算、數字存儲地址的指令形式等現代計算機的特征。在美國，1940～1947年期間也相繼制成了繼電器計算機MARK-1、MARK-2、Model-1、Model-5等。不過，繼電器的開關速度大約為百分之壹秒，使計算機的運算速度受到很大限制。
電子計算機的開拓過程，經歷了從制作部件到整機從專用機到通用機、從“外加式程序”到“存儲程序”的演變。1938年，美籍保加利亞學者阿塔納索夫首先制成了電子計算機的運算部件。1943年，英國外交部通信處制成了“巨人”電子計算機。這是壹種專用的密碼分析機，在第二次世界大戰中得到了應用。
1946年2月美國賓夕法尼亞大學莫爾學院制成的大型電子數字積分計算機(ENIAC)，最初也專門用於火炮彈道計算，後經多次改進而成為能進行各種科學計算的通用計算機。這臺完全采用電子線路執行算術運算、邏輯運算和信息存儲的計算機，運算速度比繼電器計算機快1000倍。這就是人們常常提到的世界上第壹臺電子計算機。但是，這種計算機的程序仍然是外加式的，存儲容量也太小，尚未完全具備現代計算機的主要特征。
新的重大突破是由數學家馮·諾伊曼領導的設計小組完成的。1945年3月他們發表了壹個全新的存儲程序式通用電子計算機方案—電子離散變量自動計算機(EDVAC)。隨後於1946年6月，馮·諾伊曼等人提出了更為完善的設計報告《電子計算機裝置邏輯結構初探》。同年7～8月間，他們又在莫爾學院為美國和英國二十多個機構的專家講授了專門課程《電子計算機設計的理論和技術》，推動了存儲程序式計算機的設計與制造。
1949年，英國劍橋大學數學實驗室率先制成電子離散時序自動計算機(EDSAC)；美國則於1950年制成了東部標準自動計算機(SFAC)等。至此，電子計算機發展的萌芽時期遂告結束，開始了現代計算機的發展時期。
在創制數字計算機的同時，還研制了另壹類重要的計算工具——模擬計算機。物理學家在總結自然規律時，常用數學方程描述某壹過程；相反，解數學方程的過程，也有可能采用物理過程模擬方法，對數發明以後，1620年制成的計算尺，己把乘法、除法化為加法、減法進行計算。麥克斯韋巧妙地把積分(面積)的計算轉變為長度的測量，於1855年制成了積分儀。
19世紀數學物理的另壹項重大成就——傅裏葉分析，對模擬機的發展起到了直接的推動作用。19世紀後期和20世紀前期，相繼制成了多種計算傅裏葉系數的分析機和解微分方程的微分分析機等。但是當試圖推廣微分分析機解偏微分方程和用模擬機解決壹般科學計算問題時，人們逐漸認識到模擬機在通用性和精確度等方面的局限性，並將主要精力轉向了數字計算機。
電子數字計算機問世以後，模擬計算機仍然繼續有所發展，並且與數字計算機相結合而產生了混合式計算機。模擬機和混合機已發展成為現代計算機的特殊品種，即用在特定領域的高效信息處理工具或仿真工具。
20世紀中期以來，計算機壹直處於高速度發展時期，計算機由僅包含硬件發展到包含硬件、軟件和固件三類子系統的計算機系統。計算機系統的性能—價格比，平均每10年提高兩個數量級。計算機種類也壹再分化，發展成微型計算機、小型計算機、通用計算機(包括巨型、大型和中型計算機)，以及各種專用機(如各種控制計算機、模擬—數字混合計算機)等。
計算機器件從電子管到晶體管，再從分立元件到集成電路以至微處理器，促使計算機的發展出現了三次飛躍。
在電子管計算機時期(1946～1959)，計算機主要用於科學計算。主存儲器是決定計算機技術面貌的主要因素。當時，主存儲器有水銀延遲線存儲器、陰極射線示波管靜電存儲器、磁鼓和磁心存儲器等類型，通常按此對計算機進行分類。
到了晶體管計算機時期(1959～1964)，主存儲器均采用磁心存儲器，磁鼓和磁盤開始用作主要的輔助存儲器。不僅科學計算用計算機繼續發展，而且中、小型計算機，特別是廉價的小型數據處理用計算機開始大量生產。
1964年，在集成電路計算機發展的同時，計算機也進入了產品系列化的發展時期。半導體存儲器逐步取代了磁心存儲器的主存儲器地位，磁盤成了不可缺少的輔助存儲器，並且開始普遍采用虛擬存儲技術。隨著各種半導體只讀存儲器和可改寫的只讀存儲器的迅速發展，以及微程序技術的發展和應用，計算機系統中開始出現固件子系統。
20世紀70年代以後，計算機用集成電路的集成度迅速從中小規模發展到大規模、超大規模的水平，微處理器和微型計算機應運而生，各類計算機的性能迅速提高。隨著字長4位、8位、16位、32位和64位的微型計算機相繼問世和廣泛應用，對小型計算機、通用計算機和專用計算機的需求量也相應增長了。
微型計算機在社會上大量應用後，壹座辦公樓、壹所學校、壹個倉庫常常擁有數十臺以至數百臺計算機。實現它們互連的局部網隨即興起，進壹步推動了計算機應用系統從集中式系統向分布式系統的發展。
在電子管計算機時期，壹些計算機配置了匯編語言和子程序庫，科學計算用的高級語言FORTRAN初露頭角。在晶體管計算機階段，事務處理的COBOL語言、科學計算機用的ALGOL語言，和符號處理用的LISP等高級語言開始進入實用階段。操作系統初步成型，使計算機的使用方式由手工操作改變為自動作業管理。
進入集成電路計算機發展時期以後，在計算機中形成了相當規模的軟件子系統，高級語言種類進壹步增加，操作系統日趨完善，具備批量處理、分時處理、實時處理等多種功能。數據庫管理系統、通信處理程序、網絡軟件等也不斷增添到軟件子系統中。軟件子系統的功能不斷增強，明顯地改變了計算機的使用屬性，使用效率顯著提高。
在現代計算機中，外圍設備的價值壹般已超過計算機硬件子系統的壹半以上，其技術水平在很大程度上決定著計算機的技術面貌。外圍設備技術的綜合性很強，既依賴於電子學、機械學、光學、磁學等多門學科知識的綜合，又取決於精密機械工藝、電氣和電子加工工藝以及計量的技術和工藝水平等。
外圍設備包括輔助存儲器和輸入輸出設備兩大類。輔助存儲器包括磁盤、磁鼓、磁帶、激光存儲器、海量存儲器和縮微存儲器等；輸入輸出設備又分為輸入、輸出、轉換、、模式信息處理設備和終端設備。在這些品種繁多的設備中，對計算機技術面貌影響最大的是磁盤、終端設備、模式信息處理設備和轉換設備等。
新壹代計算機是把信息采集存儲處理、通信和人工智能結合在壹起的智能計算機系統。它不僅能進行壹般信息處理，而且能面向知識處理，具有形式化推理、聯想、學習和解釋的能力，將能幫助人類開拓未知的領域和獲得新的知識。