其發起者和主導者是NVIDIA（英偉達）公司。
1999年，NVIDIA推出GPU，2002年就開始大力推廣GPU計算技術，推出第壹個可編程的GPU，提出了GPGPU概念。2003年，NVIDIA開始全新嘗試，舉三年之力，於2006年成功推出CUDA架構（Compute Unified Device ），於2007年正式發布。CUDA是壹個更適合於並行計算的架構，提供了硬件的直接訪問接口，並率先提供了針對GPU編程的C語言開發環境。
GPU（圖形處理器）計算模型在壹個異構計算模型中同時使用了 CPU 和 GPU（圖形處理器）。應用程序的順序部分在 CPU 上運行，計算密集型部分在 GPU（圖形處理器）上運行。雖然應用程序使用了 GPU（圖形處理器）的卓越性能來提升運行性能，但對用戶而言，他們所能感知到的將僅僅是運行速度更快的應用程序。
應用程序開發人員將需要修改其應用程序中的計算密集型內核，並將其關聯到 GPU（圖形處理器）。應用程序的其它部分將仍然依賴於 CPU 進行處理。將壹項功能關聯到 GPU（圖形處理器）需要重寫功能，以在其中支持並行處理，同時添加“C”關鍵字以在應用程序和 GPU（圖形處理器）之間往返傳輸數據。
盡管人們都習慣了“Intel Inside”，但壹場計算革命正在到來，采用GPU計算的新模式將會成為中國超級計算發展的重要方向。相對於CPU，GPU的優勢在於超級計算能力、價格大幅下降、比高性能計算機占地面積少等特點，它將改變現有IT業版圖。當年壹場場CPU革命把人類推上了IT列車，如今GPU正把火車換成飛機。
GPU是特定於計算密集的、高並行的計算，它設計了更多的晶體管專用於數據處理，而非數據高速緩存和流控制。