當前位置:編程學習大全網 - 編程語言 - 石油HPC:尋找魚和熊掌的平衡點_魚和熊掌不可兼得

石油HPC:尋找魚和熊掌的平衡點_魚和熊掌不可兼得

在全球資源逐漸貧瘠,打井成本又不斷攀升的背景下,石油HPC(高性能計算)正承載著越來越重要的使命。而在追求更高計算性能和降低單位能耗成本的雙重壓力下,如何找到最佳的平衡點也成為行業內關註的重點話題。

壹方面是對HPC絕對性能的不斷追求,另壹方面是日益嚴格的功耗成本控制,再加上如何對已有系統資源合理利用,構成了壹道難解的命題。日前,在內蒙古呼和浩特召開的中國石油行業與英特爾2008年度高性能計算研討會上,各方專家就有關話題展開了有益的探討。

石油HPC面臨

新的技術挑戰

隨著全球能源價格的不斷攀升和已探明石油儲量的不斷消耗,相對容易開發的油藏資源越來越稀少,在更廣泛面積內找到可開采石油資源所耗費的代價也越來越高,這都導致了石油HPC計算模型和運算方式向更精細化的方向發展,比如隨著石油勘探的地震成像/建模算法的不斷進步,石油波動方程計算模型正在從二維向三維方向推進,計算面積也在不斷增大。這些更精細的計算模型必然導致計算強度和中間數據量的急劇上升。

從最新壹期的國際HPC Top 500排行榜來看,上榜的地球物理應用系統從上屆的43套增加到49套,依然處於上升趨勢。

來自英特爾美國總部的軟件與解決方案部的蘭斯?舒勒博士表示,對以石油HPC為代表的地球物理計算模型而言,增大物理復雜度(計算模型)、增加問題規模和縮短運算時間這三個方面是對HPC計算能力最主要的挑戰。在這三個維度上,任意給定兩個甚至壹個後,追求另外維度性能的最大化則成為石油HPC計算解決方案優化的核心。

傳統上,石油HPC主要涉及地震成像和油藏模擬兩部分。前者最關註HPC系統的浮點計算性能,後者更側重對大內存的需求。而逐漸興起的計算可視化浪潮則對GPU(圖形處理器)等新型計算單元的應用起到積極的推進作用。

面對這些復雜的因素,對於節點機來講,不斷提高處理器的浮點性能、I/O和存儲帶寬已經成為其中最核心的關註焦點。

增加處理器的核心數量已經逐漸成為提高浮點運算能力最主要的趨勢,而在壹些特定場合,采用類似GPU的多浮點單元處理器也是很有競爭力的可選方案。目前NVIDIA等GPU廠商已經推出了相關方案,英特爾Larabbe GPU(初期可能會采用16核心)也將在今年下半年面世,後者還兼容X86指令系統,屆時用戶在這方面也會有更多的選擇。

在I/O方面,固態存儲(SSD)因為功耗低、I/O能力性能出眾有望逐漸替代硬盤,雖然目前受成本等因素制約還比較明顯,但其在節點機系統中的應用已經是壹個不可阻擋的趨勢; 而在高存儲帶寬方面,將內存控制器內置於CPU和采用新型的高帶寬互聯架構將成為必然。

在HPC系統壹級,則有兩點趨勢比較矚目,壹個是系統將更加關註運算、I/O和存儲三者性能的匹配; 另壹個是提高系統和應用軟件的並行化,即如何充分利用越來越多的並行運算資源(無論是CPU還是GPU以及可能的多種加速器),以達到最佳的能效比。盡管方向相對比較明確,但目前在技術實現方面還面臨比較大的挑戰,需要更長的時間準備。

專用計算

“入侵”HPC

在提到石油HPC未來新的技術發展趨勢時,與會很多專家都提到了GPU和FPGA(現場可編程邏輯門陣列)等專用加速器的采用對應用帶來的影響。

以GPU為例來講,可能有兩方面的影響,壹個是采用多核、多流水線的GPU作為浮點運算單元提高整個系統的運算能力,另壹方面是作為可視化計算的最後呈現手段對中間數據進行實時解釋。

前者實際上是將GPU作為壹種專用加速器。由於這些專用加速器往往采用與主CPU不同的指令集,在目前業界流行的集群體系架構下,混合編程可能會給系統應用效能的調優帶來巨大的不確定性。

這方面更典型的例子是采用FPGA器件進行可重構計算。盡管FPGA在進行特殊運算時性能很高、功耗極低,但放到整個HPC系統內的效果還有待觀察。這是因為前者僅僅針對節點中的壹個核進行對比,並且只考慮到了計算時間,並未綜合考慮數據刷新和讀寫時間,而且這僅僅是針對核心計算的統計,整個應用所耗費的時間也未考慮在內。所以,專用加速器往往可能在算法級別上獲得較大優勢,但通常很難滿足整個應用的加速目標。中石化南京石油物探研究所的趙改善還提出了壹個很現實的問題,因為專用加速器往往在編程方面比較復雜,在采用專用加速器時,其風險和難度也必須充分予以考慮。

而可視化計算最終的推進力是實時分析決策要求的不斷提高。要做實時分析決策,對數據的精確性、直觀性和實時性都有很高的要求,因而新的計算可視化在技術方面就具有壹些新的特點,包括對巨量內存的支持、遠程訪問、協作(collaboration)和大容量渲染,以及多顯示等功能,這些都需要高端顯示芯片(GPU)的支撐,對系統的I/O和存儲帶寬也都提出了很高的要求。

降耗和管理

成為新話題

除了探討技術話題之外,與會的專家也開始越來越關註HPC系統的能耗和管理問題。

全球HPC行業都面臨著性能提升和降低功耗這壹日益尖銳的矛盾,石油HPC也不例外。中國石油東方地球物理勘探有限責任公司(BGP)擁有1.4萬個CPU、2.6萬個內核的地震資料處理系統,綜合實力排全球第四,陸上地震勘探市場位居第壹,也是國內規模最大的石油物探公司。

據BGP副總工程師賴能和介紹,近年來隨著BGP數據中心計算規模的不斷擴大,能耗正以驚人的速度增長,僅電費壹項,就從2005年的330萬元提高到去年的790萬元,今年預計還將增長到1300萬元。

對機房制冷系統的改進和供電系統的高次諧波治理成為節能降耗的重要手段。僅僅是降低供電系統的諧波系數壹項,BGP壹年就節省了34萬元。另外,BGP還開發和應用了自適應節能管理軟件,經過實驗,節能效果達到25%~30%。

另壹方面,軟硬件資源優化集成還有巨大的潛力可挖。

目前,很多國內比較先進的石油HPC系統都已經達到甚至超過1000個CPU的計算規模,再加上存儲節點的增加,系統資源逐漸膨脹起來。而國內很多單位在當初采購HPC系統的時候普遍很少關註系統I/O、互聯網絡和存儲的匹配問題,往往出現重CPU數量、輕內存和存儲匹配,重硬件購買、輕軟件優化和有效管理的現象。

很多用戶意識到,有效的管理不但能夠提高系統的效率,還能夠節約能源。BGP建立了聯網的計算機設備維護信息管理系統。利用數字化技術,實現了對整個HPC機房和每個機櫃的CPU、網絡等情況做出實時監控,可以及時、有效地調配資源,節能效率得到了明顯的提高。

根據統計,2006年BGP的CPU平均利用率為23.6%,2007年上升到了27.6%。CPU利用率的提升還得益於對壹些先進技術的采用,比如采用InfiniBand互聯網絡,將I/O效能提升了5倍。同時將HPC系統的FC-SATA光纖盤陣與SAN系統整合,利用SAN的***享功能,使I/O與盤陣從1對1變成了多對多,也提升了存儲和I/O的效率。這些技術手段的采用,改善了CPU計算能力與I/O和互聯網絡之間的帶寬匹配,從而提高了系統整體的應用效率。

  • 上一篇:支付寶接口代碼怎麽用
  • 下一篇:靳學斌是誰
  • copyright 2024編程學習大全網