當前位置:編程學習大全網 - 編程語言 - 雲計算模型及其在地質數據聚類和產業服務中的應用

雲計算模型及其在地質數據聚類和產業服務中的應用

張兆岱劉宋宏偉

(青島海洋地質研究所)

雲計算繼承並整合了虛擬化技術、海量數據存儲、分布式並行計算框架、智能和自動化管理等諸多關鍵技術,形成了高性能、可擴展、低成本、面向服務的新型計算模式。目前,學術界和工業界對雲計算的研究和討論正呈現快速增長的趨勢。大量論文發表在計算機和圖書情報期刊上,研究內容集中在雲計算基礎理論、雲計算關鍵技術、雲服務應用領域、雲計算和信息資源管理等方面。基於2000-2012年國內核心期刊發表的雲計算研究文獻,分析了雲計算的研究熱點和演進方向,並結合我國地質數據聚類產業服務的發展,探討了雲計算的應用策略。

雲計算模式,地質數據信息共享與服務

1前言

“雲計算”壹詞出現在2006年,由谷歌總裁埃裏克·施密特(Eric Schmidt)在SES San Jose 2006上首次正式提出。不僅揭開了谷歌搜索背後關鍵技術的神秘面紗,而且在短短幾年內迅速超越“網格計算”,成為壹種新趨勢(圖1)。

圖1網格計算和雲計算搜索量變化趨勢圖

2006年後,在谷歌、亞馬遜、IBM等企業的推動下,“雲計算”作為壹種新的計算模式被廣泛應用。雲計算作為基礎設施和服務的交付和使用模式,正在深刻影響著互聯網的發展。近年來,國內外掀起了雲計算的研究熱潮,湧現出大量的研究文獻和應用案例。雲計算已經成為學術界和工業界的熱點。本文首先介紹了雲計算的基本概念和關鍵技術,通過對現有雲計算研究文獻的綜合分析,結合我國地質數據聚類產業化服務的發展,提出了雲計算應用中需要註意的壹些問題。

2雲計算及其關鍵技術

2.1雲計算的基本概念

雲計算的概念仍然有不同的定義。壹般認為,雲計算是壹種基於互聯網的計算方式,通過它可以將* * *所享有的軟硬件資源和信息按需提供給計算機和其他設備[1]。美國國家標準與技術研究院(NIST)也給出了雲計算的定義,認為雲計算是壹種通過網絡以便捷、按需的方式獲取計算資源並顯著提高可用性的方式。這些計算資源來自* * *共享和可配置的資源池,可以自動獲取和釋放[2]。

中國電子學會雲計算專家委員會認為,雲計算是壹種基於互聯網、公眾參與的計算模式,其計算資源(計算力、存儲力、交互力)是動態的、可擴展的、虛擬化的、作為服務提供的。這種新的計算資源組織、分配和使用模式有利於合理配置計算資源,提高其利用率,從而促進節能減排,實現綠色計算[3]。

雖然對雲計算有不同的定義,但對其特點也有過很多深入的探討。以下五個基本特征可以用來判斷壹個計算服務是否是雲計算。

(1)按需提供服務。雲計算是提供信息技術即服務的壹種方式。由於這項服務是從用戶的角度出發,所以按需自助服務是其最重要的特點之壹。用戶可以自己獲取計算能力,包括使用服務器和網絡存儲,整個過程通常是自動的。

(2)方便的網絡接入。雲計算支持廣泛便捷的網絡接入,用戶可以使用手機、移動電腦或工作站等多種設備獲取雲服務。

(3)資源* * *共享池。雲計算的好處之壹就是可以提高資源的利用率。通過將資源集中在壹個公共資源共享池中,可以為大規模用戶群體提供* * *共享服務。因為資源池可以動態分配所有的物理和虛擬資源,通過* * *享受達到提高資源利用率的目的。

(4)高可擴展性和靈活的服務。雲計算有能力快速靈活地提供服務。根據需求的變化,雲計算提供的服務可以自動快速擴展或收縮。

(5)服務是可以衡量的。通過自動監控資源的使用,雲系統可以提供量化的運營報告,從而確保雲服務處於適當的水平。

2.2雲計算的架構

計算機技術的發展經歷了從傳統的大型機計算模式到個人普適計算模式和分布式網絡計算模式的轉變[4]。雲計算作為壹種新的計算模式,不僅是分布式計算、並行計算和網格計算快速發展的結果,也是信息社會信息需求的必然選擇。社會化、集約化、專業化的信息服務是通過各種雲計算來體現的,包括通過網絡向用戶提供的各種互聯網應用、軟件或計算資源服務,以及支持這些服務可靠高效運行的軟硬件平臺。

美國國家標準與技術研究院的技術報告給出了雲計算架構的完整模型(圖2),頂層模型定義了雲計算模型中的角色、活動和功能[5]。雲計算的核心角色包括雲消費者、雲提供商、雲審計師、雲經紀人和雲運營商(表1)。在這種模式下,雲用戶可以獲得包括ERP、CRM、HR在內的商業智能以及信息、通信、協作、存儲、備份和軟硬件托管等服務,雲服務提供商通過雲計算中心的建設、運營和管理提供在線軟件服務(SaaS)、平臺服務(PaaS)和基礎設施服務(IaaS),雲運營商通過提供網絡接入和通信系統保障雲計算的提供和供應。

圖2雲計算架構的參考模型(引自NIST)

表1雲計算模式下的主要角色和定義

2.3雲計算的關鍵技術

雲計算是計算機技術發展的產物,其中虛擬化技術、海量數據存儲、分布式並行計算框架、智能化和自動化管理被認為是實現雲計算的關鍵技術[6]。

2.3.1虛擬化技術

虛擬化技術是充分集成和高效利用各種計算和存儲資源的關鍵。虛擬化技術包括兩個方面:物理資源池和資源池管理。物理資源池是將壹個物理設備由大變小,將壹個物理設備虛擬成多個最小的資源單元,性能可配置;資源池管理是管理集群中虛擬化後的最小資源單元,根據資源的使用情況靈活分配和調度資源,實現資源的按需分配。虛擬化技術主要應用於服務器虛擬化、存儲虛擬化和網絡虛擬化。

海量數據存儲

海量數據存儲是雲計算的主要任務。為了保證可用性、可靠性和經濟性,雲計算使用分布式存儲來存儲數據。由於采用分布式冗余存儲,數據可靠性高,可以並行為大規模用戶提供服務。雲計算的數據存儲技術主要有谷歌的GFS(谷歌文件系統)和Hadoop的HDFS (Hadoop分布式文件系統)。

2.3.3分布式並行計算框架

並行計算是雲計算的核心。雲計算采用Map-Reduce編程模式實現分布式並行計算。Map-Reduce通過兩個過程簡化並行計算,即“Map”和“Reduce”。所有的應用程序只需要提供map函數和Reduce函數就可以在集群上進行大規模的分布式數據處理。Map-Reduce不僅是壹種編程模型,也是壹種高效的任務調度模型。該模型的使用使得高度並行和分布式計算任務成為現實。

2.3.4智能化和自動化管理技術

雲計算具有高度的自治性,智能化和自動化管理是雲計算模式的重要技術支撐。通過對集群系統中所有節點的全面監控、自動反饋和智能部署,實現設備、虛擬資源、通信和服務的動態管理和自動遷移。基於第四代大規模數據中心的雲計算不僅可以靈活擴展部署,還可以滿足服務計算和多粒度計算的要求。

3中國雲計算研究熱點分析

3.1國內外雲計算搜索量變化趨勢對比

搜索量的大小通常反映了關註度的高低,使用Google Trends工具可以分析出壹些長期的趨勢和變化。這裏分別選取“雲計算”和“雲計算”作為世界和中國雲計算領域的索引關鍵詞。從分析結果可以看出以下特點(圖3): ①全球在2007年開始關註雲計算,而中國在2008年才開始關註這壹領域。所以中國還是屬於學習跟隨的研究模式。②2007年以來,全球“雲計算”的搜索量呈現快速增長趨勢。目前,它已經超過“網格計算”成為新的信息技術熱點,但中國對此的關註相對溫和和滯後。③如果把搜索量所代表的關註度看作是“海上冰山”,那麽在那些“水下部分”,包括基礎理論、關鍵技術、應用實踐等方面,國內與國外的差距更大。

圖3國內外雲計算搜索量變化趨勢對比

3.2國內雲計算研究文獻的定量分析

本文利用中國知網CNKI學術期刊數據庫,檢索了2000年1至2012年3月發表的852篇關於雲計算研究的核心期刊論文(表2)。我國對雲計算的研究始於2007年,之前相關研究很少。從2008年到2011,關於雲計算的研究開始引起廣泛關註,論文數量開始急劇上升。與此同時,發表雲計算論文的期刊數量也迅速增加,顯示了雲計算研究的普遍性。由於只統計了2012年4月的部分數據,所以從表面上檢索到的2012的結果並不多,實際上並沒有改變論文數量快速增長的趨勢。

表2雲計算論文發表時間分布表

對檢索到的852篇論文,進行了關鍵詞定量分析,其中關鍵詞1376,累計頻次3020次。按頻率降序排列,十大關鍵詞分別是:雲計算(645)、虛擬化(115)、圖書情報學(115)、雲服務(94)、安全(65)、存儲(42)、物聯網。從關鍵詞分析可以看出,雲計算的研究涉及基礎理論、關鍵技術、應用領域、信息資源管理等諸多方面,對虛擬化、存儲、MapReduce等關鍵技術的討論也很多。但總體來說,大部分還是綜合性、前瞻性的論文。就應用領域而言,圖書情報學研究和借鑒雲計算的趨勢明顯[7],但雲計算在地質數據領域的關註和應用研究還較少。

4雲計算和地質數據服務

4.1地質資料及服務現狀

地質資料是國家重要的基礎數據。新中國成立以來,通過實施地質資料統壹匯交制度,積累了大量的地質資料。國家基礎地質和戰略礦產地質數據資源12有50多種,數據量超過10TB,涉及區域地質、礦產地質、水文-工程-環境地質、農業地質、海洋地質、基礎地質、地球化學、地球物理、地學研究、地質資料和遙感[8]。

目前,我國實行兩級監管、三級保存的地質資料管理框架。由於碎片化等原因,地質數據的享受和服務還存在較大差距,表現為數字化程度低,信息孤島現象嚴重,地質數據不能及時有效地滿足國家建設和社會需求。

2002年國務院頒布《地質資料管理條例》,2003年國土資源部發布《地質資料管理條例實施辦法》。地質資料的管理和服務受到了前所未有的重視。國土資源部先後推進地質資料匯交、地質資料委托保管、地質資料集群化、產業化服務等工作。,地質資料的管理和服務開始出現新的局面。由於管理和服務方式的轉變是壹個長期的過程,地質資料工作的重要性還沒有完全顯現出來,社會對地質礦產的關註度還遠遠落後於“土地”、“海洋”、“氣象”,僅略高於“測繪”(圖4)。

4.2雲計算是改變地質數據服務模式的契機。

從雲計算的產生和發展來看,雲計算是在繼承和整合虛擬化技術、海量數據存儲、分布式並行計算框架、智能化、自動化管理等多項關鍵技術的基礎上,形成的壹種高性能、可擴展、低成本、面向服務的新型計算模式。雲計算正在推動信息產業實現社會化、集約化、專業化的大變革。

社交化:互聯網計算正在成為社會基礎設施,建立集中式和各種雲計算中心實現大規模的社交服務是當前的發展趨勢。

圖4地質等效搜索量變化趨勢對比

集約化:將分散、粗放的軟件開發應用壹體化,將軟件模塊模塊化,提高平臺的利用率,使計算資源虛擬組織配置,靈活擴展收縮,通過軟件復用和柔性重組,優化重構服務流程。

專業化:針對多租戶,服務更加精細化、標準化,服務使用透明,按需租用[9]。

地質數據服務和信息共享是典型的數據密集型計算服務,這與雲計算模式的基本特征不謀而合。因此,雲計算的引入是促進地質數據信息服務集群化產業化的天然契機。從技術角度來說,國家地質數據中心的建設非常重要。建議規劃壹個地質數據專業雲,提供完整的SPI(軟件即服務SaaS、平臺即服務PaaS、基礎設施即服務IaaS)服務,涵蓋二級監管、三級保存和社會化服務。這種集中部署模式不僅降低了技術難度,還有助於提高投資和使用效率。其次,國家地質數據中心也可以規劃為“邏輯統壹、物理分布”的三層數據中心體系。這種社區雲部署模式符合我國地質數據行業的現狀,組織實施相對簡單。需要註意的是,不管是哪種方式,統壹架構、采用成熟技術、標準壹致、安全性都是需要考慮的重要問題。

5結論

與網格計算相反,雲計算經歷了從實踐到理論的過程。自從研究者關註雲計算以來,已經有了大量的雲計算的例子。我國在雲計算領域的基礎研究仍然落後,但雲計算在圖書情報行業的跟蹤和應用非常突出,壹些知識型服務已經達到專業化和產業化的水平。相信雲計算模式的引入將極大地推動地質數據服務向集群產業化轉變,從而更好地實現地質數據和成果的全社會共享。

參加考試,貢獻力量

[1]維基百科。雲計算。http:/http://zh . Wikipedia . org/wiki//雲計算,2012。

[2]彼得·梅爾,蒂莫西·格蘭斯。雲計算的NIST定義。NIST特刊800 ~ 145,2011。

[3]李德意,林潤華,鄭為民等.雲計算技術發展報告[M].北京:科學出版社,2011。

楊春霞、王勝傑、王春民。論計算模式的演變及其對海洋地質數據處理的影響[J].海洋地質動力學,2004,20 (2): 32 ~ 36。

[5]方柳,金童,簡茂等. NIST雲計算參考架構.NIST特刊500 ~ 292,2011。

[6]邁克爾·阿姆布魯斯特、阿曼多·福克斯、瑞恩·格裏菲斯等人,《雲端之上:伯克利的雲計算觀》,http://www . eecs . Berkeley . edu/Pubs/tech rpts/2009/EECS-2009-28 . pdf,2009年。

[7]張·。國內圖書情報學雲計算研究綜述[J].全國圖書館學報,2010,(3): 73 ~ 76。

國土資源部礦產資源與儲量司。推進地質信息服務的集群化產業化[M].北京:地質出版社,2011。

[9]李德意。雲計算支持信息服務的社會化、集約化和專業化[J]。重慶郵電大學學報,2010,22 (6): 698 ~ 702。

  • 上一篇:初中畢業在天津能上技校學什麽專業好?
  • 下一篇:電腦編程初學者看壹些什麽書?
  • copyright 2024編程學習大全網