當前位置:編程學習大全網 - 編程語言 - 大數據的數據整合和資源***享技術有哪些

大數據的數據整合和資源***享技術有哪些

非常多的,問答不能發link,不然我給妳link了。有譬如Hadoop等開源大數據項目的,編程語言的,以下就大數據底層技術說下。

簡單以永洪科技的技術說下,有四方面,其實也代表了部分通用大數據底層技術:

Z-Suite具有高性能的大數據分析能力,她完全摒棄了向上升級(Scale-Up),全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據:

跨粒度計算(In-DatabaseComputing)

Z-Suite支持各種常見的匯總,還支持幾乎全部的專業統計函數。得益於跨粒度計算技術,Z-Suite數據分析引擎將找尋出最優化的計算方案,繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算,我們稱之為庫內計算(In-Database)。這壹技術大大減少了數據移動,降低了通訊負擔,保證了高性能數據分析。

並行計算(MPP Computing)

Z-Suite是基於MPP架構的商業智能平臺,她能夠把計算分布到多個計算節點,再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源,不管是服務器還是普通的PC,她對網絡條件也沒有嚴苛的要求。作為橫向擴展的大數據平臺,Z-Suite能夠充分發揮各個節點的計算能力,輕松實現針對TB/PB級數據分析的秒級響應。

列存儲 (Column-Based)

Z-Suite是列存儲的。基於列存儲的數據集市,不讀取無關數據,能降低讀寫開銷,同時提高I/O 的效率,從而大大提高查詢性能。另外,列存儲能夠更好地壓縮數據,壹般壓縮比在5 -10倍之間,這樣壹來,數據占有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術,節省了存儲設備和內存的開銷,卻大大了提升計算性能。

內存計算

得益於列存儲技術和並行計算技術,Z-Suite能夠大大壓縮數據,並同時利用多個節點的計算能力和內存容量。壹般地,內存訪問速度比磁盤訪問速度要快幾百倍甚至上千倍。通過內存計算,CPU直接從內存而非磁盤上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的壹種加速,是實現大數據分析的關鍵應用技術。

  • 上一篇:python中縮進是什麽
  • 下一篇:動畫連續動作分解圖-如何制作連續動態圖片.壹個圖片上面有個人物連著走動背景也跟著動.怎麽做啊詳細點
  • copyright 2024編程學習大全網