簡單以永洪科技的技術說下,有四方面,其實也代表了部分通用大數據底層技術:
Z-Suite具有高性能的大數據分析能力,她完全摒棄了向上升級(Scale-Up),全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據:
跨粒度計算(In-DatabaseComputing)
Z-Suite支持各種常見的匯總,還支持幾乎全部的專業統計函數。得益於跨粒度計算技術,Z-Suite數據分析引擎將找尋出最優化的計算方案,繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算,我們稱之為庫內計算(In-Database)。這壹技術大大減少了數據移動,降低了通訊負擔,保證了高性能數據分析。
並行計算(MPP Computing)
Z-Suite是基於MPP架構的商業智能平臺,她能夠把計算分布到多個計算節點,再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源,不管是服務器還是普通的PC,她對網絡條件也沒有嚴苛的要求。作為橫向擴展的大數據平臺,Z-Suite能夠充分發揮各個節點的計算能力,輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市,不讀取無關數據,能降低讀寫開銷,同時提高I/O 的效率,從而大大提高查詢性能。另外,列存儲能夠更好地壓縮數據,壹般壓縮比在5 -10倍之間,這樣壹來,數據占有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術,節省了存儲設備和內存的開銷,卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術,Z-Suite能夠大大壓縮數據,並同時利用多個節點的計算能力和內存容量。壹般地,內存訪問速度比磁盤訪問速度要快幾百倍甚至上千倍。通過內存計算,CPU直接從內存而非磁盤上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的壹種加速,是實現大數據分析的關鍵應用技術。