當前位置:編程學習大全網 - 網站源碼 - flink中基於批處理的計算庫是哪個?

flink中基於批處理的計算庫是哪個?

Gelly是壹個基於flink中批處理的圖形計算庫。

作為分布式數據處理框架,Flink提供了支持計算和批量計算的接口,抽象出不同應用類型的組件庫,如基於流處理的CEP(復雜事件處理庫)、SQL & amp;表庫、基於批處理的FlinkML(機器學習庫)、Gelly(圖形處理庫)等。

API層包括用於構造流計算應用的DataStream API和用於批量計算應用的DataSet API,兩者都為用戶提供了豐富的數據處理高級API,如Map和FlatMap操作,還提供了相對底層的流程函數API,用戶可以直接操作狀態、時間等底層數據。

弗林克

Flink通過實現Google數據流流計算模型,實現了壹個高吞吐量、低延遲、高性能的實時流計算框架。同時,Flink支持高度容錯的狀態管理,防止計算過程中因系統異常導致狀態丟失。Flink通過分布式快照技術檢查點周期性地實現狀態的持久維護,這樣即使在系統宕機或異常的情況下也能計算出正確的結果。

  • 上一篇:使用HashSet去重的坑
  • 下一篇:android soundpool被什麽替代了
  • copyright 2024編程學習大全網