當前位置:編程學習大全網 - 網站源碼 - 在flink中哪個是基於批處理的圖計算庫

在flink中哪個是基於批處理的圖計算庫

在flink中Gelly是基於批處理的圖計算庫

作為分布式數據處理框架,Flink同時提供了支撐計算和批計算的接口,同時在此基礎上抽象出不同的應用類型的組件庫,如基於流處理的CEP(復雜事件處理庫)、SQL&Table庫和基於批處理的FlinkML(機器學習庫)等、Gelly(圖處理庫)等。

API層包括構建流計算應用的DataStream API和批計算應用的DataSet API,兩者都提供給用戶豐富的數據處理高級API,例如Map、FlatMap操作等,同時也提供比較低級的Process Function API,用戶可以直接操作狀態和時間等底層數據。

Flink

Flink通過實現Google Dataflow流式計算模型實現了高吞吐、低延遲、高性能兼具實時流式計算框架。同時Flink支持高度容錯的狀態管理,防止狀態在計算過程中因為系統異常而出現丟失,Flink周期性地通過分布式快照技術Checkpoints實現狀態的持久化維護,使得即使在系統停機或者異常的情況下都能計算出正確的結果。

  • 上一篇:dos下 編譯c#源代碼
  • 下一篇:WKWebView 重定向url,canGoBack返回YES,goBack返回空白頁
  • copyright 2024編程學習大全網