當前位置:編程學習大全網 - 編程語言 - 大數據中可以用來實現流計算的技術是哪幾項

大數據中可以用來實現流計算的技術是哪幾項

大數據中可以用來實現流計算的技術是Storm、Flink、Spark Streaming。

Storm的設計理念就是把和具體業務邏輯無關的東西抽離出來,形成壹個框架,比如大數據的分片處理、數據的流轉、任務的部署與執行等,開發者只需要按照框架的約束,開發業務邏輯代碼,提交給框架執行就可以了。

Spark Streaming巧妙地利用了Spark的分片和快速計算的特性,將實時傳輸進來的數據按照時間進行分段,把壹段時間傳輸進來的數據合並在壹起,當作壹批數據,再去交給Spark去處理。

Flink處理實時數據流的方式跟Spark Streaming也很相似,也是將流數據分段後,壹小批壹小批地處理。流處理算是Flink裏的“壹等公民”,Flink對流處理的支持也更加完善,它可以對數據流執行window操作,將數據流切分到壹個壹個的window裏,進而進行計算。

Storm的主要特點如下所示:

1、簡單的編程模型。類似於MapReduce降低了並行批處理復雜性,Storm降低了進行實時處理的復雜性。

2、可以使用各種編程語言。妳可以在Storm之上使用各種編程語言。默認支持Clojure、Java、Ruby和Python。要增加對其他語言的支持,只需實現壹個簡單的Storm通信協議即可。

3、容錯性。Storm會管理工作進程和節點的故障。

4、水平擴展。計算是在多個線程、進程和服務器之間並行進行的。

5、可靠的消息處理。Storm保證每個消息至少能得到壹次完整處理。任務失敗時,它會負責從消息源重試消息。

6、快速。系統的設計保證了消息能得到快速的處理,使用?MQ作為其底層消息隊列。

7、本地模式。Storm有壹個“本地模式”,可以在處理過程中完全模擬Storm集群。這讓妳可以快速進行開發和單元測試。

  • 上一篇:假設檢驗概述
  • 下一篇:Parraca還是核桃編程?
  • copyright 2024編程學習大全網