當前位置:編程學習大全網 - 網絡軟體 - 大數據平臺的軟件有哪些?

大數據平臺的軟件有哪些?

壹、Phoenix

這是壹個Java中間層,可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫,代碼位於GitHub上,並且提供了壹個客戶端可嵌入的JDBC驅動。

Phoenix查詢引擎會將SQL查詢轉換為壹個或多個HBase scan,並編排執行以生成標準的JDBC結果集。直接使用HBase API、協同處理器與自定義過濾器,對於簡單查詢來說,其性能量級是毫秒,對於百萬級別的行數來說,其性能量級是秒。

二、Presto

Facebook開源的數據查詢引擎Presto ,可對250PB以上的數據進行快速地交互式分析。該項目始於 2012 年秋季開始開發,目前該項目已經在超過 1000 名 Facebook 雇員中使用,運行超過 30000 個查詢,每日數據在 1PB 級別。Facebook 稱 Presto 的性能比諸如 Hive 和 Map*Reduce 要好上 10 倍有多。

Presto 當前支持 ANSI SQL 的大多數特效,包括聯合查詢、左右聯接、子查詢以及壹些聚合和計算函數;支持近似截然不同的計數(DISTINCT COUNT)等。

三、Shark

Shark即Hive on Spark,本質上是通過Hive的HQL解析,把HQL翻譯成Spark上的RDD操作,然後通過Hive的metadata獲取數據庫裏的表信息,實際HDFS上的數據和文件,會由Shark獲取並放到Spark上運算。Shark的特點就是快,完全兼容Hive,且可以在shell模式下使用rdd2sql()這樣的API,把HQL得到的結果集,繼續在scala環境下運算,支持自己編寫簡單的機器學習或簡單分析處理函數,對HQL結果進壹步分析計算。

關於大數據平臺的軟件有哪些,青藤小編就和您分享到這裏了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於大數據平臺的軟件有哪些?的相關內容,更多信息可以關註環球青藤分享更多幹貨

  • 上一篇:武磊國外歸來,技術大幅度領先隊友,留洋經歷真的重要嗎?
  • 下一篇:幼兒創意插畫圖片大全圖片大全-兒童插畫的風格有哪些?
  • copyright 2024編程學習大全網