當前位置:編程學習大全網 - 源碼下載 - impala並發設置

impala並發設置

impala並發設置通過查了Impala的代碼,出現這種報錯壹般是由於兩種情況造成:

壹種情況是可用內存不足;另壹種情況是impalaservicepool已經滿了。

Impala是Cloudera公司主導開發的新型查詢系統,它提供SQL語義,能查詢存儲在Hadoop的HDFS和HBase中的PB級大數據。已有的Hive系統雖然也提供了SQL語義,但由於Hive底層執行使用的是MapReduce引擎,仍然是壹個批處理過程,難以滿足查詢的交互性。相比之下,Impala的最大特點也是最大賣點就是它的快速。

優點:Impala不需要把中間結果寫入磁盤,省掉了大量的I/O開銷。省掉了MapReduce作業啟動的開銷。MapReduce啟動task的速度很慢(默認每個心跳間隔是3秒鐘),Impala直接通過相應的服務進程來進行作業調度,速度快了很多。

Impala完全拋棄了MapReduce這個不太適合做SQL查詢的範式,而是像Dremel壹樣借鑒了MPP並行數據庫的思想另起爐竈,因此可做更多的查詢優化,從而省掉不必要的shuffle、sort等開銷。通過使用LLVM來統壹編譯運行時代碼,避免了為支持通用編譯而帶來的不必要開銷。用C++實現,做了很多有針對性的硬件優化,例如使用SSE指令。使用了支持Datalocality的I/O調度機制,盡可能地將數據和計算分配在同壹臺機器上進行,減少了網絡開銷。

  • 上一篇:暗影之刃3人類心靈穿梭法入門獲取方法及用法分析
  • 下一篇:Openwrt沒有多線多撥。
  • copyright 2024編程學習大全網