當前位置:編程學習大全網 - 網站源碼 - 如何對hadoop平臺進行優化和維護

如何對hadoop平臺進行優化和維護

(1) 從應用程序角度進行優化。由於mapreduce是叠代逐行解析數據文件的,怎樣在叠代的情況下,編寫高效率的應用程序,是壹種優化思路。

(2) 對Hadoop參數進行調優。當前hadoop系統有190多個配置參數,怎樣調整這些參數,使hadoop作業運行盡可能的快,也是壹種優化思路。

(3) 從系統實現角度進行優化。這種優化難度是最大的,它是從hadoop實現機制角度,發現當前Hadoop設計和實現上的缺點,然後進行源碼級地修改。該方法雖難度大,但往往效果明顯。

  • 上一篇:mapboxstudio上的地面服務是什麽類型的?
  • 下一篇:求Matlab做電力系統短期負荷預測的代碼,用SVM或者神經網絡的都可以,用作參考
  • copyright 2024編程學習大全網