當前位置:編程學習大全網 - 網站源碼 - Hadoop2.0 NameNode HA和聯邦簡單易懂

Hadoop2.0 NameNode HA和聯邦簡單易懂

為什麽需要NameNode HA和Federation?

1.為避免namenode單點失效,二級NameNode只定時制作檢查點,不能保證數據完整性,在nn失效時不能立即替換;

2.隨著集群規模的擴大,NameNode內存出現瓶頸,聯邦的作用就是“擴大”

1.有活動和備用NameNode,它們分別處於活動和備用模式。兩者都有* * *存儲,datanode同時向兩個nn匯報,保證數據壹致性。

2.Zookeeper集群(邏輯上獨立於Hadoop集群)實現同步鎖,監控nn。

3.ZFC實現的FailoverController進程(必須在nn上,與ZK集群心跳通信,壹般2000ms)。

1.多個nn*** * *使用壹個集群中所有dn的資源,每個nn可以獨立提供服務。

2.每個NN都有壹個帶有單獨ID的塊池,每個DN都將為所有塊池提供存儲。

3.DN根據塊池ID將塊信息上報給對應的NN。

4.通過客戶端掛載表把不同的目錄掛在不同的NN上。

好處:

1.最小變化和向前兼容性。NN沒有配置變化,只有橫向擴展;在不修改配置的情況下,客戶端只能連接到壹個NN。

2.命名空間和塊存儲管理分離:DN資源得到充分利用,可以為多個nn提供服務。

3.客戶機裝載表:路徑自動對應NN,這使得聯邦配置對應用程序透明。

& lt未完待續>

還有對配置項目的描述

  • 上一篇:想買壹個帶網口,串口,USB,LINUX2.6的ARM開發板,有人推薦嗎?
  • 下一篇:微信電商收付通小微商戶進件功能PHP詳解
  • copyright 2024編程學習大全網