當前位置:編程學習大全網 - 源碼下載 - HDFS組成架構及四大機制

HDFS組成架構及四大機制

HDFS:分布式文件系統。用於存儲文件,通過目錄樹來定位文件。由多臺服務器聯合起來實現其功能,集群中的服務器有各自的角色。適合壹次寫入,多次讀出的場景,且不支持文件修改。適合做數據分析,不適合做網盤應用。

NameNode :

DataNode :

Client :

Secondary NameNode

HDFS中的文件在物理上是分塊存儲(Block),快的大小可以通過配置參數(dfs.blcoksize)來規定,默認大小在Hadoop2.x中是128M,老版本中是64M。

DataNode定期向NameNode 發送心跳報告 已告知自己的狀態。

心跳內容:

心跳報告周期

NameNode判斷DataNode宕機的基準:

連續 10次 接收不到dataNode的 心跳信息 ,和 2次的檢查時間

NameNode判斷DataNode宕機的基準: 連續 10次 接收不到dataNode的 心跳信息 ,和 2次的檢查時間

檢查時間 :表示在NameNode在接收不到DataNode的心跳時,此時會向DataNode主動發送檢查

HDFS在 啟動 的時候,首先會進入的安全模式中,當達到規定的要求時,會退出安全模式。在安全模式中,不能執行任何 修改元數據信息的操作

HDFS的元數據的介紹(三個部分):

HDSF元數據的存儲位置:

手動退出或者進入安全模式

集群啟動後:

將每個文件的數據進行分塊存儲,每壹個數據塊又保存有多個副本,這些數據塊副本分布在不同的機器節點上。默認情況下每個數據有3個副本。

真實生產中需要手動配置機架策略。

每個節點上儲存的數據百分比相差不大。

集群會有壹個自動的負載均衡的操作,傳輸速度相對較慢,節點較少時是可以的。

如果集群較大,需要手動負載均衡。集群空閑下執行。

  • 上一篇:補碼乘法源代碼
  • 下一篇:碼支付2021源代碼
  • copyright 2024編程學習大全網