NameNode: name21.hadoop，name22.hadoop
Hadoop版本:2.7.1
事故報告
1.Time = & gt22:31:04
高可用性狀態= & gtname21.hadoop:Active，name22.hadoop:Standyby
日誌信息= & gtname 21 . Hadoop:/var/log/Hadoop/HDFS/GC . log-xxxxxxxxxx
此時，Active NameNode觸發壹個異常的JVM GC(正常情況下GC不到2s)，耗時32.46s這壹次；
2.Time = & gt22:31:37
高可用性狀態= & gtname21.hadoop:Active，name22.hadoop:Standyby
日誌信息= & gtname 21 . Hadoop:/var/log/Hadoop/HDFS/Hadoop-HDFS-NameNode-name 21 . Hadoop . log
此時，由於GC時間較長，active NameNode與JournalNodes通信時，由於超時(默認超時為20s，GC耗時32s)而無法響應。
此時，活動Namenode節點進入異常狀態(進程無法結束，程序播放的端口8021不存在)；
3.Time = & gt22:32:22
高可用性狀態= & gtname21.hadoop:Active，name22.hadoop:Standyby
日誌信息= & gtname 21 . Hadoop:/var/log/Hadoop/HDFS/Hadoop-HDFS-zkfc-name 21 . Hadoop . log
此時name21.hadoop上的ZKFailoverController無法獲取本地Namenode的狀態【無法將活動狀態改為備用】，然後每隔45s重試壹次；同時關閉與zookeeper的會話連接；
4.Time = & gt22:32:22
高可用性狀態= & gtname21.hadoop:Active，name22.hadoop:Standyby
日誌信息= & gtname 22 . Hadoop:/var/log/Hadoop/HDFS/Hadoop-HDFS-zkfc-name 22 . Hadoop . log
同時，name22.hadoop的namenode與zookeeper建立會話連接，ZKFailoverController嘗試連接name21.hadoop的Namenode，將狀態從Active改為Standby，並報告錯誤連接超時。
啟動Fence服務(沒有設置集群，所以直接返回TRUE)，將name22.hadoop Namenode的狀態由備用改為活動；
5.Time = & gt22:32:46
高可用性狀態= & gtname21.hadoop:Active，name22.hadoop:Active
此時，集群的NameNode出現雙活躍狀態，產生裂腦；
6.恢復措施
後來運維介入，我嘗試重啟namenode，發現卡在了35%的進度，無法繼續執行。
原因:在運維幹預過程中，首先嘗試重啟name22.hadoop上的namenode，此時重啟程序檢測到雙active，程序會反復獲取狀態，直到只有壹個active；
此時發生的情況是:
Name21.hadoop的namenode異常(8021端口連接超時)，無法將其狀態從active改為standby；
Name22.hadoop的namenode已經被ZKFailoverController選為active，當選原因是name21.hadoop的8021端口連接異常；
所以需要在name21.hadoop上重啟namenode(恢復端口8021)。重啟時會檢測name22.hadoop的namenode狀態(檢測name22.hadoop的端口8021)，它會將自己從active切換到standby。Name22.hadoop不需要重啟；
7.預防措施
A.優化GC參數，增加namenode的GC監控，查找GC異常原因並修復；
B.增加journalNode的寫超時，當前默認值為20s，生產環境需要增加到60s
C.啟動圍欄服務；
d .監控集群命名節點的狀態；
博客主頁:/u/e97bb429f278