當前位置:編程學習大全網 - 源碼下載 - [HDFS]詳細解釋擦除編碼- EC體系結構和相關的核心代碼。

[HDFS]詳細解釋擦除編碼- EC體系結構和相關的核心代碼。

通過這篇文章可以獲得以下知識:

XOR碼和RS碼的基本原理及恢復過程實例。

②闡述了HDFS EC中的塊群、條形布局和連續布局的概念,並比較了它們的優缺點。壹步壹步,壹個例子被用來分析由divideByteRangeIntoStripes方法生成的單元格、區域和條帶數組。

③HDFS電子商務的核心源代碼流程。

④HDFS電子商務的優勢與劣勢。

在存儲系統中,糾刪碼技術主要利用糾刪碼算法對原始數據進行編碼得到校驗,並將數據和校驗壹起存儲,達到容錯的目的。

異或運算:同為0,但差為1。

滿足以下兩個運算法則:

兌換法則:B1⊕ B2 = B2⊕ B1。

綁定定律:b 1⊕[B2⊕B3]=[b 1⊕B2]⊕B3。

例如:

現在我們假設下面的表達式中缺少了壹個。例如,第壹位0數據丟失。

失落與成為:

怎樣才能恢復0的數據?這時候我們可以用異或的結合律。

所以缺失的數據是0。

但是XOR代碼太簡單,可容忍的錯誤太少。例如,如果我們丟失了2位數據,就無法恢復。在實際場景中,肯定會出現多次數據丟失的問題,所以需要引入其他的糾刪碼來幫助我們解決這個問題。例如,RS代碼將在下文中介紹。

RS碼,中文名裏德所羅門碼。這是壹個歐共體代碼。本節首先介紹RS碼的基本思想,然後通過壹個運算實例幫助理解RS的工作原理。

RS碼是存儲系統中常用的壹種糾刪碼,它有兩個參數k和m,記為RS(k,m)。k表示數據單元塊的數量,M表示奇偶校驗單元塊的數量。奇偶校驗單元可以理解為校驗塊,因為它是通過對數據塊進行編碼而生成的。

RS碼的基本思想;

如上圖所示:

RS碼數據恢復示例:

我們以RS(5,3)為例進行計算:

其中,1,5,7,5,5為數據塊,23,77,289為範德蒙矩陣生成的校驗塊。現在我們來看看這三個校驗塊,23,77,289,在數據塊丟失的情況下能否恢復數據。

假設在極端情況下,五個數據塊中有三個丟失,也就是可以容忍的最大數量。例如,數據塊的前三個數字丟失:1,5,7。此時,刪除丟失的數據塊及其對應的生成矩陣的行,然後將由校驗塊和剩余數據塊組成的矩陣乘以生成矩陣的逆矩陣。

  • 上一篇:介紹壹些好看的文章
  • 下一篇:我要勵誌激情節奏速度快的歌曲!
  • copyright 2024編程學習大全網