4.6.3.1 AR 譜估計與最大熵譜估計等效
為討論方便，先簡要介紹壹下熵的概念，然後再給出最大熵譜估計方法。
設信源是由屬於集合X=｛x1，x2，…，xN｝的N個事件所組成，信源產生事件xj的概率為P（xj），則
地球物理信息處理基礎
定義在X集合中事件xj的信息量為
I（xj）=-lnP（xj）
若式中對數以e為底，則I（xj）的單位為奈特（nat），若以2為底，則單位為比特（bit）。
定義整個信源N個事件的平均信息量為
地球物理信息處理基礎
H（X）被稱為信源的熵（根據Shannon對熵的定義）。若信源X是壹個連續型的隨機變量，其概率密度p（x）也是連續函數，模仿式（4-34），信源的熵定義為
地球物理信息處理基礎
假定信源是壹個高斯隨機過程，可以證明，它的每個樣本的熵正比於
地球物理信息處理基礎
式中Pxx（f）是功率譜。該式建立了熵與功率譜之間的關系。
1967年J.P.Burg 提出最大熵功率譜估計（MESE：Maximum Entropy Spectrum Estimation），它是基於將壹段已知的自相關序列進行外推，以得到未知的自相關采樣值。這樣，因對自相關序列加窗而使譜估計特性變壞的弊端就被去除了。
若已知｛rxx（0），rxx（1），…，rxx（p）｝，則問題在於如何外推求得rxx（p+1），rxx（p+2），…才能保證整個外推後的自相關矩陣是正定的。壹般有無限多種可能的外推方法，都能得到比較合適的自相關序列。Burg證明了選擇這樣的外推方法才是最合理的：外推後的自相關序列所對應的時間序列應當具有最大熵。也就是說，在所有前p+1個自相關函數等於原來給定值的外推後的自相關序列中，所選擇的自相關序列rxx（m）所對應的時間序列x（n）是“最隨機的”或“最不可預測”的，或者說它的功率譜將是最平坦或最白的。通過由這樣的外推得到的自相關序列求出的功率譜稱為最大熵譜估計。
選擇最大熵準則的合理性在於：對未知自相關值所加的約束最少，因而對應的時間序列的隨機性最大，故可得到壹個具有最小偏差的解。
在求取MESE的方法中，Burg施加了壹個約束條件，即估計功率譜的傅氏逆變換所得到的前p+1個自相關函數等於所給定的信號X的前p+1個自相關函數。因
地球物理信息處理基礎
所以
地球物理信息處理基礎
在式（4-35）中，最大功率譜的求解問題在數學上屬於泛函極值問題，可采用Lagrange乘數法解此有約束最優化問題，得到
地球物理信息處理基礎
式中λ（m）是Lagrange乘數，根據約束條件（4-36）求出λ（m），代入上式便可得到
地球物理信息處理基礎
式中a（m）可根據Yule-Walker方程由已知的p+1個自相關函數采樣值求取。
由此可看出，在已知｛rxx（0），rxx（1），…，rxx（p）｝的情況下，對於高斯隨機過程，MESE與AR（p）是等效的。
4.6.3.2 AR 譜估計與線性預測譜估計等效
已知壹平穩隨機過程的樣本｛x（n-1），x（n-2），…，x（n-p）｝，用來預測x（n），x（n）=s（n）+v（n），設噪聲v（n）=0，則x（n）=s（n），並設線性移不變系統的單位沖激響應為h（n），那麽系統的輸出為
地球物理信息處理基礎
由第二章最佳濾波器（維納濾波器）設計知，系統的估計誤差為
地球物理信息處理基礎
若設ak=-h（k），則 ，這是壹線性預測問題。e（n）為預測誤差
地球物理信息處理基礎
預測系數ak可按均方誤差（預測誤差功率）最小的準則來選取，即
地球物理信息處理基礎
要使該式最小，要求
地球物理信息處理基礎
由此得到（詳見第二章，不過，這裏x（n）可能是復數）
E［e（n）x*（n-m）］=rex（m）=0，m=1，2，…，p （4-42）
由式（2-10）得
地球物理信息處理基礎
即
地球物理信息處理基礎
此時，系統處於最佳濾波狀態，根據式（2-18），應有
地球物理信息處理基礎
上二式合並成為
地球物理信息處理基礎
圖4-3 自回歸模型及預測誤差濾波器
（a）AR（p）模型；（b）預測誤差濾波器
這與AR（p）模型的 Yule-Walker 方程（見式（4-20））相同。若二者具有同樣的自相關函數值，它們的解必相同，即有ak=a（k），（k=0，1，2，…，p；a0=1）， 。這就是說，最佳線性預測系數等於AR模型參數，最小均方誤差（預測誤差功率）等於激勵噪聲方差 ，而預測誤差等於AR模型的激勵源ε（n）。用時刻 n 以前的 p個采樣數據預測x（n），如圖4-3所示，可作出濾波解釋。若將x（n）作為輸入，濾波器傳輸函數為
地球物理信息處理基礎
（即H（z）的逆濾波器），那麽輸出將是預測誤差ε（n），如圖4-3（b）所示，稱之為預測誤差濾波器或白化濾波器（Whitening Filter）。