例:y = ax + (
其中:y,x 可測;( — 不可測的幹擾項;
a —未知參數.通過 N 次實驗,得到測量數據 yk 和
xk k = 1,2,3 …,確定未知參數 a 稱"參數估計".使準則 J 為最小 :
令:( J ( ( a = 0 ,導出 a =
稱為"最小二乘估計",即殘差平方總和為最小的估計,Gauss於 1792晏岢?
二,多元線性回歸
線性模型 y = a0+ a1x1+(+ anx n + ( 式(2 - 1- 1)
引入參數向量:( = [ a0,a1,(a n ]T (n+1)(1
進行 N 次試驗,得出N 個方程:
yk = (kT ( + (k ; k=1,2…,N 式(2 -1- 2)
其中:(k = [ 1,x1,x2,(,x N ] T (n+1) (1
方程組可用矩陣表示為
y = ( ( + ( 式(2 -1- 3)
其中:y = [ y1,y2,...,y N ] T (N (1)
( = [ (1,(2,...,( N ] T (N 1)
N (n+1)
估計準則:
有:
= (y — ( ()T( y — ( ()
(1(N) ( N(1)
J = yTy + (T (T ( ( -yT ( ( - (T (T y
= yTy + (T (T ( ( - 2 (T (T y 式(2 -1- 4)
假設:((T ()(n+1)(n+1) 滿秩,由
利用線性代數的以下兩個矩陣對向量求偏導數的公式:
和
有:和
所以:
解出參數估計向量:( Ls =((T ()-1 (T y 式(2 -1- 5)
令:P = ((T ()-1 則參數估計向量 ( Ls = P (T y
參數估計向量 ( Ls 被視為以下"正則方程"的解:
((T ()( = (T y 式(2 -1- 6)
註:為了便於區別,我們用紅體字符表示估計量或計算值,而用黑體表示為參數真值或實際測量值.
三,關於參數最小二乘估計 Ls 性質的討論
以上求解參數最小二乘估計 ( Ls 時並為對{ (k }的統計特性做任何規定,這是最小二乘估計的優點.當{ (k }為平穩零均值白噪聲時,則 ( Ls 有如下良好的估計性質:
參數最小二乘估計 ( Ls 是 y 的 線性估計
( Ls = P (T y 是 y 的線性表出;
b) 參數最小二乘估計 ( Ls 是無偏估計,即 E ( Ls= ( (參數真值)
[ 證明 ]:E ( Ls= E[ P (T y ]= P (T E( y ) = P (T E ( (( + ( ) =
P (T ( ( + E( ( ) = ( + 0 = (
最小二乘估計 ( Ls 的估計誤差協方差陣是 (2P (n+1)(n+1)
即:E [ ( ( Ls- ( ) ( ( Ls- ( )T ] = (2P
[ 證明 ]:E [ ( ( Ls - ( ) ( ( Ls - ( )T ] = E [ P (T ( y -
( () ( y- ( ()T (P ] = E [ P (T ( (T (P ] = P (T E ( ( (T) (P =
P (T (2 IN(N (P = (2P
若{ (k }為正態分布零均值白噪聲時,則 ( Ls 是線性無偏最小方差估計(證明從略).如若{ (k }是有色噪聲,則 ( Ls 不具有上述性質,即為有偏估計.
四,最小二乘估計 ( Ls 的的幾何意義和計算問題
1.最小二乘估計的幾何意義
最小二乘估計的模型輸出值為 yk = ( kT ( Ls k = 1,2,…N
輸出實際測量值與模型輸出值之差叫殘差:(k = yk – yk
模型輸出向量為 y = ( ( Ls ,而殘差向量為:
( = y – y = y – ( ( Ls
(T ( k = (T y – (T (((T ()-1 (T y = (T y – (T y = 0
即殘差向量 ( 與由測量數據矩陣 ( 的各個向量:( 1,( 2 ,…,( N 張成的超平面(估計空間)正交,而最小二乘模型輸出向量 y 為實際輸出向量 y 在估計空間上的正交投影,這就是最小二乘估計的幾何意義.
---------------------------------------------
最小二乘法是壹種數學優化技術,它通過最小化誤差的平方和找到壹組數據的最佳函數匹配.
最小二乘法是用最簡的方法求得壹些絕對不可知的真值,而令誤差平方之和為最小.
最小二乘法通常用於曲線擬合.很多其他的優化問題也可通過最小化能量或最大化熵用最小二乘形式表達.
比如從最簡單的壹次函數y=kx+b講起
已知坐標軸上有些點(1.1,2.0),(2.1,3.2),(3,4.0),(4,6),(5.1,6.0),求經過這些點的圖象的壹次函數關系式.
當然這條直線不可能經過每壹個點,我們只要做到5個點到這條直線的距離的平方和最小即可,這就需要用到最小二乘法的思想.然後就用線性擬合來求.