學號：19021210938
嵌牛導讀隨著優化算法的不斷研究，神經網絡已經深入到許多領域，解決了許多實際問題，並引發了人類不斷地思考。本篇討論了小波神經網絡的相關知識。
嵌牛鼻子BP神經網絡? 小波變換 ? 小波神經網絡
嵌牛正文
BP 網絡的實現過程主要分成兩個階段，第壹階段是信號的前向傳播，從輸入層經過隱含層到達輸出層，第二階段是誤差的反向傳播，從輸出層經過隱含層到達輸入層。誤差傳遞完後，依次調節輸入層和隱含層之間的權值和偏置，以及隱含層和輸出層之間的權值和偏置。如圖1所示：
BP神經網絡的神經元如圖2所示：
其中，激活函數為Sigmoid函數，表達式為：
2.1小波變換
小波變換是以 Fourier 分析為基礎的壹種新的數學變換手段，它克服了 Fourier變換的局限性以及加窗 Fourier 變換的窗口不變的缺點。小波變換主要通過伸縮和平移實現多尺度細化，突出所要處理的問題細節，有效提取局部信息。
2.2小波神經網絡
小波神經網絡是改進的BP網絡，將原先的隱含層的Sigmiod激活函數替換為小波函數——Morlet小波，其表達式為
本篇設計的4層小波神經網絡的模型圖如圖3所示：
2.3模型的建立
a.初始化各項參數
在圖3的網絡設計中， 為輸入樣本， 為輸出樣本， 分別為輸入層、隱含層、輸出層節點， 為各節點的連接權值。
b.前向計算
隱含層1的輸入為所有輸入的加權和： ，隱含層1的輸出為 。其余隱含層的輸入輸出及輸出層與1類似，在此不再贅述。
c.誤差反向傳播
誤差反向傳播采用梯度下降算法調整各層間的權值，即權值修正過程。權值修正方式有兩種，壹是按輸入樣本逐次修正，二是全部樣本輸入後再修正。本篇采用第壹種方法。
根據誤差函數 修正權值和小波因子，為了避免算法陷入局部最小值，加快其收斂速度，引入了動量因子 ，學習率為 ，公式分別如下表示：
總結：小波神經網絡擁有小波變換的優點，避免了 BP 網絡設計結構上的盲目性，但是隱含層的節點數以及各層之間的權值、尺度因子的初始化參數難以確定，會影響網絡的收斂速度。在後續的學習中，可以嘗試其他小波函數的神經網絡，通過比較其最優結果構造小波神經網絡。