梯度下降法的基本原理精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的梯度下降法的基本原理主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：梯度下降法的基本原理范文

關鍵詞：邏輯回歸；綜合素質量化

中圖分類號：TP301 文獻標識碼：A 文章編號：1009-3044（2016）25-0183-01

學生綜合素質量化評估是促進學生全面發展的重要手段。通過科學的綜合素質量化評估體系可以幫助學生了解自己的長處和不足，找準努力的方向，也是對學生進行評優的依據[1]。在綜合素質評估系統中，不同的指標由于權重不同，導致評價不同[2]。根據學生培養目標的要求，量化評估的指標包括：思想道德評價，文化知識素質評價，身體心理素質的評價，創新發展能力評價。

目前我校各個指標在綜合素質量化評估中的比重分別為20%、10%、10%、60%，表明我校學生在綜合素質量化評估中各個特征的重要性。

然而，不同的評優標準要求不完全一致，推優時應該有針對性。例如，省級三好學生的評選標準是“具有堅定正確的政治方向，堅持黨的基本路線……善于學習和吸收新知識，熱愛所學專業，勤奮學習，成績優異……有較強的實踐能力……有健康的身體、良好的心理素質……”。省級優秀學生干部的評選標準是“有較高的思想政治素質……熱心承擔社會工作……有很強的工作能力……”。

大四畢業之際，能否根據以往的綜合成績公平公正推選各種優秀，是每個畢業生關注的焦點。因此，本研究從已有的綜合素質量化評估成績出發，得出邏輯回歸模型，分析各個特征的權重，并與現有的指標量化權重進行比較，為有針對性地推優提供參考依據。

1 邏輯回歸的基本原理

邏輯回歸是機器學習算法中的一種分類算法，適用于標簽取值離散的情況。假設函數可以表示為：

其中，為邏輯回歸模型參數向量，x為該數據樣本特征值向量。為設定一個閾值，當大于閾值時，判定該樣本屬于某一特定分類，反之亦然[3]。

邏輯回歸分類模型使用代價函數來衡量模型的精確度，正則化后的代價函數表示為：

其中，表示第i個數據樣本的特征向量。表示第i個樣本在訓練集中的分類標注，取值分別為1時表示樣本屬于某一類別，為0時表示樣本不屬于該類別。為正則化參數，控制在兩個不同的目標中的平衡關系。正則化化后的代價函數可以保持假設的形式相對簡單，避免過度的擬合。能使取極小值的邏輯回歸模型參數向量就可以用于對新樣本的預測。

可以采用梯度下降法來求解參數最小化正則化代價函數的更新公式為：

其中，是學習速率，用于控制梯度下降的步長值。

2預測模型的建立

收集一個班50名學生7個學期的綜合素質評估成績，取各個特征7個學期的平均值形成訓練集樣本集，以評選“省級三好學生”為例建立測評模型，分析以往的推優結果是否體現了“思想道德和文化知識素質”為主要指標的評價方式。

2.1變量說明

（1）y：測評結果，y=0表示沒有選中，y=1表示選中為省級三好學生

（2）x1：思想道德評估成績

（3）x2：文化知識素質評價成績

（4）x3：身體心理素質評價成績

（5）x4：創新發展評價成績

對50名學生的成績獲得50組數據（），i=1，2，…，50

2.2算法步驟

（1）構造假設函數

（2）構造代價函數

（3）最小化代價函數。用梯度下降法求出初始代價值和梯度值，然后調用Octave中的無線約束最小化函數fminunc，找到最佳值。

獲得

（4）根據構造評選“省級三好學生”的預測模型為：

2.3模型評價

用該模型進行預測，得到該模型的準確率為98.08，查準率為0.5，召回率為1，F值為0.67，所以即便訓練數據集擁有偏斜類，但是算法表現很好。

3 邏輯回歸結論分析

通過邏輯回歸模型分析發現，權重從大到小分別是。表明該班在評選省級三好學生時，沒有完全把思想道德和文化知識素質作為評價的標準，只是簡單按照綜合素質量化評估的成績打分進行評價，沒有針對性。所以，建議各班級在以后在各種推優過程中應該根據評選標準，有針對性的調整各個量化指標的比重，而不能單純根據綜合素質量化評估的原有成績。

參考文獻：

[1]李瑞勤.大學生綜合素質量化評估初探[J].云南民族學院學報，2002，19（3）：118-119.

第2篇：梯度下降法的基本原理范文

【關鍵詞】BP神經網絡；遺傳算法；變壓器；故障診斷

1 引言

變壓器作為電力系統重要的變電設備，其運行狀態直接影響到供電的可靠性和整個系統的正常運行。一旦發生事故，將對電力系統和終端用戶造成嚴重的影響。因此研究變壓器故障診斷技術，對電力系統安全運行有著重要的現實意義。

對變壓器油中溶解氣體進行色譜分析（DGA）是變壓器內部故障診斷的一種重要的手段。基于此技術，采用具有高度的非線性映射以及自組織、自學習能力的人工神經網絡，現階段在進行故障診斷時多采用BP神經網絡。BP算法是基于梯度的方法，容易陷入局部極小值，且收斂速度慢。GA遺傳算法的發展為我們提供了一個全局的、穩健的搜索優化方法，本文充分利用GA具有不受函數可微與連續的制約，并且能達到全局最優的特點，由GA尋找最優的BP網絡權值與相應節點的閾值，并加入動量因子，此方法彌補了傳統優化方法的不足，極大地改善了BP網絡的性能。

2 BP神經網絡及遺傳算法原理

2.1 BP神經網絡的基本原理

BP神經網絡是一種利用反向傳播訓練算法的前饋型神經網絡，BP學習算法基本原理是梯度最速下降法，中心思想是調整權值使網絡總誤差最小，即采用梯度搜索技術，以使其網絡的實際輸出值與期望輸出值的誤差均方值為最小。

BP學習算法包括前向傳播和誤差反向傳播兩個學習階段。當給定網絡的一個輸入模式時，輸入信號經隱層逐層處理后傳到輸出層，并由輸出層處理后產生一個輸出模式，稱為前向傳播；當輸出響應與期望的輸出模式有誤差時，則轉入誤差反向傳播。即將誤差值沿原來的連接通路逐層反向傳播直至輸入層，并修正各層連接權值。對于給定的一組訓練模式，不斷地重復前向傳播和誤差反向傳播的過程，通過沿途修改各層神經元間的連接權和神經元閾值使得誤差達到最小。當各個訓練模式都滿足要求時，就說BP網絡已學習好。BP神經網絡模型的基本結構如圖1。

2.2 附加動量的BP神經網絡

傳統的BP神經網絡訓練在修正權值時，是按著k時刻的負梯度方式進行修正，而忽略了之前積累的經驗，導致權值的學習過程發生振蕩，收斂緩慢。因此提出加入動量因子a，此時k+1時刻的權值為：

附加動量法總是力圖使同一梯度方向上的修正量增加。這種方法加速了收斂速度，并在一定程度上減小了陷入局部極小的概率。

2.3 GA遺傳算法的基本原理

GA是模擬自然界優勝劣汰的進化現象，把搜索空間映射為遺傳空間，把可能的解編碼成一個向量（染色體），向量的每個元素稱為基因。通過不斷計算各染色體的適應值，選擇最好的染色體，獲得最優解。

首先把問題解用遺傳表示出來，在對種群中的個體進行逐個解碼并根據目標函數計算其適應值。根據適應值的大小而決定某些個體是否得以存活的操作，把適應值高的個體取出復制再生，再將兩個個體的某些部分互換并重新組合而成新的個體，經過交叉后隨機地改變個體的某些基因位從而產生新的染色體。這樣的過程反復循環，經過若干代后，算法就收斂到一個最優的個體，問題最終獲得全局最優解。GA流程圖如圖2所示：

3 GA優化BP神經網絡的變壓器故障診斷模型設計

GA-BP算法主要思想是：先利用神經網絡試探出最好的網絡的隱層節點數，再利用遺傳算法在整體尋優的特點將網絡的權值優化到一個較小的范圍，進而用BP算法繼續優化。

3.1 BP網絡的建立

（1）輸入模式的確定

本文為了充分利用在線監測中的特征氣體而又不使輸入量過大，特取C2H2/C2H4、C2H4/C2H6、CH4/H2的比值歸一后作為輸入矢量。

（2）輸出模式的確定

本文對輸出層采用正常、低溫過熱、中溫過熱、高溫過熱、局部放電、低能放電、高能放電共7個神經元。輸出值最大為l，數值越大則表明該類型的故障的可能性和嚴重程度也越大，如表2.1：

（3）隱含層神經元數確定

本文參考關于隱含層神經元數的理論研究和經驗公式，獲得理論值為5～15。再利用matlab 軟件，通過試湊法對網絡進行訓練，將隱層節點設置為6、8、10、12、14，將其輸入計算機，在相同訓練條件下進行訓練，得知隱層節點數為12時網絡收斂性能好，收斂時間較短。故選節點數為12。

綜上所述，本文構建一個輸入層為3，隱含層為12，輸出層為7的BP神經網絡。

3.2 GA對BP網絡進行優化

（1）初始化種群P、以及權值、閾值初始化；在編碼中，采用實數進行編碼，本文初始種群取30；

（2）計算每一個個體評價函數，并將其排序；可按下式概率值選擇網絡個體：

其中 i為染色體個數，k為輸出層節點數，YK為訓練值，P為學習樣本數，T為期望目標值；

（3）進行選擇復制、交叉、變異遺傳操作；

（4）將新個體插入到種群P中，并計算新個體的評價函數；

（5）計算BP的誤差平方和，若達到預定值則進行BP神經網絡的訓練，否則重復進行遺傳操作；

（6）結束GA操作，以GA遺傳出的優化初值作為初始權值，運用BP神經網絡進行訓練，計算其誤差，并不斷修改其權值和閾值，直至滿足精度要求，此時說明BP網絡已經訓練好，保存網絡權值和閾值。

4 故障診斷系統的仿真

本文選取了具有代表性的30組作為訓練樣本， 在建立的GA-BP變壓器故障診斷網絡中輸入樣本進行訓練，其遺傳算法適應度曲線、誤差平方和曲線和GA-BP的訓練目標曲線圖分別見圖3、圖4和圖5。

從圖中可以看出，適應度較高的個體被遺傳了下來，適應度較低的則被淘汰；GA進行了150代的遺傳操作達到了目標值；GA-BP算法進行了106步左右就收斂到指定精度0.0005。由此看出，此GA優化BP建立的變壓器故障診斷模型的收斂精度和收斂速度都比較高。

采用實際檢測到的10組電力變壓器故障實例（表2）來驗證網絡性能，神經網絡診斷結果和實際故障結果的比較，如表3所示：

由表3可見，基于遺傳算法優化BP神經網絡的變壓器故障診斷系統在故障診斷中達到了很高的準確率，能較好地滿足變壓器故障診斷的要求，極大的提高了診斷的可靠性和準確性。

5 結束語

文中將遺傳算法與BP網絡相結合，在DGA的基礎上設計了適用于變壓器故障診斷的3-12-7結構的BP神經網絡。先對網絡的權值閾值進行GA算法處理，并在傳統的BP算法中加入動量因子，通過MATLAB編程實現了GA優化BP網絡。通過仿真分析可知GA優化BP網絡收斂性能的提高改善了BP網絡的學習效率，并在下一步的診斷工作中體現其高準確率，推廣了此優化網絡在變壓器故障診斷的實用性。

參考文獻：

[1]張緒錦，譚劍波，韓江洪.基于BP神經網絡的故障診斷方法[J].系統工程理論與實踐，2002（6）.

[2]王少芳，蔡金錠.GA―BP混合算法在變壓器色譜診斷法中的應用[J].高電壓技術，2003（7）.

[3]鄭高，戴玉松.人工智能方法在變壓器故障診斷中的應用[J].四川工業學院報，2004 （5）.

[4]李國勇.智能控制機器MATLAB實現[M].電子工業出版社，2005.

[5]徐志鈕，律方成.多神經網絡方法在變壓器油色譜故障診斷中的應用[J].高壓電器，2005（3）.

第3篇：梯度下降法的基本原理范文

[關鍵詞]HJPSO；BP神經網絡；廣義預測控制；單元機組

中圖分類號：C39 文獻標識碼：B 文章編號：1009-914X（2014）15-0348-02

1 引言（Introduction）

大型火電廠單元機組控制對象具有非線性、強耦合、時變，大滯后等特性，當各種擾動作用時會導致控制對象的參數不確定，難以建立準確的模型，屬于復雜難控的大型生產過程。在常規局部控制系統基礎上發展起來的協調控制系統是解決這個問題的有效途徑。

近年來，人工神經網絡為解決非線性控制問題提供了更多的技術手段，人工神經網絡能夠學習與適應不確定系統的動態特性，充分逼近復雜的非線性映射關系，且有較強的魯棒性和泛化能力。其中BP網絡被大量用于系統的模型辨識及控制上[1]；但是其收斂速度慢將難以滿足具有自適應功能的實時控制的要求，為此本文采用基于Hooke-Jeeves particle swarm optimization）混合算法的BP神經網絡（下文統稱HJPSO-BP網絡）用于建立系統的數學模型。

廣義預測控制（Generalized Predictive Control）是隨著自適應控制的研究而發展起來的一種預測控制方法；它汲取了現代控制理論中的優化控制思想，可以通過廣義的反饋校正消除控制系統的穩態偏差，并用滾動優化取代了傳統的最優控制，從而增強了系統的實時性和抗干擾能力。該算法由模型預測、滾動優化和反饋校等控制策略組成。廣義預測控制作為對其進行修正的新型優化控制方法，大大增強了算法的適用性和魯棒性[2]，近年來收到學術和工程界的廣泛關注和重視。

2 理論研究（Theoretical Research）

2.1 基于HJPSO-BP網絡的預測模型（Predictive Model of HJPSO-BP Network）

火電廠鍋爐、汽輪發電機組協調控制系統是一個多變量非線性的復雜控制對象，數學上已經證明一個前向3層神經網絡可以實現任何非線性映射，可以逼近任何復雜的函數。因此本文首先建立一個3層BP神經網絡來逼近此被控對象。

BP學習算法的基本原理是梯度最速下降法，它的中心思想是調整權值使網絡總的誤差最小，也就是采用梯度搜索技術，以期使網絡的實際輸出值的誤差均方值為最小[3]。本文提出HJPSO-BP算法來優化BP神經網絡，有效地克服了BP神經網絡易陷入局部極值的缺點，提高了BP算法的預測精度和收斂速度。利用HJ算法的強收斂能力來提高PSO的收斂速度和求解精度，利用PSO算法的全局收斂性能給HJ算法提供一個好的初始值，保證HJ算法的收斂效果[4] [5]。利用PSO算法的逼近能力搜索得到一個接近最優位置向量作為BP神經網絡的初始權值和閾值，使用BP算法根據這些權值和閾值進一步尋優，從而得到網絡權值和閾值的最優值。

粒子群算法描述為，假設在一個D維的目標搜索空間中，有N個粒子組成一個群落，其中第個粒子表示為一個D維的向量，。第i個粒子的“飛行”速度也是一個D維的向量，記為，。第i個粒子迄今為止搜索到的最優位置稱為個體極值，記為，。整個粒子群迄今為止搜索到的最優位置為全局極值，記為在找到這兩個最優值時，粒子根據如下的公式（2.1）和（ 2.2）來更新自己的速度和位置：

（1）

（2）

其中：為慣性權重，和為學習因子，也稱加速常數（acceleration constant），和為[0，1]范圍內的均勻隨機數。混合粒子群算法的步驟（HJPSO-BP）

步驟1、建立BP神經網絡結構并初始化設置HJ、PSO算法各參數。

步驟2、計算每個粒子的適應度值并比較，得到Pest和Gbest.。

步驟3 、根據公式（1）、（2）分別計算各微粒新的速度和位置，計算新的粒子適應度值并比較新的Pest和Gbest。

步驟4、將使用PSO所產生的點作為初始值賦給HJ，利用HJ優化PSO的位置。

步驟5、更新并儲存各微粒的個體歷史最優位置和個體歷史最優適應值；更新并儲存微粒群的全局歷史最優位置和全局歷史最優適應值。

步驟6、如果是在全局歷史最優適應值第一次沒能得到改善之前的迭代，則轉至步驟9。

步驟7、啟動HJ法。使用PSO搜索到的20%的較優的點進行局部搜索，若滿足HJ結束條件，將HJ搜索的結果回代到PSO，計算此時粒子的適應度值并記錄Pest和Gbest.。

步驟9、若滿足停止條件（適應值誤差小于設定的適應值誤差限或迭代次數超過最大允許迭代次數），搜索停止，輸出全局歷史最優位置和全局歷史最優適應值為所求結果。否則，返回步驟3繼續搜索。

步驟10、將計算出的最優粒子的位置各維度值作為BP神經網絡的權值和閥值，得到訓練好的BP神經網絡，并預測輸出結果。

2.2 廣義預測控制（Generalized predictive control）

2.2.1 滾動優化（Rolling optimization）

為增強系統的魯棒性，在性能指標函數中考慮了現在時刻的控制u（k）對系統未來時刻的影響，性能指標函數為：

（3）

其中是最大預測時域，是控制時域，是加權常數，是控制增量，是設定值，由神經網絡模型預測得出。

由此對指標函數在每一采樣時刻使用梯度下降法進行優化，便可得出控制律，根據廣義預測控制滾動優化理論，最終控制量可取為：

（4）

其中，采用梯度下降法求取時的優化步長，可借助訓練好的神經網絡的權值和S形函數的導數來求取，。

由此可見，通過用優化滾動方法求取的控制律，與采用丟番圖求解相比減少了計算量，加快了計算速度。

2.2.2 反饋校正（Feedback correction）

預測模型的輸出不可能與實際對象的完全一致，于是通過反饋來對預測模型進行修正。在神經網絡預測控制算法中，每一步都要檢測實際輸出，并與模型輸出加以比較以構成誤差信息，然后以此誤差信息對神經網絡模型進行學習和修正，這一過程可以在線進行，也可以離線進行。為滿足控制系統實時性的要求通常采用在線學習和修正，設實際對象輸出與模型輸出之間的誤差用下式表示：

（5）

則得到反饋校正后模型的預測輸出為

（6）

式中，u為誤差修正系數。

基于混合型HJPSO-BP神經網絡廣義預測控制的在線算法可歸結為如下步驟：

（1） 初始化預測網絡模型及控制器參數。

（2） 采樣被控對象輸入輸出數據，根據（2）式修改網絡權值。

（3） 按（4）式求出控制系列。

（4） 返回第二步。

2.3 控制系統結構（The control system configuration）

如上所述，基于HJPSO-BP神經網絡廣義預測控制，是由HJPSO-BP神經網絡預測模型、優化控制器和反饋校正三部分構成，其結構如圖（1）所示.

3 仿真研究（Simulation Study）

火電廠鍋爐、汽輪發電機組協調控制系統經過合理簡化，可以簡化看作雙輸入雙輸出系統。它的兩個輸入量為：汽輪機調節閥開度指令Ut，鍋爐燃燒率指令Ub；兩個輸出量為：汽輪機主蒸汽壓力Pt和機組實發功率Ne。

300MW火力發電機組在100%、70%負荷工況運行時傳遞函數分別表示如下：

= （11）

= （12）

用基于HJPSO-BP神經網絡廣義預測控制策略對其進行計算機仿真試驗。

分別采用HJPSO-BP算法進行網絡模型訓練與普通BP算法進行網絡模型訓練，對比其誤差曲線如圖2所示：

由圖2可看出采用HJPSO-BP算法進行模型訓練，在速度上較普通BP算法提高很多，經過9步即可使平方誤差達到0.0001。

然后用HJPSO-BP廣義預測控制策略對控制對象進行仿真實驗：

在100%負荷時取采樣周期T=15s（選取的經驗為：，為過渡過程上升到95%的上升時間，通過對功率和系統氣壓的階躍響應分析可得采樣周期），模型長度N=1000，預測時域長度P=3，控制時域長度M=2，控制權矩陣R=[0.8 0.2]，Pt的約束值為0和20Mpa，Ne為0和330MW，取功率設定值Ne=300MW，壓力設定值 Pt=18 Mpa ；

在70%負荷時控制器參數均保持不變，以此來觀察NNGPC的魯棒性，Pt的設定值和約束值保持不變，Ne的設定值為210MW。控制系統的仿真結果如圖3：

采用HJPSO-BP網絡的廣義預測控制策略，機組實發功率Ne和主蒸汽壓力Pt的輸出曲線如圖3所示，其中實線為100%負荷模型時調整控制器參數的輸出曲線，虛線為切換到70%負荷模型且保持控制器參數不變時的輸出曲線。仿真結果表明把HJPSO-BP網絡廣義預測控制運用到單元機組協調控制系統中，可保證快速平穩地跟蹤系統的功率及主蒸汽壓力設定值，且對對象模型的不確定性具有很好的適應性和魯棒性。

為方便清楚的比較HJPSO-BP網絡廣義預測控制的控制效果，下面采用常規PID策略對系統進行控制仿真對比。在100%工況時，UT和UB的PID控制器參數分別設置為：kp1=0.0007，ki1=0.000041，kd1=0.012；kp2=0.1，ki2=0.25，kd2=1.4。Ne和Pt的輸出曲線如圖4實線所示；在70%工況時，PID控制器參數保持不變，以此觀察PID控制的魯棒性及對模型的適配性，此時Ne和Pt的輸出曲線如圖4虛線所示。

由上圖仿真結果可以看出，模型的改變，使得常規PID控制器不能很好的適應模型的變化，Ne和Pt的輸出均出現了較大超調量，同時Ne的調節時間較長，不能迅速跟蹤功率設定值。由此可以看出，常規PID控制的魯棒性較差，而HJPSO-BP廣義預測控制具有更強的魯棒性，且更能適應大型單元機組模型不確定性的要求。

4 結論（Conclusion）

本文針對大型單元機組被控對象的特點，結合協調控制運行中的普遍問題，采用HJPSO算法進行神經網絡模型訓練，利用BP網絡快速完成這種多變量非線性系統的數學模型辨識，同時將訓練好的HJPSO-BP網絡中的參數用于求取廣義預測控制率，這樣避免求解Diophantine方程，減小計算量。仿真結果表明，該方法保證在系統運行中功率和主蒸汽壓力平穩地跟蹤其設定值且具有較好的魯棒性，在單元機組控制中較之常規協調控制策略更加有效。

參考文獻

[1] 孫增圻.智能控制理論與技術[M].清華大學出版社，1992.4.

第4篇：梯度下降法的基本原理范文

關鍵詞:室內定位;RSS; BP神經網絡;IEEE 802.11b

中圖分類號:TN911.23 文獻標識碼:A

1 引 言

目前,室內定位算法主要有以下幾種｡

1)Time of arrival(TOA)

TOA定位的基本原理是通過測量節點間電波傳播的時間來確定節點的位置｡

TOA算法要求參加定位的各個基站在時間上實現嚴格同步｡在室內環境中,由于已知點到待測點的距離通常不遠,無線電波的傳播速度太快,且存在嚴重的多徑干擾,因此無法利用無線電波進行測距｡目前,基于TOA的室內定位技術通常是利用超聲波傳播速度較慢的特點(在20攝氏度時超聲波的傳播速度為343.38m/s),來測量出已知點和待測點間的距離,進而求出待測點的位置[1]｡

2)GPS L1 Re-radiating

GPS(Global Positioning System)是70年代初由美國開發的衛星導航定位系統,本質上它也是一個基于TOA的定位系統｡

GPS L1 Re-radiating是將GPS在L1頻段上的信號,通過戶外天線接收后,增益放大為室內可接收信號,進而基于GPS實現室內定位｡

3)Received signal strength,RSS

RSS定位的基本原理是利用移動裝置偵測所接收到的無線電波信號強弱,然后根據經驗模型或RSS隨距離衰減的模型來推斷節點間的距離,進而實現定位[2]｡

該技術主要使用無線網絡本身的無線電信號來定位,不需額外添加硬件,是一種低功率､廉價的定位技術[3]｡

基于信號強度的室內定位方法分為經驗模型法和信號衰減模型法｡

(1)經驗模型法

在經驗模型法中,將RSSI數據轉換為位置信息的方法主要有判定法和概率法兩種｡

(2)信號衰減模型法

信號衰減模型法則無需實地測量位置和RSSI,而是依據信號強度和距離的特定關系,結合三角測量法,根據來自三個(或以上)AP的RSSI來計算出待測點的位置｡

基于TOA的定位模型在開放的室外環境中非常有效,但在室內環境卻存在一些問題｡使用超聲波雖可克服無線電波傳輸速度快的問題,但需構建專門的超聲波系統｡GPS也主要是針對戶外目標設計的定位系統,應用于室內存在定位精度不高等問題｡基于RSS的定位模型中,經驗法需進行大量的實地測量,同時無法保護定位用戶的隱私;而信號衰減法在室內受NLOS(非視距傳播)等因素影響,也使得定位精度較低｡

因此,本文提出了一種基于BP神經網絡的室內定位模型并借助MATLAB 7.0加以實現｡采用該方法進行室內定位,不需要WLAN以外的其他資源｡由于不需要知道定位節點和建筑物的詳細特性,用戶的隱私將隨之得到完全的保護｡

2 基于BP神經網絡的室內定位模型

BP神經網絡通常是指基于誤差反向傳播算法(Backpropagation)的多層前向神經網絡,目前,該算法已成為應用最為廣泛的神經網絡學習算法[4]｡

BP神經網絡采用的是并行網絡結構,包括輸入層､隱含層和輸出層,經作用函數后,再把隱節點的輸出信號傳遞到輸出節點,最后給出輸出結果｡該算法的學習過程由信息的前向傳播和誤差的反向傳播組成｡在前向傳播的過程中,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層｡第一層神經元的狀態只影響下一層神經元的狀態｡如果在輸出層得不到期望的輸出結果,則轉入反向傳播,將誤差信號(目標值與網絡輸出之差)沿原來的連接通道返回,通過修改各層神經元權值,使得誤差均方最小｡神經網絡理論已經證明BP神經網絡具有強大的非線性映射能力和泛化功能,任一連續函數或映射均可采用三層網絡加以實現｡

計算技術與自動化2007年6月第26卷第2期李 瑛等:一種基于BP神經網絡的室內定位模型2.1 樣本數據的采集和處理

輸入向量為待測點收到的來自至少三個不同位置AP的RSSI值,輸出向量為待測點的坐標值(X,Y)｡

樣本采集在一個10mX10m的室內場地中進行｡使用3個來自SMC公司的AP和1臺配置了ORiNOCO PC CARD的筆記本電腦｡AP及無線網卡符合并工作在IEEE 802.11b標準下｡筆記本電腦所使用的操作系統為RedHat Linux 9.0｡樣本均勻分布在6mx6m的中心區域中｡

2.2 網絡結構的確定

Kolmogorov定理已經證明[5],任意一連續函數可由一個三層BP 網絡來實現｡雖然研究表明三層以上的BP網絡可以減少隱含層節點數,提高計算效率,但在缺乏理論指導的BP網絡設計中這樣做容易使問題趨向復雜化｡因此選擇三層BP神經網絡,即只有1個隱含層的BP神經網絡｡

該網絡輸入層的節點數由輸入向量的維數決定,輸入向量的維數是3,所以輸入層節點數確定為3個｡輸出層節點數由輸出向量的維數決定,這里輸出節點數為2 ｡

隱含層節點數的選擇在BP網絡設計中是一個難點,目前還沒有理論上的指導｡過多的網絡節點會增加訓練網絡的時間,也會使網絡的泛化能力減弱,網絡的預測能力下降｡然而網絡節點過少則不能反映后續值與前驅值的相關關系,建模不充分｡經反復試驗,將隱含層節點數定為30,這樣形成了一個3-30-2結構的BP神經網絡,如圖1所示｡

2.3 學習算法的選擇

基本BP 算法采用梯度下降法使得誤差均方(mse)趨向最小,直至達到誤差要求｡但在實際應用中,存在收斂速度慢､局部極值等缺點｡Matlab 7.0神經網絡工具箱中提供了十多種快速學習算法,一類是采用啟發式學習方法,如引入動量因子的traingdm 算法､變速率學習算法traingda ､“彈性”學習算法trainrp等;另一類采用數值優化方法,如共軛梯度學習算法traincgf 等｡本研究選擇traincgf 算法｡該算法在不增加算法復雜性的前提下,可以提高收斂速度,并且可沿共扼方向達到全局最小點,較好地解決了經典BP算法所存在的收斂速度慢和可能出現局部最優解的問題｡

2.4 BP神經網絡的初始化､訓練與仿真

1)建立網絡

net==newff(P3,[30,2],{′tansig′,′purelin′},′traincgf′)

newff()為建立BP 神經網絡的函數;P3為6維矩陣,表示3維輸入向量中每維輸入的最小值和最大值之間的范圍｡[30,2]表示隱層節點數是30,輸出層節點數是2,{′tansig′,′purelin′}表示隱含層中的神經元采用tansig轉換函數,輸出層采用purelin函數,′traincgf′表示選擇的學習算法｡

2)權重和閾值初始化

net==init(net)

給各連接權重LW{1,1}､LW{2,1}及閾值b{1}､b{2}賦予(-1,+1)間的隨機值｡

3)訓練

[net,tr]=train(net,P,T)

P為輸入向量,T為目標向量,根據網絡學習誤差逆傳遞算法,利用阻尼最小二乘算法迭代,由前一次訓練得到的網絡權重及閾值訓練得到新的網絡權重及閾值｡

為了使生成的BP網絡對輸入向量有一定的容錯能力,最好的方法是既使用理想的信號又使用帶有噪聲的信號對網絡進行訓練｡具體做法是先用理想的輸入信號對網絡進行訓練,直到起平方和誤差足夠小;然后,使用20組理想信號和帶有噪聲的信號對網絡進行訓練｡經過上述訓練后,網絡對無誤差的信號也可能會采用對付帶有噪聲信號的辦法,這樣會導致很大的代價,因此,需要采用理想的向量對網絡再次訓練,以保證網絡能對理想信號作出最好的反應｡

使用函數traincgf對網絡進行訓練時,當網絡平方和誤差小于3時停止網絡的訓練｡訓練過程中的誤差變化情況如圖2所示｡

根據訓練后的網絡及輸入向量進行仿真輸出｡

3 實驗結果及分析

利用訓練后的BP神經網絡進行了36次定位,并統計了36次定位的平均誤差,結果如圖3所示｡

與利用信號衰減模型定位相比(如圖4所示),利用BP神經網絡定位具有更高的統計精度｡

與信號衰減模型相比,雖然BP神經網絡的模型解釋直觀性略有不足,但卻可獲得更精確的定位結果｡

利用BP神經網絡,雖然可解決傳統處理方法所不能處理的非線性映射問題,但在實際應用中,對如何選擇和確定一個合適的神經網絡結構沒有確切的理論指導,只能通過試驗―調整―再試驗的過程來確定一個合適的網絡結構｡同時,BP神經網絡的隱含層作用機理和隱含層節點個數的選擇是BP神經網絡的難點問題｡隱含層的節點個數的選擇需反復進行試驗,當多次輸出結果在一定誤差范圍內時才可確定｡

4 結束語

本文提出了一種基于BP神經網絡的室內定位模型,并在基于IEEE 802.11b標準的WLAN環境中對此模型進行了測試｡一個基于信號衰減模型的定位算法也在同樣的環境中進行了測試｡對比結果表明,利用BP神經網絡進行室內定位能取得更好的定位精度｡

第5篇：梯度下降法的基本原理范文

關鍵詞：高速公路；隧道施工系統；安全評價；模糊理論；神經網絡

0引言

近年來，隨著國家高速公路迅猛發展，隧道建設數量也越來越多，規模也越來越大。在隧道施工過程中，由于圍巖地質條件的多樣性和復雜性，其施工事故發生率比其他巖土工程高且嚴重，給隧道工程施工人員身心帶來嚴重的危害，社會影響惡劣，有悖于國家建設和諧社會的宗旨。這就要求用科學的方法對隧道施工生產系統進行安全分析與評估，預測事故發生的可能性[1]。

在傳統的公路隧道施工生產系統安全評價中，經常使用的安全評價方法主要以定性安全評價方法為主，如專家論證法、安全檢查表法及作業條件危險性評價法等[2,3]。近年來，在公路隧道施工生產系統安全評價中，引人了模糊綜合評價的方法，取得了較好的決策效果[4]。但是，該方法缺乏對環境變化的自學習能力，對權值不能進行動態調整[5],而神經網絡具有非線性逼近能力,具有自學習、自適應和并行分布處理能力，但其對不確定性知識的表達能力較差，因此，模糊控制與神經網絡結合就可以優勢互補，各取所長[6]，在這方面已經出現了一些研究成果[7～11]。為此，本文把人工神經網絡理論與模糊綜合評價理論相融合，研究建立了一種模糊神經網絡評價模型，對公路隧道施工的安全管理水平進行評價。

1模糊神經網絡

1.1基本結構原理

模糊神經網絡是由與人腦神經細胞相似的基本計算單元即神經元通過大規模并行、相互連接而成的網絡系統，訓練完的網絡系統具有處理評估不確定性的能力，也具有記憶聯想的能力，可以成為解決評估問題的有效工具，對未知對象作出較為客觀正確的評估。

根據評估問題的要求，本文采用具有多輸人單元和五輸出單元的三層前饋神經網絡，其中包括神經網絡和模糊集合兩方面的內容。

1.2神經網絡

為了模擬人腦結構和功能的基本特性，前饋神經網絡由許多非線性神經元組成，并行分布，多層連接。Robert Hecht一Nielson于1989年證明了對于任何在閉區間內的一個連續函數都可以用一個隱層的BP網絡來逼近[12]，因而一個三層的BP網絡完全可以完成任意的輸人層到輸出層的變換。因此，本文研究的公路隧道施工系統安全評價模糊神經網絡采用三層BP神經網絡結構。輸人層有 個神經元，輸人向量 ， ，輸人層神經元 的輸出是輸人向量的各分分量 。隱層有個神經元 ， ，若輸人層神經元 與隱層神經元 之間的連接權值為 ，且隱層神經元 的閾值為 ，則隱層神經元 的輸出為

(l)

式中 是神經元的激勵函數，一般選取單調遞增的有界非線性函數，這里選用Sigmoid函數：

(2)

由此，隱層神經元的輸出為：

(3)

同理可得輸出層神經元的輸出為：

(4)

1.3學習算法

本網絡采用BP學習算法，它是一種有教師的學習算法，其學習過程由信號的正向傳播和誤差的反向傳播組成。基本原理是：設輸人學習樣本為 個，即輸人矢量 ，已知其對應的期望輸出矢量(教師信號)為 ，正向傳播過程將學習樣本輸人模式 從輸人層經隱含單元層逐層處理，并傳向輸出層，得到實際的輸出矢量 ，如果在輸出層不能得到期望輸出 ，則轉人反向傳播，將 與 的誤差信號通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而調整各神經元之間的連接權值，這種信號正向傳播與誤差反向傳播得各層權值調整過程是周而復始地進行的，直到網絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

網絡的具體學習算法的計算模型如下：

對某一學習樣本 ，誤差函數為

（5）

式中： 、 分別為該樣本的輸出期望值和實際值。

對于所有學習樣本 ，網絡的總誤差為

（6）

網絡學習算法實際上就是求誤差函數的極小值。利用非線性規劃中的梯度下降法(最速下降法)，使權值沿著誤差函數的負梯度方向改變。

隱層與輸出層之間的權值(及閾值) 的更新量 可表示為

（7）

式中： 為學習率，可取 。

將式（6）和（4）代入式（7），并利用復合函數求導的連鎖規則，得

（8）

式中： 為迭代次數， 為誤差信號

（9）

類似的，輸入層與隱層之間的權值（及閾值）修正為

（10）

同理可得

式中 為誤差信號

（11）

為了改善收斂性，提高網絡的訓練速度，避免訓練過程發生振蕩，對BP算法進行改進，在權值調整公式中增加一動量項，即從前一次權值調整量中取出一部分迭加到本次權值調整量中，即：

（12）

（13）

式中 為動量因子，一般有 。

1.4模糊集合

評估指標集由表征一類評估決策問題的若干性能指標組成。由于指標的量化含有不確定性，故用模糊方法加以處理[13]。評估指標的模糊集合 可表示為

（14）

式中： 是評估指標， 是相應指標的評價滿意度， 。

評估指標集用其滿意度表示，取值在[0，1]之間，作為模糊神經網絡系統中神經網絡的輸人向量，這正好符合神經網絡對輸人向量特征化的要求。實踐表明，經過對輸人向量的特征化處理，可大大減少網絡的學習時間，加速網絡訓練的收斂。

2隧道施工系統安全評價模糊神經網絡

2.1指標體系與神經網絡劃分

實踐證明，一個好的隧道施工系統安全評價方法應滿足以下要求：評價指標能全面準確地反映出隧道施工系統的狀況與技術質量特征；評價模式簡單明了，可操作性強，易掌握；評價結論能反映隧道施工系統的合理性、經濟性及安全可靠性；評價中所采用的數據易于獲取，數據處理工作量小；頂層輸出即為系統的專家評估，而每層各評估項目的子系統都可以用子結構表示。

每個子結構具有輸人輸出關系可表達為

（15）

其中 是子系統的輸出， 是子系統的輸人矢量， 為相應的專家(加權)知識。

評估專家系統中各子系統的評估由各自的模糊神經網絡來完成。

這種對評估系統的結構分解和組合具有如下特點：

（1）每個子系統可以采用較少的神經元來實現神經網絡的自學習和知識推理，這樣既減少了學習樣本數、提高了樣本訓練速度，又能夠獨立完成某一推理任務。

（2）分解的各子系統具有相對獨立性，便于系統的修改、擴展和子系統的刪除，從而具有良好的維護性。

（3）子系統的評估項目即為節點，在系統進行評估推理時產生的評估表示式可以很好地解釋評估系統的推理過程，避免了神經網絡權值難以理解所致的推理過程難以理解的弱點。

2.2網絡的設計

評估問題是前向處理問題，所以選用如前所述的前向型模糊神經網絡來實現。

（1）輸人層

輸人層是對模糊信息進行預處理的網層，主要用于對來自輸人單元的輸人值進行規范化處理，輸出由系統模糊變量基本狀態的隸屬函數所確定的標準化的值，以便使其適應后面的處理。根據評價指標體系，對應20個指標構建BP網絡的輸入層為20個節點，將指標轉換為相應指數后作為樣本進入網絡進行計算。

（2）隱層(模糊推理層)

該層是前向型模糊神經網絡的核心，用以執行模糊關系的映射，將指標狀態輸入與評估結果輸出聯系起來。采用試探法選取模型的隱含層神經元數，即首先給定一個較小的隱含層神經元數，代入模型觀察其收斂情況，然后逐漸增大，直至網絡穩定收斂。通過計算該模型的隱含層神經元數為28個。

（3）輸出層

輸出層是求解模糊神經網絡的結果，也是最后的評估結果。我們把評價因素論域中的每一因素分成5個評價等級，即

={安全（ ），較安全（ ），安全性一般（ ），較不安全（ ），不安全（ ）}

對應這5個等級，確定輸出層為5個節點。這樣就構建了一個“20―28―5”的3層BP網絡作為評價體系的網絡模型。

2.3模糊神經網絡訓練

網絡設計好后,須對其進行訓練，使網絡具有再現專家評估的知識和經驗的能力。樣本數據來自我省已經建成的高速公路隧道施工的現場數據庫，從中選取30組，其中20組數據作為訓練樣本，余下的10組作為測試樣本。實際網絡訓練表明，當訓練步數為12875時，達到了目標要求的允差，獲得模糊神經網絡各節點的權值和閾值，網絡訓練學習成功。根據最大隸屬度原則進行比較，與期望結果相符，其準確率為100%。這說明所建立的隧道施工系統安全評價模糊神經網絡模型及訓練結果可靠。

3 工程應用實例

利用所訓練好的模糊神經網絡模型，對江西省正在施工的某高速公路A3合同段3座隧道（北晨亭隧道、洪家坂隧道和窯坑隧道）施工系統進行安全評價測定，評價出系統的安全狀況與3座隧道施工實際情況完全相符。同時，實際系統的評價結果又可作為新的學習樣本輸入網絡模型，實現歷史經驗和新知識相結合,在發展過程中動態地評價系統的安全狀態。

4 結論

（1）本文對模糊理論與神經網絡融合技術進行了研究，建立了一種公路隧道施工系統安全模糊神經網絡評價模型，利用歷史樣本數據進行學習訓練和測試，并對工程實例進行了評價。結果顯示，該評價方法可行，評價精度滿足工程應用要求,為公路隧道施工安全評價探索了一種新的評價方法。

（2）運用模糊神經網絡知識存儲和自適應性特征，通過適當補充學習樣本，可以實現歷史經驗與新知識完美結合，在發展過程中動態地評價公路隧道施工系統的安全狀態，可及時評估出施工系統的安全狀況，盡早發現安全隱患。

參考文獻：

[1]徐德蜀.安全科學與工程導論[M].北京:化學工業出版社,2005.

[2]劉鐵民,張興凱,劉功智.安全評價方法應用指南[M].北京:化學工業出版社,2005.

[3]田建,李志強,張斌.交通建設工程安全評價技術現狀及趨勢研究[J].中國安全科學學報,2008,18(6):171-176.

[4]張鴻,劉優平,黎劍華等.基于模糊理論的隧道施工安全預警模型研究及應用[J].中國安全科學學報,2009.19(4):5-10.

[5]劉輝,王海寧,呂志飛.模糊神經網絡技術在礦山安全評價中的適應性研究[J].中國安全生產科學技術,2005,1(3):54-59.

[6]張吉禮.模糊-神經網絡控制原理與工程應用[M].哈爾濱:哈爾濱工業大學出版社,2004.

[7]葛淑杰,李彥峰,姜天文等.基于模糊神經網絡的煤礦安全評價綜合評判[J].黑龍江科技學院學報,2007,17(4):321-325.

[8]鄭恒,汪佩蘭.模糊神經網絡在火工品生產系統安全評價中的應用[J].安全與環境學報,2004,4:159-162.

[9田軍.基于模糊神經網絡的隧道圍巖分級系統[J].湖南交通科技,2007,34(4):104-107.

[10]郭宇航,王保國.兩類新型神經網絡及其在安全評價中的應用[J].中國安全科學學報,2008,18(7):28-33.

[11]宋瑞,鄧寶.神經元網絡在安全評價中的應用[J].中國安全科學學報,2005,15(3):78-81.

[12]韓力群.人工神經網絡理論、設計及應用[M].北京:化學工業出版社,2007.

[13]楊綸標,高英儀.模糊數學原理及應用[M].廣州:華南理工大學,2005.

第6篇：梯度下降法的基本原理范文

關鍵詞：避障；模式識別；全向移動機器人；超聲波傳感器；BP神經網絡；樣本庫；分類誤差；仿真

中圖分類號：TP242.6 文獻標識碼：A

Obstacles based on BP neural network pattern recognition

ZHANG Qiuhao，MENG Xianhui，GUO Hongche，SUN Baiqing

（Shenyang University of Technology，Shengyang 110870）

Abstract：Adopted theory of BP neural network to realize pattern identification of obstacle. Constructed a kind of neural network classifier based on BP algorithm, according to the characteristics of omni-directional mobile robot.Taked the distance of obstacle acquired by ultrasound sensor as input,classificaion pattern expected as output, then, trained the parameter of BP neural network classifier through training the data in sample library. Simulated the process of training with Matlab software. During training, this pattern classification could gain less error and gain correct resullt by adopting testing sample to test classifier. Showed that this kind of BP neural network classifier can execute effectively pattern classification to obstacles around mobile robot.

Key words：obstacle avoidance；pattern classification；omni-directional mobile robot；ultrasonic sensors；BP neural network；Sample library；Classification error；computer simulink

移動機器人的智能避障算法已經有許多學者進行了深入的研究，機器人在導航過程中，對障礙物的模式識別是感知當前環境的一種重要方法，適合移動機器人本身特點的障礙物模式識別是好的避障算法的基礎。其中應用人工神經網絡對障礙物進行模式的分類和識別也有很多[1-2]。在運用模式識別的若干種神經網絡模型中，BP模型應用最為廣泛。其非線性映射能力是保證其成功實現各種簡單或復雜分類的主要原因，而并行結構則加速了運算。更重要的是，它將信息分布式存儲于連接權系數中，使網絡具有很高的容錯性和魯棒性，有效地解決了模式分類和識別中普遍存在的噪聲干擾和輸入模式的部分損失問題 [3] 。

1 BP神經網絡分類器的結構和機理

1.1 BP神經網絡結構

BP神經網絡，也稱誤差后向傳播神經網絡【4】，它是由非線性變換單元組成的多層前饋網絡。一般由輸入層、輸出層和隱含層三部分組成。隱含層可以為一層或多層。根據Kolmogorov定理（1957）[5]，一個三層的BP網絡足可以完成任意的m維到q維的映射，即一般只需一個隱含層就夠了。同時從簡潔實用的角度考慮，也提倡選用一個隱含層，隱含層含有n個神經元。輸入層和隱含層之間以及隱含層和輸出層之間通過權值來表示連接強度。這就是三層BP神經網絡結構（如圖3-1）。

輸入層輸入向量X=[x1,x2,…，xi，…xm]T，隱含層輸出向量為Y=[ y1,y2,…，yj，…yn]T,輸出層輸出向量為Z=[ z1,z2,…，zk，…zq]T，期望輸出向量為T=[ t1,t2,…，tk，…tq]T。輸入層到隱含層之間的權值矩陣用A表示，A=[ a1,a2,…，aj，…an]，其中列向量aj為隱含層第j個神經元對應的權值向量，隱含層到輸出層之間的權值矩陣用B表示，B=[ b1,b2,…，bk，…bq]，其中列向量bk為輸出層第k個神經元對應的權值向量。

1.2 BP算法

BP算法的思想是，學習過程即信號的正向傳播與誤差的反向傳播兩個過程組成。

由信號的正向傳播，這里定義f（*）為神經元激勵函數，對于隱含層有

yj =f（netj） j=1，2，…，n （1）

netj= aijxi j=1，2，…，n （2）

對于輸出層有

zk =f（netk） k=1，2，…，q （3）

netk= bjkyj k=1，2，…，q （4）

再來看誤差的反向傳播和權值的修正，BP算法采用非線性規劃中的最速下降法，按誤差函數的負梯度方向修改權值系數。

定義誤差函數E，取期望輸出和實際輸出之差的平方和為誤差函數，則：

E=12 (T-Z)2=12 (tk-zk)2 k=1，…，q （5）

進一步展開至輸入層

E=12 {tk-f[ bjkf( aijyi)]｝2 其中k=1，…，n j=1,…,n i=1,…,m （6）

由上式可以看出，網絡輸入誤差是各層權值aij、bjk的函數，因此調整權值可以改變誤差E。調整權值的原則是使誤差不斷的減小，應使權值的調整量與誤差的負梯度成正比，即：

aij= i=1,2,…,m j=1,2,…,n （7）

bij= j=1,2,…,n k=1,2,…,q （8）

式中負號表示梯度下降，η∈（0，1）為學習率。

各層權值調整過程是循環進行的。權值不斷調整的過程，就是網絡的學習訓練過程。通過不斷的調整權值和新的數據不斷加入，可以使誤差逐漸的減小。

2 構建BP神經網絡分類器結構

模式識別的分類問題歸根結底是一個模式特征空間的劃分問題，或者說是一種映射問題。而BP網絡的輸入輸出關系可以看成是一種高度非線性的映射關系，其信息處理能力也是來自于一種簡單的非線性函數的多次復合。根據BP網絡結構定理及有關性質，大家知道，對于任何在閉區間內的一個連續函數都可以用一個隱含層的BP網絡來逼近，也就是說一個三層的BP網絡可以完成任意的n維到q維的映射。BP網絡分類器就是在這個基礎上達成對樣本分類的，也就是說我們可以應用BP網絡分類器完成從環境信息到環境分類的映射。

本課題應用的移動機器人（如圖2）采用的是全方位移動機構（如圖2-a為俯視圖 ），車輪為全向輪（如圖2-b），當車輪旋轉時，輪心相對于地面的速度 是輪轂速度 與輥子滾動速度 的合成， 與 垂直。這種結構的車輪在驅動力的作用下可以前進或后退，當受到橫向的外力時又可以自由的橫向移動，因此經過適當的組合后就可以實現機器人的全方向移動和原地轉向運動，以及這兩種運動的合成[6]。

結合全向移動機器人能夠全方位移動和原地轉向的特點，對周圍障礙物分類比較具體化，更貼近于實際。本次研究把其周圍障礙物的模式分為10類 （如圖3）。為減小輸出層神經元數，我們做一次處理，采用二進制編碼來作為輸出的目標向量。把10類用4位用二進制編碼表示，如0000,0001,…,1010等。故輸出層的神經元的個數為4個，即k=4。

移動機器人的工作環境空間是一個二維空間，其只對障礙物的形狀和距離車體的遠近敏感，所以把機器人和周圍環境中的障礙物的距離做為BP神經網絡分類器的輸入。采用NU40C10T/R-2型超聲波傳感器和AT89S51單片機組成系統對周圍環境中的障礙物進行測距【7】，。NU40C10T/R-2型超聲波傳感器的方向角為60±15°,標稱頻率40kHz。AT89S51單片機通過RS232接口電路與PC連接，從而可以把檢測的數據傳給PC進行處理。

結合全向動機器人的特點和BP神經網絡分類器所要的分類結果，要求機器人對周圍環境的感知要全面，傳感器在機器人上的分布（如圖4），并且對傳感器進行了編號，為以后研究做準備。從而可以確定輸入神經元的個數為15，即m=15。傳感器所測定的距離值就做為BP神經網絡分類器的輸入,并且在程序上把對障礙物檢測的距離做了處理，500mm為安全距離，一般機器人不會靠近障礙物500mm。檢測距離大于1000mm的賦值1000mm。

隱含層神經元的個數，這里應用了一個經驗公式n= +β，其中n為隱含層神經元的個數，m為輸入層神經元個數，q為輸出層神經元個數，β為1-10之間的任意一個數，取β=6。可得n= +10=16，即n=16。

選擇S函數為神經元激勵函數[8]。因為輸出為二進制編碼（0，1），所以在輸出層選擇S型對數正切函數（式9）。隱含層激勵函數我們也選取這個函數。即我們前面1.2節所提到的f（*）有

（9）

3 BP神經網絡分類器訓練和測試

Fig.5 BP Neural network classifier

構建完了BP神經網絡分類器的結構即各層元素個數，我們就通過訓練來確定各層元素之間的連接強度即權值系數。從而就得到一個BP神經網絡分類器，然后我們再對它評價。這就是BP神經網絡分類器訓練和測試流程（如圖5）。

首先，建立好的訓練樣本庫，網絡的性能與訓練的樣本密切相關，既要有成規模的訓練樣本，又要樣本有很好的全面性和代表性。應用樣本數據通過訓練來確定BP神經網絡分類器中的權值，當權值確定好后，意味著BP神經網絡分類器生成。然后我們可以用一些新的實時數據進行進行測驗，這樣就能夠對分類器進行評價。

本次研究對每個期望劃分出來的類型進行10次的數據采集，生成訓練樣本庫。由于寫作條件的限制，本文只列舉出其中每類輸出的3次采集數據代表訓練樣本庫。其中輸入量為傳感器所測量的距離值，輸出類為我們所期望的BP神經網絡分類器所分類出來的結果。

根據前面1節所述BP神經網絡的機理和其訓練和測試流程，首先我們通過matlab對訓練的過程和結果進行仿真[9-10]，其中學習率η=0.05，允許誤差為5%，把100個訓練樣本數據訓練100次。

程序如下：

p_test=xlsread('訓練樣本.xls','sheet1','A103:O105');

t_test=xlsread('訓練樣本.xls','sheet1','P103:S105');

P=xdata;

T=ydata;

net=newff(minmax(P),[16,4],{'tansig','tansig'},'trainlm');%trainscg; trainlm; trainrp

net.trainParam.show=50;%

net.trainParam.lr=0.1;

net.trainParam.epochs=100;

net.trainParam.goal=5*1e-2;

[net,tr]=train(net,P,T);

執行結果：

TRAINLM, Epoch 0/100, MSE 0.762867/0.05, Gradient 90881.1/1e-010

TRAINLM, Epoch 50/100, MSE 0.0754328/0.05, Gradient 89.035/1e-010

TRAINLM, Epoch 100/100, MSE 0.0723378/0.05, Gradient 107.27/1e-010

TRAINLM, Maximum epoch reached, performance goal was not met.

所得到的分類誤差曲線，

從仿真的結果看誤差為7%左右，沒有達到要求的5%，因為當前的訓練樣本數據還是比較少的，所以結果也是可以接受的。

然后，我們用一個測試樣本（如表2）對我們訓練后的BP神經網絡分類器進行測試。

程序如下：

BP神經網絡分類器對測試樣本的數據分類是正確的。

通過以上的matlab中的仿真，我們用從訓練樣本仿真中得到了BP神經網絡分類器固化參數，然后對于這個分類器進行測試也得到了正確的結果。

4 結論

本文介紹了BP神經網絡分類器的結構和機理，基于全向移動機器人的運動特點的分類器輸入和輸出描述，從而構造出一種基于BP算法的神經網絡分類器，通過matlab軟件的仿真，這種BP神經網絡分類器能夠很好的對全向移動機器人周圍的障礙物模式進行分類，為全向移動機器人智能避障打造了很好的基礎。

參考文獻 (References)：

[1] 張明路，彭商賢等.用于移動機器人避障的人工神經網絡和模糊邏輯控制技術[J].中國機械工程：1997，8(2)：21～24.

ZHANG Ming-lu,Peng SHANG-xian,et al.For mobile robot obstacle avoidance of artificial neural networks and fuzzy logic control technology[J]. Chinese Mechanical Engineering：1997，8(2)：21～24.

[2] 施鴻寶.神經網絡及應用[M].西安：西安交通大學出版社，1993.1.

SHI Hong-bao,Neural Networks and applications[M]. Xi'an：Xi'an Jiaotong University，1993.1.

[3] 董聰，劉西拉.廣義BP算法及網絡容錯性和泛化能力研究[J].控制與決策，1998.3；13：120～124.

DONG Cong，LIU Xi-la.Generalized BP algorithm and network fault tolerance and generalization ability of Study[J].Control and Decision，1998.3；13：120～124.

[4] 江虹，曾立波等.優化的BP神經網絡分類器的設計與實現[J].計算機工程與應用，2001，(5).：122.

JIANG Hong，ZENG Li-bo，et al. Optimized BP Neural Network Classifier Design and Implementation[J]. Computer Engineering and Applications，2001，(5).：122.

[5] 焦李成.神經網絡系統理論[M].西安：西安電子科技大學出版社，1996.

JIAO Li-cheng.Neural network theory[M].Xi'an：Xidian University Press，1996.

[6] 楊俊友，李慶宇等.下肢康復機器人結構設計及動力學仿真[J].沈陽工業大學學報，2010，(5)：514～519.

YANG Jun-you，LI Yu-qing，et al.Mechanical structure design and kinetic simulation of lower limbs rehabilitative robot[J].Journal of Shenyang University of Technology，2010，(5)：514～519.

[7] 廖一，賀漢根等.遠距離超聲波傳感器在測距系統中的設計與應用[J].傳感器與儀器儀表：2009，(25)：90～92.

LIAO Yi，HE Han-gen，et al. Distance ranging ultrasonic sensors in the system design and application[J]. Sensors and Instrumentation，2010，(5)：514～519.

[8] 史曉霞，陳一民等.神經網絡在應用科學和工程中的應用-從基本原理到復雜的模式識別[M].北京：機械工業出版社，2009.7.

SHI Xiao-xia，CHEN Yi-min，et al. Neural networks in applied science and engineering - from basic principles to complex pattern recognition[M].Bei Jing：Machinery Industry Press，2009.7.

[9] 董長虹.MATLAB神經網絡與應用[M].北京：北京航空航天大學出版社，2005.

DONG Chang-hong.MATLAB Neural Networks and Applications[M]. Beijing： Aerospace University Press，2005.

[10] 高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社，2003.

GAO Yong.Artificial neural network and simulation examples[M]. Bei Jing：Machinery Industry Press，2003.

第7篇：梯度下降法的基本原理范文

非負矩陣分解（NMF）要求分解得到的左矩陣為列滿秩，這限制了它在欠定盲分離（UBSS）中的應用。針對此問題，提出基于帶行列式和稀疏性約束的NMF的欠定盲分離算法――DSNMF。該算法在基本NMF的基礎上，對NMF得到的左矩陣進行行列式準則約束，對右矩陣進行稀疏性約束，平衡了重構誤差、混合矩陣的唯一性以及分離信號的稀疏特性，實現了對混合矩陣和源信號的欠定盲分離。仿真結果表明，在源信號稀疏性較好和較差兩種情況下，DSNMF都能取得良好的分離效果。

ス丶詞：

欠定盲分離；非負矩陣分解；稀疏性；行列式準則

ブ型擠擲嗪牛 TN911

文獻標志碼：A

英文標題

Algorithm for underdetermined blind source separation based on DSNMF

び⑽淖髡咼

LU Hong1, ZHAO Zhijin1,2, YANG Xiaoniu2

び⑽牡刂(

1. College of Communication Engineering, Hangzhou Dianzi University, Hangzhou Zhejiang 310018, China;

2. State Key Laboratory of Information Controlling Technology in Communications System, No.36 Research Institute of China Electronic Technology Corporation, Jiaxing Zhejiang 314033, China

英文摘要

)

Abstract:

The decomposed left matrix of Nonnegative Matrix Factorization (NMF) is required to be full column rank, which limits of its application to Underdetermined Blind Source Separation (UBSS). To address this issue, an algorithm for UBSS based on determinant and sparsity constraint of NMF, named DSNMF, was proposed in this paper. On the basis of standard NMF, determinant criterion was used for constraining the left matrix of NMF, while sparsity was used for constraining the right one. In this way, the reconstruction error, the uniqueness of mixing matrix and the spasity of original sources can be equipoised, which leads to the underdetermined blind separation of mixing matrix and original sources. The simulation results show that DSNMF both works well for good and poor sparsity of sources separation.

英文關鍵詞

Key words:

Underdetermined Blind Source Seperation (UBSS); Nonnegative Matrix Factorization (NMF); sparsity; determinant criterion

0 引言

非負矩陣分解（Nonnegative Matrix Factorization, NMF）是D.D.Lee和H.S.Seung1999年在《Nature》雜志上發表的一種新的矩陣分解方法［1］。其基本思想是在非負限制下將矩陣V∈Rm×N分解成兩個矩陣W∈Rm×n和H∈Rn×N的乘積，并使分解結果盡可能地滿足V≈WH，其中W和H中的元素非負。其數學模型可表示為：

V=WH(1)

在實際應用中，人們往往對分解結果W和H施以除非負性之外的如稀疏性［2］、正交性［3］ 和平滑性［4］等限制，從而使分解結果更加合理。NMF及其拓展方法廣泛應用于數據挖掘、模式識別、目標檢測、文本聚類、稀疏表示與編碼和盲源分離等領域［5-8］。

盲源分離（Blind Source Separation, BSS）指在不知道源信號和傳輸信道參數的情況下，僅利用混合信號，恢復出源信號的過程，其數學模型可以表示為：

X=AS(2)

其中:S=s1,s2,…,snT∈Rn×N是n個N維信源信號構成的信源矩陣，X=x1,x2,…,xmT∈Rm×N是m個N維觀測信號構成的觀測矩陣，A∈Rm×n為未知混合矩陣。BSS的目標是，在A未知的條件下根據已知的X估計未知的S。根據混合矩陣A的類型，BSS問題可分為超定（m>n）、正定（m=n）和欠定（m

X=WH(3)

使得W和H分別是A和S的估計。并且在BSS問題中，許多情況下源信號取值是非負的，如像素信號、信號能量等，在非負約束下式(3)與式(1)是一致的。

信號的稀疏性是自然界許多信號的基本屬性，是指信號在絕大多數的采樣點取值較小或為零，少數的采樣點取值明顯較大或偏離零，如像素信號、機械故障信號等。雖然某些信號在時域表現非稀疏，但進行小波變換或傅里葉變換之后，往往在變換域表現出稀疏性。因此，稀疏性作為一個重要的先驗條件被廣泛用于解欠定盲分離（Underdetermined BSS，UBSS）問題［9-10］。

NMF模型中，矩陣V的列向量可以解釋為W矩陣中所有列向量（即基向量）的加權和，權重系數為H矩陣中對應列的元素。通過NMF算法由V分解得到W，若W是唯一的，那么由方程理論可知W必為列滿秩的Вm≥n）。гUBSS問題中，A為行滿秩的，欠定系統不可逆，因此，僅有分解元素的非負約束，基本NMF算法難以獲得唯一的W。針對這一問題，Cichocki等人提出HALS算法［11］，采用將重構誤差分層處理的方法，使每一層分解信號在迭代后都盡可能地稀疏。在源信號稀疏性良好的情況下，該算法可以獲得較好的分離結果，但對于源信號稀疏性不好的情況，分解結果偏離了方向，無法得到正確的分離結果。因此，本文針對此問題提出一種基于帶有行列式和稀疏性約束的非負矩陣分解的盲分離方法，記為DSNMF。該方法在基本NMF的基礎上對分解得到的W和H分別進行行列式準則約束和稀疏約束，使之符合UBSS中A和S的特性，獲得了較好的欠定盲分離效果。

┑2期

盧宏等：基于行列式和稀疏性約束的NMF的欠定盲分離方法

┆撲慊應用 ┑31卷

1 基本原理

1.1 行列式準則

定義 設P(W)是由矢量w┆1,…,w┆i,…,w┆n張成的空間，如果W是方陣，那么P(W)的體積可記為vol(P)=det(W)；如果W不是方陣，那么vol(P)=det(WWT)［12］。

行列式準則：如果矢量w┆1,…,w┆i,…,w┆n張成的空間為P(W)В且有vol(P)ё钚。則這些矢量是唯一的。

將觀測點x┆l(l=1,2,…，N)Э闖墑怯瑟nЦ齜歉夯旌鮮噶w┆1,…,w┆i,…,w┆n的線性加權和，那么式(3)可寫成：

x┆l=∑ni=1w┆iHil; 1≤l≤N(4)

其中：w┆i為歸一化的列矢量。那么在給出觀測信號矩陣X，混合矢量個數nШ頭歉涸際的條件下，NMF的目標就是找到構成W的列矢量。在沒有其他約束的情況下，X可分解成無數組W與H的乘積。假設式(4)中n=2В圖1所示的散點是由W中兩列矢量加權得到的，a1、a2是散點圖邊緣的兩條單位矢量，a1′、a┆2 ′是由NMF得到的一組可能的解。г謁有能夠加權得到圖中散點的單位向量組中，由a1、a2Я礁雋惺噶空懦傻鈉叫興謀咝械奶寤是最小的，且a1Ш酮a2是唯一的。

因此，利用NMF和行列式準則能夠得到構成W的唯一一組混合矢量。

圖片

圖1 二維基于行列式準則的最小體積法

1.2 稀疏測度分析

如果源信號是稀疏的，那么在式(3)NMF模型中，應使分解得到的HЬ哂邢∈櫳裕也就是說NMF應使得Hе芯】贍芏嗟腦素取值為零或接近于零，即Hе蟹橇閽素盡可能地少。那么，數學上該問題可以歸結為l0范數優化問題：

min J(H)=H0=Аi,jHij0

s.t.V=WH(5)

其中:l0范數表示稀疏測度，АH0П硎揪卣H中非零元素的數目，即：

Hij0=1,Hij≠0Hij0=0,Hij=0 オ

雖然求解式(5)可以使H最稀疏，但解并不唯一，且對噪聲極為敏感，魯棒性差，難以有效求解，為此文獻［13］提出采用l1范數測度稀疏性，那么式(5)改寫為：オ

Иmin J(H)=H1=∑i,jHij1

s.t. V=WH (6)

文獻［14-15］證明了在H稀疏的情況下，l1范數優化問題與l0范數優化問題是等價的，但l1范數更容易求解，魯棒性好。因此本文采用l1范數作為稀疏測度方法。

2 基于

帶行列式和稀疏性約束NMF的欠定盲分離

2.1 基本NMF算法

任意給定非負矩陣V∈Rm×N，運用NMF可以將V分解為非負矩陣W∈Rm×n和非負矩陣H∈Rm×N的乘積，且有V≈WH。由于分解過程的非負限制，分解結果WH很難與V相等，難以達到無損分解，只能使二者盡可能相等，那么，NMF問題就轉化為如下的最優化問題：

min D(VWH)

Иs.t. Wik,Hkj>0,∑iWik=1,1≤k≤n(7)

其中：D(VWH)是V與WH的距離函數，即重構誤差。定義基于歐幾里得距離的目標函數 ［16］如下：

D(VWH)=12V－WH2=12Аi,j(Vij－(WH)ij)2

s.t. Wik,Hkj>0,АiWik=1,1≤k≤n(8)

從而問題轉化為帶約束的非線性規劃問題。

2.2 DSNMF算法

將行列式準則（Determinant Criterion， DC）約束與稀疏性約束同時引入式(8)，以平衡重構誤差、混合矩陣W的唯一性和分離信號H的稀疏性。記優化目標函數為F(VWH)，其數學表達式如下：

F(VWH)=αDD(VWH)+αWvol(P(W))+αHJ(H)

Иs.t. Wik,Hkj>0,ИАiWik=1,1≤k≤n(9)お

其中：vol(P(W))=detWWT表示對混合矩陣W行列式準則約束；J(H)=Аk,jHkj1表示對分解得到的信號稀疏性的約束；Е聯D、αW和αH為平衡參數，通常取αD=1/（m×N），│聯W=1，αH=c/（n×N），cП硎疽懷J，通常取1，在源信號稀疏性較強時可適當增大，如取10、100等。最小化F(VWH)可得到W和H。式(9)對于單獨的W和H都是凸函數，但是同時對于W和H來說卻不是凸函數。因此，采用與文獻［16］相似的梯度下降法，交替更新W和H。更新規則為：

Wik=Wik－ηWF(VWH)WikHkj=Hkj－ηHF(VWH)Hkj (10)

ИF(VWH)Wik=［－VHT+WHHT］ik+αW det (WWT)WikおF(VWH)Hkj=［－WVT+WTWH］kj+αHJ(H)Hkj(11)オ

И det(WWT)Wik=det(WWT)［(WWT)－1W］ik(12)オ

選擇學習速率［16］：

ηW=Wik［WHHT］ik，ηH=Hkj［WTWH］kj(13)

將式（11）、式（13）代入式（10）可以得到混合矩陣元素和源信號分量的乘性迭代更新規則：

Wik=Wik(［VHT］ik［WHHT］ik+ε－αWdet(WWT)［(WWT)－1W］ik［HTHW］ik+ε)お

Hkj=Hkj［WTV］kj－αH［WTWH］kj+ε(14)お

其中：ε是一很小的正常數，防止分母出現為零的情況。每一步迭代之后將W和H負元素置零，且使用Wik=Wik/∑kWik對W的列向量進行歸一化，Ъ幢疚奶岢齙DSNMF欠定盲分離方法。

3 性能仿真與分析

3.1 算法性能評價

采用分離信號和源信號的重構信噪比(Signal to Noise Ratio, SNR)作為對于盲分離算法性能的評價指標［9］。

SNR=10 lgS2－S2(15)

其中：S和分別是源信號和被分離出的源信號，通過歸一化使之具有相同的能量，SNR越大信號分離效果越好。

3.2 兩組實驗

實驗一 源信號稀疏性較好的欠定盲分離。取自NMFLAB實驗工具箱的4個稀疏源信號［17］，如圖2(a)所示，選取隨機的混合矩陣為：

第8篇：梯度下降法的基本原理范文

關鍵詞：中藥水提液；膜污染；BP神經網絡；隱含層神經元；遺傳算法

DOI：10.3969/j.issn.1005-5304.2017.04.023

中圖分類號：R2-05；R284.2 文獻標識碼：A 文章編號：1005-5304（2017）04-0092-05

Study on Forecasting Ceramic Membrane Fouling in TCM Extracts Based on Improved BP Neural Network DOU Peng-wei， WANG Zhen， SHE Kan-kan， FAN Wen-ling （Institute of Information Technology， Nanjing University of Chinese Medicine， Nanjing 210023， China）

Abstract： Objective To prevent and treat of ceramic membrane purification of membrane fouling process of TCM extracts； To explore new methods of forecasting membrane fouling degree. Methods BP neural network model was improved. Methods to fast determine the optimal number of neurons in the hidden layer and fast algorithm for optimizing the weight and threshold of BP neural network were studied. Data of 207 groups of TCM extracts were under network training and prediction. Results Compared with the models of multiple regression analysis， basic BP neural network and RBF neural network， the error of the improved BP neural network model was less than that of the BP neural network model， and the mean square error was only 0.005 7. In addition， the improved BP neural network model performance was more stable. In the 20 random running experiments， the goal of the success rate achieved up to 95%. Conclusion The improved model has a good network performance， the fitting effect and prediction ability， and can forecast the fouling degree of membrane stably and accurately.

Key words： TCM extracts； membrane fouling； BP neural network； hidden layer neuron； genetic algorithm

中藥水提液的純化技術是中藥制劑前處理中應用最多的工藝方法之一。陶瓷膜因具有耐高溫、化學性質穩定、抗污染性強、機械強度高等優點[1]，被廣泛應用于中藥水提液的純化過程。然而，膜污染是制約陶瓷膜精制中藥的關鍵問題。

膜污染是指由于被過濾液中的微粒、膠體離子、溶質分子與膜存在物理化學作用而引起的各種粒子在膜表面或膜孔內吸附或沉積，造成膜孔堵塞或變小并使膜的透過流量與分離特性產生不可逆變化的一種現象[2]。中藥水提液組成復雜，是一種含有懸浮的固體微粒、膠體粒子和完全溶解溶質分子的復雜混懸體，在分離過濾操作時膜極易被污染，造成膜通量銳減[3-4]。目前，中藥水提液陶瓷膜膜污染機理尚不明確，過濾過程缺乏系統性理論指導及有效的膜污染控制手段。

中藥水提液陶瓷膜膜污染是多種復雜因素綜合作用的結果，具有較強的不確定性，難以采用特定函數模型描述。要實現對膜污染的準確預測，需要建立合理實用的預測模型。BP神經網絡是近年被廣泛應用的一種模擬人腦神經系統結構和功能的人工智能方法，是一種解決非線性、不確定性問題的數學模型，具有連續傳遞函數的多層前饋人工神經網絡，訓練方式為誤差反向傳播算法，并以均方誤差最小化為目標不斷調整網絡的權值和閾值，最終能高精度地擬合數據[5]。BP神經網絡具有較強的學習和適應能力，適合針對中藥水提液復雜系統建模，在處理具有非線性特點的中藥水提液陶瓷膜膜污染預測問題方面，比一般的線性、非線性模型更有優勢。

1 BP神經網絡

1.1 拓撲結構

BP神經網絡是按誤差逆傳播算法訓練的多層前饋網絡，通過訓練樣本來學習和存貯大量輸入-輸出模式映射關系，無需事先揭示及描述映射關系的數學方程。學習規則采用最速下降法，通過誤差反向傳播不斷調整網絡的權值和閾值，使網絡的整體誤差最小[6-8]。

BP神經網絡的拓撲結構包括輸入層、隱含層和輸出層，其中可包含1個或多個隱含層。各層次的神經元之間形成全互連接，同層神經元之間無反饋連接，見圖1。

1.2 基本原理及其缺陷

BP神網絡由信號的正向傳播和誤差的逆向傳播2部分組成[9]。設輸入層神經元為P=[p1，p2，…pi]，隱含層神經元為S=[s1，s2，…sk]，輸出層神經元為A=[a1，a2，…，aj]， 表示輸入層第i個神經元與隱含層第k個神經元之間的連接權值， 表示隱含層第k個神經元與輸出層第j個神經元之間的連接權值；隱含層的激勵函數為f1，輸出層的激勵函數為f2， 表示隱含層中各神經元的閾值， 表示輸出層中各神經元的閾值。

1.2.1 信息的正向傳遞 輸入層各神經元與隱含層各神經元之間以相應的權重連接，隱含層的第1個神經元 ，從輸入層的每個神經元處得到輸出值，加權求和 ，加上閾值 ，通過激勵函數f1，得到該神經元的輸出值為 。

輸出層第1個神經元a1接收隱含層每個神經元輸出值，并加權求和得 ，加上閾值 ，通過激勵函數f2，得到輸出層該神經元的輸出值為 。

1.2.2 誤差的反向傳播 N個數據樣本進入輸入層正向傳播，經過隱含層各神經元處理，傳向輸出層，得到實際輸出值A，將實際輸出值A與期望輸出值T進行誤差分析，比較并計算實際輸出與期望輸出的均方誤差 。

如果MSE未達到精度要求ε，則進入反向傳播過程，把均方誤差信號MSE以梯度形式，按原來正向傳遞的通路逐層進行反向傳播，并將誤差信號MSE分攤給各層的所有神經元，從而獲得各層神經元的誤差信號MSEj（j=1，2，3），將此誤差信號MSEj作為修正各連接權值和閾值的依據，并對其修改。

重復進行網絡信息的正向傳遞和網絡誤差的反向傳播過程，直至均方誤差MSE達到精度要求或者訓練達到最大迭代次數。

BP神經網絡在實際應用中存在一些缺陷[10]，其中在中藥分析領域有2個較明顯的缺陷：第一，BP神經網絡的建模過程必須構造一定的隱含層結構，但尚無合適的方法確定隱含層的神經元數，而隱含層神經元數過少或過多都會造成模型預測結果不準確；第二，BP神經網絡的初始權值和閾值是隨機產生的，權值和閾值的取值情況又決定著數據擬合的效果，因此該模型具有不穩定性。

2 改進的BP神經網絡模型

2.1 隱含層神經元數

利用區間估算方法快速確定BP神經網絡隱含層神經元數。具有單隱層的BP神經網絡模型能夠映射所有連續函數，在不約束隱含層神經元數的情況下，單隱層的BP神經網絡模型能夠實現任意的非線性映射[11]。因此，本研究選用單隱層模型。

隱含層神經元數的確定是BP神經網絡模型中非常關鍵和復雜的問題，目前尚無標準方法來確定最佳隱含層神經元數。如果隱含層神經元數過少，會使得BP神經網絡性能不佳，不能產生足夠的連接權組合來滿足網絡對樣本的學習需求；如果隱含層神經元數過多，極易陷入局部最小值，達不到最優點，出現過擬合現象[12]。許多學者通過試湊法[13-15]歸納出了確定隱含層神經元數目的一些經驗性公式，如 、 、 ，其中k為隱含層神經元數目，n為輸入層神經元數目，m為輸出層神經元數目，a為常數（一般a∈[1，10]）。

實踐表明，最佳隱含層神經元數常介于 和 之間，因此本研究采用區間估算來快速確定BP神經網絡隱含層神經元數的方法。具體步驟：①構建一個單隱層的BP神經網絡結構，網絡輸入層神經元數目為n，輸出層神經元數目為m，初始隱含層神經元數目 ；②初始化BP神經網絡，通過權值直接確定法[16]設置網絡各層的連接權值、閾值，并設置精度要求ε；③網絡訓練，計算均方誤差MSE；④若 ，隱含層增加1個神經元數目，返回步驟③，否則停止運算；⑤比較不同隱含層神經元數下的網絡均方誤差，選擇最小均方誤差所對應的隱含層神經元數作為最佳隱含層神經元數。

2.2 初始權值和閾值

針對BP神經網絡存在的“網絡初始權值和閾值隨機性”問題，本研究采用遺傳算法來優化BP神經網絡的初始權值和閾值。遺傳算法[17-18]是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優解的方法。遺傳算法從1組隨機產生的初始解（稱為群體）開始搜索過程。群體中的每個個體都是問題的1個解，稱為染色體；染色體在后續迭代中不斷進化，生成下一代染色體。染色體的優劣通過適應度函數衡量。根據適應度的大小從上一代和后代中選擇一定數量的個體作為下一代群體繼續進化，直至發現最好的染色體，即問題的最優解。

遺傳算法的目標是尋找所有進化代中能夠使網絡均方誤差最小的網絡權重，但由于遺傳算法只能朝著使適應度函數值增大的方向進行，所以本研究采用均方誤差的倒數作為適應度函數。當該適應度函數取得最大值時，BP神經網絡獲得最佳權值和閾值。計算公式： 。式中 表示第i條染色體的適應度值；MSEi表示根據第i條染色體確定的BP神經網絡權值和閾值時預測值A與期望值T的均方誤差。

利用遺傳算法進行BP神經網絡模型權值和閾值快速尋優的具體步驟：①通過編碼方式生成初始種群；②設置適應度函數；③計算群體中所有個體的適應值；④選擇適應度高的個體執行遺傳操作；⑤若達到終止條件，則返回最佳個體，即BP神經網絡的初始權值和閾值；若未達到終止條件，則以指定的最大遺傳步數為終止計算準則。基于遺傳算法的BP神經網絡流程圖見圖2。

3 中藥水提液陶瓷膜膜污染預測實驗

3.1 實驗數據

3.1.1 參數體系 根據膜科學原理和經驗規律，中藥水提液中的共性高分子、物理化學性質和阻力分布等情況會對膜過程產生影響，是引起膜污染的重要因素。考慮到實際測量的可行性，選擇測定5種高分子物質（固含含量、果膠含量、淀粉含量、蛋白含量和鞣質含量）、6種物化性質（pH值、電導率、鹽度、濁度、黏度、密度）及3種阻力分布特征量（膜自身阻力、濃差極化阻力和表面沉積阻力），建立中藥水提液膜過程參數體系。

3.1.2 數據樣本 根據中藥水提液膜過程參數體系，通過實驗測定了207組中藥水提液數據，其中145組數據（70%）作為訓練集，62組數據（30%）作為測試集。

本實驗目的為通過對中藥水提液的共性高分子含量、物化性質和阻力分布特征量的分析來預測膜污染度，因此輸入向量為固含含量等14個屬性值，輸出向量為膜污染度，見表1。

3.1.3 數據歸一化 由于輸入向量的數量級相差較大，直接將原始數據輸入BP神經網絡進行網絡訓練將使網絡性能和收斂性較差，因此需要對輸入向量進行歸一化處理，把數據限定在區間[0，1]。而輸出向量的數值符合該區間，故無需進行歸一化處理。數據歸一化處理公式：X=（X0-Xmin）/（Xmax-Xmin）。其中X為歸一化后的數值，X0為歸一化前的原始數據，Xmax和Xmin分別為該屬性原始數據的最大值和最小值。

3.2 預測模型

3.2.1 網絡結構設計 根據BP神經網絡原理，構建單隱層的網絡模型。由于輸入向量有14個屬性元素，輸出向量是1個屬性元素，故設置網絡輸入層的神經元數為14，網絡輸出層的神經元數為1。采用“2.1”項網絡隱含層神經元數的快速確定方法，估算出隱含層神經元數目區間為3～13。為了確定最佳隱含層神經元數目，設計對比實驗比較不同神經元數目的網絡誤差，實驗偽代碼見圖3，其中P、T、S、O分別為訓練輸入值、訓練目標值、預測輸入值和預測目標值。實驗結果見表2。

表2表明，在其他條件相同的情況下，模型的隱含層神經元數目設置為9時，網絡均方誤差最小，模型的預測效果最佳，即最佳網絡結構為14∶9∶1。

根據遺傳算法原理設計優化模型。遺傳算法的編碼采用實數編碼，編碼串由4個部分組成：輸入層與隱含層的連接權值、隱含層與輸出層的連接權值、隱含層閾值和輸出層閾值。設定種群初始規模為50，最大遺傳代數為100，交叉操作采用單點交叉，變異操作采用均勻變異，交叉因子為0.6，變異因子為0.3。

3.2.2 預測結果分析 根據BP神經網絡訓練特點，設置網絡結構的訓練參數：BP神經網絡的隱含層神經元激勵函數采用S型正切函數，輸出層神經元激勵函數采用S型對數函數。應用模型進行網絡訓練和測試，具體預測結果見表3。

實驗均方誤差僅為0.005 7，表明基于改進BP神經網絡的中藥水提液陶瓷膜膜污染預測模型能夠有效地對膜污染度進行預測。也證明中藥水提液中的共性高分子、物理化學性質和阻力分布特征確實是影響膜污染的重要因素。

為分析模型的精度，將本研究實驗結果與近年來中藥水提液膜污染數據建模相關文獻[19-21]進行對比，見表4。結果表明，與多元回歸分析、基本BP神經網絡和RBF神經網絡比較，改進BP神經網絡具有更好的泛化能力，擬合效果和預測精度均有較大提高。

3.2.3 模型性能評價 由于BP神經網絡的初始權值和閾值是隨機產生的，網絡模型性能與其相關，也是隨機變化的，因此為了對模型進行評價，令基本BP神經網絡模型和改進模型均隨機運行20次，分別考察達到預設目標的情況。設定平均相對誤差為10%，即均方誤差MSE為0.01，進行對比分析，見表5。

表5表明，改進的BP神經網絡穩定性更佳，說明改進算法實現了結構、權值和閾值的同步優化，避免了BP神經網絡初始化的隨機性和盲目性，提高了計算精度和效率。

4 小結

本研究表明，基于改進BP神經網絡的中藥水提液陶瓷膜膜污染預測模型能夠適應中藥水提液陶瓷膜純化過程中采集到的多維、非線性數據，能夠穩定準確地預測膜污染度，為中藥水提液陶瓷膜膜污染的預測和防治提供了有效方法。

參考文獻：

[1] SISKENS C A M. Fundamental of inorganic membrane science and technology[M]. Holland：Elsevier Science B V，1996：619-639.

[2] 劉忠洲，續曙光，李鎖定.微濾超濾過程中的膜污染與清洗[J].水處理技術，1997（4）：3-9.

[3] 樊文玲，郭立瑋，林瑛.不同預處理方法對陶瓷膜澄清中藥水提液過程的影響研究[J].中成藥，2008，30（11）：1709-1710.

[4] 賀立中.藥液超濾過程中的膜污染及其防治[J].膜科學與技術，2000， 20（5）：49-54.

[5] 劉春艷，凌建春，寇林元，等.GA-BP神經網絡與BP神經網絡性能比較[J].中國衛生統計，2013，30（2）：173-176.

[6] HOLLAND J H. Adaptation in natural and artificial systems：an introductory analysis with applications to biology，control， and artificial intelligence[M]. Cambridge：MIT Press，1992：89.

[7] 王元章，譴夯，周笛青，等.基于BP神經網絡的光伏陣列故障診斷研究[J].電力系統保護與控制，2013（16）：108-114.

[8] 張國翊，胡錚.改進BP神經網絡模型及其穩定性分析[J].中南大學學報：自然科學版，2011，42（1）：115-124.

[9] 郝曉弘，段曉燕，李恒杰.基于BP神經網絡的迭代學習初始控制策略研究[J].計算機應用，2009，29（4）：1025-1027，1031.

[10] 夏玫，陳立潮，王新波.一種提高BP神經網絡泛化能力的改進算法[J].計算機技術與發展，2009，19（9）：62-64，68.

[11] CHEN T， CHEN H， LIU R W. Approximation capability in C（Rn） by multilayer feedforward networks and related problems[J].IEEE Transactions on Neural Network，1995，6（1）：25-30

[12] 范佳妮，王振雷，錢鋒.BP人工神經網絡隱層結構設計的研究進展[J].控制工程，2005，12（S1）：109-113.

[13] 沈花玉，王兆霞，高成耀，等.BP神經網絡隱含層單元數的確定[J].天津理工大學學報，2008，24（5）：13-15.

[14] 褚輝，賴惠成.一種改進的BP神經網絡算法及其應用[J].計算機仿真，2007，24（4）：75-77.

[15] 張慶慶，賀興時.BP神經網絡結點數選取的改進方法及其應用[J].西安工程大學學報，2008，22（4）：502-505.

[16] 張雨濃，李巍，蔡炳煌，等.切比雪夫正交基神經網絡的權值直接確定法[J].計算機仿真，2009，26（1）：157-161.

[17] 范青武，王普，高學金.一種基于有向交叉的遺傳算法[J].控制與決策，2009，24（4）：542-546.

[18] 莊健，楊清宇，杜海峰，等.一種高效的復雜系統遺傳算法[J].軟件學報，2010，21（11）：2790-2801.

[19] 洪弘.數據挖掘技術在中藥水提液膜分離中的應用研究[D].南京：南京中醫藥大學，2012.