訓練神經(jīng)網(wǎng)絡的優(yōu)化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的訓練神經(jīng)網(wǎng)絡的優(yōu)化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

【關鍵詞】大學生身體素質(zhì)評估 遺傳算法 BP神經(jīng)網(wǎng)絡 MATLAB計算程序

在校大學生是國家重要的人才后備力量，大學生的身體素質(zhì)培養(yǎng)和鍛煉是學校體育教學中關注的重點。對大學生身體素質(zhì)進行科學、切實的評價可制訂更為有效的培養(yǎng)方案，幫助大學生提高其身體素質(zhì)。身體素質(zhì)評價就是將大學生的身體形態(tài)、生理機能及運動能力等方面的數(shù)據(jù)綜合起來進行評價[1]。從以往的研究成果看，對大學生身體素質(zhì)評價集中于采用概率統(tǒng)計、多元回歸分析和神經(jīng)網(wǎng)絡[2]的方法。然而，概率統(tǒng)計僅得到整體評價結(jié)果，多元回歸分析預測精度較低，且兩者受樣本空間影響較大。為此，本文利用遺傳算法來訓練初始網(wǎng)絡模型，再用BP算法來進行精確求解，是對神經(jīng)網(wǎng)絡評估大學生身體素質(zhì)的進一步優(yōu)化應用。

基于遺傳算法的BP神經(jīng)網(wǎng)絡理論

通過把神經(jīng)網(wǎng)絡和遺傳算法合理、科學的結(jié)合，既能夠利用神經(jīng)網(wǎng)絡較強的學習能力，又發(fā)揮了遺傳算法全局尋優(yōu)的搜索功能。首先利用遺傳算法得到權(quán)值的較優(yōu)初始取值，訓練網(wǎng)絡避免了局部極小，利用BP神經(jīng)網(wǎng)絡訓練次數(shù)和最終權(quán)值也相對穩(wěn)定，訓練速度明顯加快，從而既節(jié)約了時間，又提高了預測結(jié)果的準確性。

1.基于遺傳算法的BP神經(jīng)網(wǎng)絡結(jié)構(gòu)

BP網(wǎng)絡的學習規(guī)則采用最速下降法，利用遺傳算法根據(jù)訓練目標函數(shù)對網(wǎng)絡權(quán)值進行迭代，找到最佳初始網(wǎng)絡權(quán)值。通過反向傳播來不斷調(diào)整網(wǎng)絡權(quán)值，使網(wǎng)絡誤差平方和最小，該系統(tǒng)的網(wǎng)絡結(jié)構(gòu)，如圖1所示。先對大學生身體素質(zhì)的評估指標進行分類，抽取大學生身體素質(zhì)的特征指標，并作為輸入信息送入由輸入層、中間層和輸出層組成的三層網(wǎng)絡模型進行評估。經(jīng)過測試的網(wǎng)絡，成為穩(wěn)定的模式評估器，即可輸出評估結(jié)果[3，4]。

該模型的輸入層節(jié)點數(shù)為n，即大學生身體素質(zhì)評價指標數(shù)，中間層節(jié)點數(shù)為 ，輸出層節(jié)點數(shù)為1，即身體素質(zhì)評估結(jié)果值，ωij和ωj為BP神經(jīng)網(wǎng)絡權(quán)值，初始化隱含層閾值為ɑ，輸出層閾值為b，由此可給定學習速率和神經(jīng)元激勵函數(shù)。從圖1可發(fā)現(xiàn)，BP神經(jīng)網(wǎng)絡可以看成一個非線性函數(shù)，網(wǎng)絡輸入值和輸出值分別為該函數(shù)的自變量和因變量。當輸入層節(jié)點數(shù)為n，輸出層節(jié)點數(shù)為1時，BP神經(jīng)網(wǎng)絡就表達了從n個自變量到1個因變量的函數(shù)映射關系。

2.基于遺傳算法的BP神經(jīng)網(wǎng)絡算法

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡的核心是用遺傳算法來優(yōu)化BP神經(jīng)網(wǎng)絡的初始權(quán)值和閾值，使優(yōu)化后的BP神經(jīng)網(wǎng)絡能夠更好地預測函數(shù)輸出，計算流程如圖2所示。

1.背景資料

根據(jù)本校某班2011年大學生身體素質(zhì)測評成績，從中選取30名學生的測試結(jié)果作為神經(jīng)網(wǎng)絡的訓練樣本和校驗樣本。結(jié)合遺傳算法和BP神經(jīng)網(wǎng)絡算法，在大型數(shù)學計算軟件MATLAB中編程實現(xiàn)基于遺傳算法的BP神經(jīng)網(wǎng)絡大學生身體素質(zhì)評估[4]。

2.計算結(jié)果與分析

遺傳算法優(yōu)化過程中最優(yōu)個體的適應度變化（如圖3）。把最優(yōu)初始權(quán)值、閾值賦給神經(jīng)網(wǎng)絡，用訓練數(shù)據(jù)訓練100次后，得到基于遺傳算法的BP神經(jīng)網(wǎng)絡預測值。為了對比分析，也進行了BP神經(jīng)網(wǎng)絡預測分析（如圖4）。

從圖4可看出，采用BP神經(jīng)網(wǎng)絡及遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡兩種算法得到的預測結(jié)果，與專家判斷（實際值）基本一致。但基于遺傳算法的BP神經(jīng)網(wǎng)絡較BP神經(jīng)網(wǎng)絡預測精度高。特別在輸入節(jié)點，即評價大學生身體素質(zhì)的指標較多時，基于遺傳算法的BP神經(jīng)網(wǎng)絡預測效果要好一些。

結(jié) 論

1.本文提出了基于遺傳算法的BP神經(jīng)網(wǎng)絡大學生身體素質(zhì)評價算法，并建立了相應的網(wǎng)絡模型。

2.基于遺傳算法的BP神經(jīng)網(wǎng)絡算法不但具有神經(jīng)網(wǎng)絡的函數(shù)逼近能力，而且應用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡的權(quán)值、閾值，可使優(yōu)化后的神經(jīng)網(wǎng)絡避免訓練時間長、易陷入局部極值的缺點。

3.結(jié)合實例，將基于遺傳算法的BP神經(jīng)網(wǎng)絡大學生身體素質(zhì)評價算法，應用于本校學生身體素質(zhì)評估。結(jié)果表明，該算法較BP神經(jīng)網(wǎng)絡預測精度及效率高，可作為今后大學生身體素質(zhì)評價的一種新方法。

參考文獻：

[1]范正森，張明如，周瑞琪.大學生身體素質(zhì)綜合評價數(shù)學模型[J].武漢工業(yè)大學學報，2001，4：92-94.

[2]陳海英，郭巧.短跑運動能力的神經(jīng)網(wǎng)絡評價方法[J].北京理工大學學報，2003，1：54-57.

[3]陳剛，何政偉，楊斌，楊洋.遺傳BP神經(jīng)網(wǎng)絡在泥石流危險性評價中的應用[J].計算機工程與應用，2010，46（3）.

第2篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

關鍵詞：矩陣式紅外熱電堆；RBF神經(jīng)網(wǎng)絡；慣性權(quán)重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人體入侵檢測方法有視頻監(jiān)測、超聲波、機電檢測、紅外檢測等，而它的準確性和可靠性對人的生命財產(chǎn)安全起確定性的作用。本文采用的是Melexis（邁來芯）的一套矩陣式紅外熱電堆溫度采集裝置，其中傳感器MLX90621是一款采用16*4像素的紅外陣列傳感器，可以檢測出一副畫面中64個點的溫度，可以提供的視角范圍是，配合電機，它的檢測范圍可以達到，因此它每一幀可以測得的溫度數(shù)據(jù)有個。相比于傳統(tǒng)的檢測方法，雖然它的檢測像素低，但是在后面的算法計算中，它的計算量會降低，它的優(yōu)勢在于成本低、體積小易于隱蔽，而且不易受環(huán)境因素的影響，比如黑夜、電磁干擾等。在人體識別部分，本文采用的是改進RBF神經(jīng)網(wǎng)絡算法，RBF神經(jīng)網(wǎng)絡是一種采用局部接受域來執(zhí)行函數(shù)映射的人工神經(jīng)網(wǎng)絡[1]。而如何確定RBF神經(jīng)網(wǎng)絡的隱層基函數(shù)的個數(shù)、中心向量以及寬度是訓練RBF神經(jīng)網(wǎng)絡的關鍵所在。假如設定的隱層基函數(shù)的個數(shù)偏多會造成訓練和測試的時間加長，不僅容易產(chǎn)生過擬合[2]，而且還會造成網(wǎng)絡的泛化能力下降。相反，設定偏少的話會造成神經(jīng)網(wǎng)絡的收斂誤差變大。一般采用K-mean聚類算法來確定徑向基函數(shù)的個數(shù)和中心向量，但其依賴初始中心的選擇，只能獲得局部最優(yōu)解[3]。

粒子群算法（PSO）是基于群體智能的優(yōu)化算法，通過粒子間的合作與競爭的群體智能理論的優(yōu)化搜索，它可以記憶所有粒子都共享的迄今為止問題的最優(yōu)解[4]。PSO的優(yōu)勢在于簡單且易于實現(xiàn)。但基本PSO的缺點在于其參數(shù)是相對固定的，會導致在優(yōu)化某些函數(shù)時，造成精度差、收斂速度慢等。因此本文針對基本PSO的缺點，提出了結(jié)合慣性權(quán)重模型，將適應度擇優(yōu)選取引入基本PSO算法的方法進行改進。RBF神經(jīng)網(wǎng)絡首先采用最近鄰聚類算法來確定隱層基函數(shù)的個數(shù)，中心向量即為聚類的的均值。同時將改進的粒子群優(yōu)化算法來優(yōu)化最近鄰聚類算法的聚類半徑，從而確定出RBF神經(jīng)網(wǎng)絡最優(yōu)的隱層基函數(shù)和中心向量，使其不用依靠初始中心的選擇，減少了現(xiàn)有算法中人為因素的影響，從而有效地提高了RBF神經(jīng)網(wǎng)絡的精度和收斂速度。獨立訓練特定的RBF網(wǎng)絡并合成其預測結(jié)果，可以有效得提高神經(jīng)網(wǎng)絡表達對象的準確性[5，6]。將改進PSO優(yōu)化RBF神經(jīng)網(wǎng)絡的方法應用于人體入侵檢測識別中，通過實測數(shù)據(jù)驗證，準確率相對基本RBF神經(jīng)網(wǎng)絡有了顯著的提高。

2 RBF神經(jīng)網(wǎng)絡設計

2.1 RBF基本原理

RBF 神經(jīng)網(wǎng)絡，即徑向基神經(jīng)網(wǎng)絡，是前饋神經(jīng)網(wǎng)絡的一種，具有三層結(jié)構(gòu)，如圖 1 所示。它的基本思想是用RBF作為隱單元的“基”構(gòu)成隱含層空間，將輸入矢量直接（即不需要通過權(quán)鏈接）映射到隱空間，當RBF神經(jīng)網(wǎng)絡的中心確定之后，映射關系也就隨之確定了。隱含層的作用是把向量從低維映射到高維，這樣低維線性不可分的情況到高維就線性可分了，隱含層空間到輸出空間的映射關系是線性的。

（1）假設已經(jīng)有個聚類中心，分別為：，分別計算與它們之間的距離，。

（2），即到中心的歐式距離最小。

（3）比較與的大小，如果，則就會被設定為一個新的聚類中心，如果，則按照更新，。

（4）重新選取下一個輸入的樣本數(shù)據(jù)，返回1）。

（5）所有的輸入數(shù)據(jù)取完則結(jié)束。

從上面的算法步驟來看，可以得出，隱層基函數(shù)的中心的確定，最主要的因素是聚類半徑，若過大，會造成基函數(shù)的中心個數(shù)較少的情況，從而導致網(wǎng)絡的收斂誤差偏大，反之則會造成基函數(shù)的中心個數(shù)較多的情況，從而導致網(wǎng)絡的泛化能力下降。因此本文在最近鄰聚類算法中選取合適的聚類半徑時，采用改進的粒子群算法，最后可以確定出最優(yōu)的RBF神經(jīng)網(wǎng)絡的隱層基函數(shù)的中心向量。

3 粒子群優(yōu)化算法

3.1 基本粒子群優(yōu)化算法

粒子群優(yōu)化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一種通過模仿鳥類群體捕食行為研究的群體智能算法[7]。粒子群優(yōu)化算法的基本思想是通過群體中個體之間的協(xié)作和信息共享來尋找最優(yōu)解[8]。它的優(yōu)勢在于簡單容易實現(xiàn)并且沒有許多參數(shù)的調(diào)節(jié)[9]，目前已被廣泛應用于函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡訓練、模糊系統(tǒng)控制以及其他遺傳算法的應用領域。在由 m 個粒子組成的粒子群中，每個搜索空間中的潛在的解由粒子的位置來確定，新的個體在取值時主要由粒子的當前速度、粒子群中的最優(yōu)個體以及當前粒子的歷史最優(yōu)解3個因素來決定，其中粒子的當前速度控制著搜索的步長，算法的全局以及全局搜索能力由其決定，對PSO的收斂速度和質(zhì)量有著重要的影響；后兩者則主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根據(jù)如下三條原則來更新自身狀態(tài)：（1）保持自身慣性；（2）按自身的最優(yōu)位置來改變狀；（3）按群體的最優(yōu)位置來改變狀態(tài)。

算法描述：在一個 n維的搜索空間中，是由m個粒子組成的粒子群，其中，為第個粒子的位置為，為速度。其中，為個體極值，為種群的全局極值。接下去粒子會根據(jù)公式（6）不斷更新自己的速度，根據(jù)公式（7）不斷更新自己的位置。

3.2 慣性權(quán)重因子的引入及其改進

為改善粒子群算法的搜索性能，以及基本PSO參數(shù)固定優(yōu)化某些函數(shù)時精度較差的問題，Shi和Eberhart對基本PSO算法進行了改進，在粒子的速度進化方程中引入慣性權(quán)重[11]。一般地，較大的權(quán)重有利于提高算法的全局開發(fā)能力，而較小的權(quán)重則能增強算法的局部搜索能力[12]。因此慣性權(quán)重因子對當前速度的大小起決定性因素，提升PSO性能的關鍵一環(huán)是慣性權(quán)重因子和調(diào)整策略的合理設置[13，14]。將代入公式（6）可得：

上式中，和分別代表第個粒子和最優(yōu)粒子在第次迭代時相應的函數(shù)值。的計算是用來判斷目標函數(shù)的平整度[16]。由圖2可以看出，在迭代時變化越明顯，表明目標函數(shù)越不平整，相反則表示越平整。通過跟隨的變化而變化，以此來實現(xiàn)的動態(tài)變化。

4 基于改進PSO算法的RBF神經(jīng)網(wǎng)絡訓練

前面提到RBF神經(jīng)網(wǎng)絡基函數(shù)個數(shù)和中心向量難以獲取最優(yōu)的缺點，本文將改進PSO算法應用到RBF神經(jīng)網(wǎng)絡的訓練學習中，有效地提高了RBF神經(jīng)網(wǎng)絡的精度和收斂速度，大大地增強了網(wǎng)絡的泛化能力。粒子群算法的神經(jīng)網(wǎng)絡訓練過程如圖3所示。具體的優(yōu)化步驟如下：

1）首先對樣本進行歸一化處理。

2）初始化。由參數(shù)，，組成粒子群，然后隨機賦上初始值，并根據(jù)這些S機值來初始化粒子群的位置和速度。

3）計算適應度值。根據(jù)得到的RBF神經(jīng)網(wǎng)絡輸入輸出值，應用公式：

來計算粒子群的適應度值，以此來確定和。其中和分別為訓練樣本數(shù)和輸出神經(jīng)元個數(shù)，、分別為第個樣本的第個分量的輸出值和期望輸出值。

4）根據(jù)公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判斷優(yōu)化目標是否滿足終止條件，若滿足，則結(jié)束算法；否則返回到（3）。

5 實驗驗證及結(jié)果分析

本文在對上述改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡算法進行尋優(yōu)測試后發(fā)現(xiàn)，改進后的RBF神經(jīng)網(wǎng)絡算法在尋找最優(yōu)值時，收斂速度和精度上都優(yōu)于基本RBF神經(jīng)網(wǎng)絡算法，且大大提高了網(wǎng)絡的泛化能力。然后將改進后的RBF神經(jīng)網(wǎng)絡運用到實際的人體識別檢測中來進行驗證。在實驗中，通過MLX90621紅外陣列傳感器配合電機采集一個空間在不同情況下的溫度數(shù)據(jù)作為實驗數(shù)據(jù)，每一幀有16X36個溫度數(shù)據(jù)，共測得297組數(shù)據(jù)用于訓練。下面附上其中一張實測數(shù)據(jù)結(jié)果驗證圖（見圖4）：

圖中坐標軸中顯示的溫度數(shù)據(jù)就是實測的空間溫度數(shù)據(jù)，綠色區(qū)域為熱源干擾物，紅色區(qū)域為目標。根據(jù)采集獲得的溫度數(shù)據(jù)將其分為最高溫度、最低溫度、平均溫度三類，在正常情況下，由于人體的正常溫度存在一個絕對范圍，因此結(jié)合這個絕對范圍并將分割處理后的圖像一起作為訓練的特征值對改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡進行訓練，實現(xiàn)了對人體目標的檢測，然后利用訓練好的RBF神經(jīng)網(wǎng)絡直接對新的溫度數(shù)據(jù)進行分類，檢測并判斷每一幀是否有人。

下面分別采集無人無干擾和無人有熱源干擾的兩種情況下的空間溫度數(shù)據(jù)，用這兩組數(shù)據(jù)作為訓練樣本對基本RBF神經(jīng)網(wǎng)絡和改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡進行訓練，訓練結(jié)果如表1所示：

從訓練結(jié)果來看，改進后的RBF神經(jīng)網(wǎng)絡算法的訓練效果有了很大的提高，無論在無人無干擾還是無人有熱源干擾的數(shù)據(jù)中，測得的無人的準確率都高于基本RBF神經(jīng)網(wǎng)絡。最后用測得的有人有熱源干擾的空間溫度數(shù)據(jù)用來進行結(jié)果驗證，驗證結(jié)果如表2所示：

重新在一個空間中測得99組有人有干擾的溫度數(shù)進行結(jié)果驗證，在基本PSO的基礎上引入慣性權(quán)重因子，對基本RBF神經(jīng)網(wǎng)絡的訓練效果有明顯的提升，改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡算法測得有人的準確率明顯高于基本RBF神經(jīng)網(wǎng)絡。

6 結(jié)論

對人體識別算法進行了研究，最終確定使用RBF神經(jīng)網(wǎng)絡作為研究對象，并使用最近鄰聚類算法來確定RBF神經(jīng)網(wǎng)絡的中心向量，成功地消除了操作時人為因素的參與。本文通過引入動態(tài)慣性權(quán)重因子對基本PSO算法進行改進，將改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡與基本RBF神經(jīng)網(wǎng)絡進行對比，對比訓練的過程及結(jié)果可以得出，改進后的RBF神經(jīng)網(wǎng)絡在訓練效果上有了很大的提升，精度、收斂速度以及穩(wěn)定性都優(yōu)于基本RBF神經(jīng)網(wǎng)絡。最后將改進后的RBF神經(jīng)網(wǎng)絡應用到人體入侵檢測識別中，經(jīng)過實測數(shù)據(jù)驗證，雖然改進PSO算法訓練的RBF神經(jīng)網(wǎng)絡在排除干擾的問題上提升不是非常明顯，但是識別的準確率有了很大的提高，說明改進后的RBF神經(jīng)網(wǎng)絡更加適用于低精度且計算量少的人體入侵檢測識別中。

參考文獻：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一種改進PSO優(yōu)化RBF神經(jīng)網(wǎng)絡的新方法[J]計算機仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，張亞庭.基于APSO優(yōu)化算法的 GCHP 系統(tǒng)神經(jīng)網(wǎng)絡預測控制[J].計算機測量與控制，2014，22（01）：106-108.

[6]譚子平.基于白適應權(quán)值神經(jīng)網(wǎng)絡的 PID 參數(shù)優(yōu)化[J].計算機光盤軟件與應用，2014，17（07）：97-98.

[7]皮倩瑛，葉洪濤.一種動態(tài)調(diào)節(jié)慣性權(quán)重的粒子群算法[J].廣西科技大學學報，2016，27（03）：26-31.

[8]胡珀，婁淵勝.改進粒子群優(yōu)化算法在服務組合中的應用[J].計算機工程，2011，37（17）：130-133.

[9]任圓圓，劉培玉，薛素芝.一種新的自適應動態(tài)文化粒子群優(yōu)化算法[J]. 計算機應用研究，2013（30）11：3240-3243.

[10]于海鵬，翟紅生.基于混合策略的自適應粒子群優(yōu)化算法[J].計算機工程與設計，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]羅金炎.粒子群優(yōu)化算法慣性權(quán)重的一種動態(tài)調(diào)整策略[J]沈陽化工大大學學報，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群與模糊聚類在圖像分割中的應用[J].計算機工程與應用，2012，48（02）：194-196.

[15]田雨波.混合神經(jīng)網(wǎng)絡技術[M].北京：科學出版社，2009.

第3篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

【關鍵詞】雙目視覺;神經(jīng)網(wǎng)絡;攝像機標定

1.引言

雙目測距技術在非接觸式測量，機器人視覺等領域都有廣泛引用。本文研究的是被動式遠距離目標的距離測量系統(tǒng)中系統(tǒng)的標定技術研究，雙目測距系統(tǒng)標定方法研究對計算機視覺技術發(fā)展有重要意義。攝像機標定的目的在于確定攝像機的位置，以確定物體在空間坐標系與成像平面之間相應的位置關系。

這些位置關系以及攝像機光學和幾何參數(shù)在一些場所并不需要一一解出，而只需要構(gòu)建二維成像平面上像點坐標與三維空間坐標投影點之間的一種映射關系。而神經(jīng)網(wǎng)絡有非常強的非線性映射能功能，因此我們可以通過采用神經(jīng)網(wǎng)絡對攝像機進行標定。

2.基于神經(jīng)網(wǎng)絡的攝像機的標定方法

2.1 神經(jīng)網(wǎng)絡、雙目視覺神經(jīng)網(wǎng)絡攝像機標定

人工神經(jīng)網(wǎng)絡也稱神經(jīng)網(wǎng)絡，是一門新興技術，用以處理一些難以用標準數(shù)學模型描述的系統(tǒng)，模擬人類大腦的一些機理，實現(xiàn)某些特定功能。它具有很強的自學習及自適應能力，而其中可自由設定隱層節(jié)點的多層前饋神經(jīng)網(wǎng)絡，可以完成任意精度近似任意連續(xù)函數(shù)[1，2]。

由于網(wǎng)絡由相連的非線性單元組成，因此就具有了學習非線性過程的能力。與攝像機標定工作機制相似，神經(jīng)網(wǎng)絡可以從一些已知數(shù)據(jù)通過計算得到未知參數(shù)。而神經(jīng)網(wǎng)絡標定的畸變模型有任意性，可以避免傳統(tǒng)標定方法非線性標定可能無解、標定精度低等多種問題。本文通過運用神經(jīng)網(wǎng)絡學維平面圖像像點與三維空間物點坐標之間的關系，提出了改進神經(jīng)網(wǎng)絡雙目攝像機的標定方法。

本文雙目視覺神經(jīng)網(wǎng)絡攝像機標定具有的優(yōu)點是不用假設初始值，也不用建立精確的標定模型，只要輸入三維空間中物體在兩個圖像上的像點坐標，神經(jīng)網(wǎng)絡便可輸出物體在的三維空間的世界坐標。進行多次的神經(jīng)網(wǎng)絡學習、訓練，最后可得到相對理想的輸入、輸出非線性映射關系。

2.2 改進的RBF神經(jīng)網(wǎng)絡

徑向基函數(shù)（Radial Basis Function， RBF）神經(jīng)網(wǎng)絡是一種三層前向神經(jīng)網(wǎng)絡，它結(jié)構(gòu)簡單，訓練簡潔，學習收斂速度快，能夠以任意精度逼近任意連續(xù)函數(shù)，廣泛應用于眾多領域[3，4]。RBF網(wǎng)絡模擬了人腦中局部調(diào)整、相互覆蓋接收域的神經(jīng)網(wǎng)絡結(jié)構(gòu)，是一種局部逼近網(wǎng)絡。并且RBF神經(jīng)網(wǎng)絡在逼近能力、分類能力及學習速度等多方面都優(yōu)于BP神經(jīng)網(wǎng)絡，

遺傳算法是模擬生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬生物在自然進化過程中形成的一種自適應全局優(yōu)化搜索最優(yōu)解的方法[5]。

本文提出了一種基于改進的RBF神經(jīng)網(wǎng)絡的攝像機標定方法，引入了遺傳算法，優(yōu)化了徑向基函數(shù)網(wǎng)絡的學習算法。

2.2.1 RBF網(wǎng)絡的結(jié)構(gòu)

RBF網(wǎng)絡是一種三層前向網(wǎng)絡，三層分別是輸入層，隱藏層和輸出層。輸入層由信號源節(jié)點組成;輸出層是對輸入作出響應;隱藏層中節(jié)點數(shù)由需要而定，其中的徑向基函數(shù)是局部響應函數(shù)。

從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間是線性的。RBF網(wǎng)絡是局部逼近網(wǎng)絡，三層組成（m個輸入、h個隱節(jié)點、n個輸出），常用的徑向基函數(shù)是高斯函數(shù)，因此徑向基神經(jīng)網(wǎng)絡的激活函數(shù)可表示為：

（1）

式中：是歐式范數(shù);X是輸入樣本，;是高斯函數(shù)的中心，也是網(wǎng)絡隱含層節(jié)點的中心;為高斯函數(shù)的方差;i是隱含層節(jié)點數(shù)。

RBF網(wǎng)絡的結(jié)構(gòu)輸出為：

（2）

式中：wij是隱含層到輸出層的連接權(quán)值;yj是第j個輸出節(jié)點的實際輸出。

假設d是樣本的期望輸出值，則基函數(shù)的方差為：

（3）

式中：P是樣本總數(shù)。

RBF網(wǎng)絡學習方法求解需要的參數(shù)：基函數(shù)的中心、方差以及隱含層到輸出層的權(quán)值。RBF網(wǎng)絡的輸出是隱單元輸出的線性加權(quán)和。本文采用的是自組織選取中心法。

2.2.2 優(yōu)化的RBF神經(jīng)網(wǎng)絡

本文加入遺傳算法用以優(yōu)化已有的神經(jīng)網(wǎng)絡，用全局搜索找到最優(yōu)網(wǎng)絡結(jié)構(gòu)，確定較理想非線性映射關系，進而達到雙目視覺的標定。采用實數(shù)編碼、最佳保留（elitist model）選擇機制，交叉概率采用自適應方式，再對數(shù)據(jù)做歸一化處理。

2.3 整體算法步驟

用遺傳算法對神經(jīng)網(wǎng)路的參數(shù)進行優(yōu)化，得到權(quán)值與偏差值范圍。再用RBF網(wǎng)絡在局部搜索得出最優(yōu)網(wǎng)絡結(jié)構(gòu)標定系統(tǒng)。

1）將多組對應的雙目視覺系統(tǒng)圖像像點坐標作為輸入的訓練樣本，組成群體;

2）采用梯度下降法學習樣本網(wǎng)絡個體基函數(shù)的中心、方差;

3）采用最小二乘法學習隱含層到輸出層的線性權(quán)值;

4）采用遺傳算法優(yōu)化隱含層中節(jié)點數(shù);

5）通過循環(huán)交替學習、訓練，得到相對理想的RBF網(wǎng)絡標定系統(tǒng)。

3.實驗說明

分別采用線性標定、標準BP網(wǎng)絡、和改進的RBF網(wǎng)絡做雙目視覺標定，后兩種做非線性函數(shù)逼近，對測試結(jié)果進行比較。得出結(jié)果：較其他兩種，改進的RBF網(wǎng)絡測試誤差最小。

表1 測試結(jié)果比較

隱節(jié)點數(shù) 訓練誤差 測試誤差

線性標定 * * 0.2945

標準BP 26 0.0935 0.0356

改進RBF 13 0.0576 0.0123

4.結(jié)論

在不考慮鏡像畸變及環(huán)境等因素的形象下，將基于改進的RBF神經(jīng)網(wǎng)絡應用于雙目視覺攝像機標定方法中，提高了測量精度，減少了因傳統(tǒng)標定方法建立的模型不完善而帶來的誤差，為雙目視覺測量應用于精密測量提供了一種新的有效方法。標定后的測量系統(tǒng)在雙目視覺空間具有很高的測量精度。

參考文獻

[1]閻平凡，張長水.人工神經(jīng)網(wǎng)絡與模擬進化計算[M].清華大學出版社，2000：410-420.

[2]錢光耀，楊入超，趙光興.基于人工神經(jīng)網(wǎng)絡的壓力傳感器三維數(shù)據(jù)融合[J].傳感器與微系統(tǒng)，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]楊耀華，李昕，江芳澤.基于OLS算法的RBF神經(jīng)網(wǎng)絡高速公路事件探測[J].系統(tǒng)仿真學報，2003，15（5）：709-712.

第4篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

關鍵詞：遺傳算法 神經(jīng)網(wǎng)絡 瓦斯突出 預測

中圖分類號：TD712 文獻標識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預測煤層中的瓦斯含量是進行煤與瓦斯突出風險研究的重要一環(huán)，由于影響瓦斯含量的地質(zhì)因素復雜多樣，以及各因素間存在著復雜的非線性關系，迄今為止，對瓦斯突出的預測主要使用回歸分析方法，預測的結(jié)果往往跟實際的情況差別較大，因此需要使用新的方法建立預測模型來實現(xiàn)對瓦斯突出高精度的預測。

1 利用遺傳算法改進的神經(jīng)網(wǎng)絡建立瓦斯突出預測模型

（1）網(wǎng)絡輸入?yún)?shù)的確定：經(jīng)查閱相關文獻和咨詢得知瓦斯突出的主要影響因素有：煤層底板標高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統(tǒng)計單元中有無斷層、基巖厚度、煤厚。

（2）網(wǎng)絡輸出參數(shù)的確定：選擇二進制數(shù)0和1分別表征瓦斯不突出和突出。

（3）網(wǎng)絡的構(gòu)造： 一般地可以用一個三層神經(jīng)網(wǎng)絡實現(xiàn)預測功能，此神經(jīng)網(wǎng)絡的輸入層有n個神經(jīng)元，根據(jù)經(jīng)驗公式選取隱含層有（2n+1）個神經(jīng)元，輸出層有m個神經(jīng)元，因此本模型中的神經(jīng)網(wǎng)絡可以采用3層神經(jīng)網(wǎng)絡。

（4）網(wǎng)絡的訓練：訓練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數(shù)據(jù)訓練神經(jīng)網(wǎng)絡，得到預測模型。

（5）網(wǎng)絡的精確度驗證： 利用已完成的人工神經(jīng)網(wǎng)絡對實際問題進行試驗研究。把在開灤礦井采取的11～20組數(shù)據(jù)的瓦斯突出指標輸入已經(jīng)訓練的網(wǎng)絡中，驗證人工神經(jīng)網(wǎng)絡的預測結(jié)果與實際突出情況的吻合度，如果吻合度低，就需要對網(wǎng)絡進行改動，直至達到滿意的吻合度。

（6）利用遺傳算法對神經(jīng)網(wǎng)絡的權(quán)值和閾值進行優(yōu)化

個體的編碼：將神經(jīng)網(wǎng)絡各層之間可能存在的連接權(quán)值和閾值編碼成實數(shù)碼串或者進行二進制碼串，每條碼串中包含著網(wǎng)絡中的所有權(quán)值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產(chǎn)生初始種群：隨機生成一定數(shù)量的碼串個體作為一個初始種群。

計算適應度：設網(wǎng)絡有K個訓練樣本，讓所有的訓練樣本依次通過解碼后生成的神經(jīng)網(wǎng)絡，計算所有訓練樣本一次通過的平均總誤差作為每條染色體的適應度， 其中， 為瓦斯含量的實測值， 為網(wǎng)絡的輸出值。

④將網(wǎng)絡的所有連接權(quán)值和閾值進行實數(shù)編碼，構(gòu)成一個染色體，每條染色體代表一個神經(jīng)網(wǎng)絡模型的權(quán)值和閾值。設定初始種群規(guī)模為20，進化代數(shù)為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現(xiàn)象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權(quán)值，網(wǎng)絡平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進行瓦斯含量預測研究。對影響瓦斯含量的主要因素進行分析，歸納確定了神經(jīng)網(wǎng)絡的輸入層神經(jīng)元個數(shù)為7，對應為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統(tǒng)計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經(jīng)元個數(shù)是1。在開灤集團獲得的相關數(shù)據(jù)如表2所示，其中1～10作為網(wǎng)絡訓練樣本，11～20作為網(wǎng)絡檢驗樣本，用來檢驗模型的預測精度。

利用前10組數(shù)分別訓練自適應的BP神經(jīng)網(wǎng)絡和與遺傳算法結(jié)合改進的網(wǎng)絡得到瓦斯突出預測模型，如圖1和2所示。然后利用11～20組的樣本對網(wǎng)絡性能進行檢驗，并將檢驗結(jié)果和實測值的數(shù)據(jù)進行對比，對比后的結(jié)果如表3所示。 由圖1、2可知用遺傳算法改進的神經(jīng)網(wǎng)絡收斂速度更快，由表3可知用遺傳算法改進后的神經(jīng)網(wǎng)絡預測的值跟實際的值更加的逼近即預測精度高。

3 結(jié)論

本文采用遺傳算法與神經(jīng)網(wǎng)絡相結(jié)合的方法，通過優(yōu)化神經(jīng)網(wǎng)絡的權(quán)值和閾值，使得預測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預測的精度，加快了收斂速度。對煤礦安全發(fā)展具有一定的意義。

參考文獻

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應用研究[J]，軟件導刊，2009

[2]梁芳.遺傳算法的改進及其應用[D].武漢理工大學，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學，2013.

第5篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

[關鍵詞] 船舶供應商 評價體系 遺傳算法 神經(jīng)網(wǎng)絡

選擇合適的供應商直接關系到船舶企業(yè)降低成本、提高企業(yè)競爭力?，F(xiàn)有的平價方法在確定指標權(quán)重時存在主觀隨意性，評價結(jié)果缺乏客觀與公正。BP神經(jīng)網(wǎng)絡具有容錯性、自適應性等特點，解決了評價過程中指標權(quán)重隨意性和人為因素。本文構(gòu)建了BP神經(jīng)網(wǎng)絡的船舶供應商評價模型，并針對BP神經(jīng)網(wǎng)絡收斂速度慢的缺點，采用遺傳算法對構(gòu)建的BP神經(jīng)網(wǎng)絡模型進行優(yōu)化，從而構(gòu)建評價船舶供應商遺傳神經(jīng)網(wǎng)絡模型。

一、船舶供應商評價指標體系的構(gòu)建

原材料供應商和船舶配套企業(yè)的產(chǎn)品質(zhì)量性能以及管理水平等都會對船舶企業(yè)的正常運行帶來重大影響，直接關系到企業(yè)的盈利能力。因此，構(gòu)建科學的合理的供應商評價體系，是船舶制造企業(yè)綜合評價供應商的依據(jù)。

周期長、成本高等特點決定了船舶是一種特殊的產(chǎn)品，需要結(jié)合船舶自身的特點來構(gòu)建船舶供應商評價指標體系。綜合學者的研究成果與船舶公司實際狀況，本文認為應該從質(zhì)量、成本、交貨、柔性、財務與信譽狀況以及服務與管理水平6個方面構(gòu)建船舶供應商的評價指標體系。

二、基于遺傳神經(jīng)網(wǎng)絡的船舶供應商評價模型

1.BP神經(jīng)網(wǎng)絡在船舶供應商評價中的應用

BP神經(jīng)網(wǎng)絡模型是一個分層型網(wǎng)絡，具有輸入層、中間層和輸出層。供應商評價指標由輸入層到輸出層的傳遞是一個前向傳播的過程，若輸出結(jié)果與期望結(jié)果的誤差超過允許范圍，則誤差反向傳播，并根據(jù)各層誤差的大小來調(diào)節(jié)權(quán)值,尋找最佳權(quán)集，實現(xiàn)正確輸出。基于BP神經(jīng)網(wǎng)絡的船舶供應商評價模型結(jié)構(gòu)及學習原理如圖2所示。

2.基于遺傳算法改進的BP神經(jīng)網(wǎng)絡模型

BP算法是沿梯度下降(平方誤差函數(shù))來指導搜索的，學習過程收斂速度慢，易陷入局部極小點。而遺傳算法對于全局搜索具有較強的魯棒性和較高的效率，克服了BP網(wǎng)絡的局限性。將遺傳算法與BP網(wǎng)絡相結(jié)合,可以達到全局尋優(yōu)和快速高效的目的。

遺傳算法改進BP神經(jīng)網(wǎng)絡模型的步驟是:（1)確定網(wǎng)絡參數(shù)；（2）設定的種群規(guī)模N，產(chǎn)生初始種群;（3)求N組網(wǎng)絡權(quán)系數(shù),得到具有相同結(jié)構(gòu)的N個網(wǎng)絡;（4)求N組網(wǎng)絡權(quán)值對應的N個網(wǎng)絡輸出;（5）網(wǎng)絡性能評價;（6)若不滿足評價條件，由對染色體進行遺傳選擇、變異和交叉操作，產(chǎn)生新的染色體，直到滿足評價函數(shù);（7)選擇一個最優(yōu)染色體作為網(wǎng)絡權(quán)重，進行網(wǎng)絡的訓練和評價。其工作流程如圖3所示。

三、應用仿真算例

以中船公司的25家供應商數(shù)據(jù)為基礎，采用matlab7.0編程，建立三層遺傳神經(jīng)網(wǎng)絡模型。

將前15家供應商作為訓練集，訓練該網(wǎng)絡；其余10家供應商作為測試集，模擬待評價的對象。設置誤差精度為0.00001。首先用遺傳算法，經(jīng)過450次優(yōu)化，得到全局最優(yōu)的網(wǎng)絡權(quán)值。然后以前15家供應商的二級評價指標為樣本，經(jīng)過BP神經(jīng)網(wǎng)絡4700次訓練，得出對應的6個一級評價指標的訓練樣本;再以所得出的輸出值為樣本，經(jīng)過BP神經(jīng)網(wǎng)絡4450次訓練,訓練出最終的遺傳神經(jīng)網(wǎng)絡模型，并用于綜合評價工作。輸入后10家供應商二級評價指標值，得到其一級評價指標的輸出值,以該輸出值為輸入，計算出10家供應商的綜合評價結(jié)果。見表。

四、結(jié)束語

基于遺傳神經(jīng)網(wǎng)絡的船舶供應商評價模型借助BP神經(jīng)網(wǎng)絡的容錯性和自適應自學習能力克服了傳統(tǒng)評價方法在指標權(quán)重賦值時存在的主觀隨意性問題，并用遺傳算法的優(yōu)化解決了BP存在的收斂速度慢的問題，為評價船舶供應商提供了一條新的途徑。

參考文獻:

[1]金朝光 紀卓尚 林 焰:船舶企業(yè)選擇供應商的策略研究[J]. 計算機集成制造系統(tǒng),2003,9(10):886～890

[2]馬士華 林 勇 陳志祥:供應鏈管理[M].北京:機械工業(yè)出版,2004

第6篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

關鍵詞：LVQ神經(jīng)網(wǎng)絡；遺傳算法；故障診斷

中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2013）03-0156-02

本文將故障診斷問題看成一類特殊的分類問題，利用LVQ神經(jīng)網(wǎng)絡的分類功能，建立齒輪箱故障診斷的神經(jīng)網(wǎng)絡模型。模型通過對一些典型的故障特征進行訓練學習后，用于齒輪箱的故障診斷。

一、LVQ神經(jīng)網(wǎng)絡原理

早在1990年，著名的神經(jīng)網(wǎng)絡專家Kohonen就提出了學習向量量化（Learning Vector Quantization，LVQ）算法。LVQ神經(jīng)網(wǎng)絡是用于模式分類是一種神經(jīng)網(wǎng)絡模型，允許對輸入分到哪一類進行指定。LVQ算法對應的網(wǎng)絡結(jié)構(gòu)如下：①包含n個輸入神經(jīng)元，輸入向量為X=（x1，x2，…，xn），即樣本是n維的，X所對應的類別為T；②每個輸出神經(jīng)元j都對應一個權(quán)向量，Wj=（w1，w2，…，wn），記所有輸出神經(jīng)元構(gòu)成的集合為Ω；③Cj為輸出神經(jīng)元j所代表的類別，不同的輸出神經(jīng)元可以代表同一個類別。

下面介紹LVQ算法：①初始化權(quán)向量Wj，？坌j∈Ω，設初始學習率為α（0）；②從訓練集中選取一輸入向量X，找出與X具有最小歐氏距離的Wk；其中k=arg■X-Wj；③按下列公式調(diào)整神經(jīng)元k的權(quán)值，如果T=Ck，即分類正確，則Wk（t+1）=Wk（t）+α（t）（X-Wk（t）），如果T≠Ck，即分類不正確，則Wk（t+1）=Wk（t）-α（t）（X-Wk（t））；④選擇下一個輸入向量，返回第二步，直到樣本集中所有的向量都提供一遍為止；⑤判斷停機條件是否滿足。若滿足，停機；若否，轉(zhuǎn)第二步。

二、遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡

LVQ神經(jīng)網(wǎng)絡具有很好的分類識別特性，能對任意輸入向量進行分類，無論它們是否可分，但LVQ神經(jīng)網(wǎng)絡有兩個不足：（1）存在“死神經(jīng)元”，即未被充分利用的神經(jīng)元；（2）算法天然對初始權(quán)值敏感，即如果初值的選擇偏差太大就會影響聚類的結(jié)果，從而影響診斷結(jié)果。為了克服LVQ算法對初始權(quán)值的敏感性，本文采用遺傳算法對LVQ的初始權(quán)值進行優(yōu)化，形成基于遺傳算法的LVQ神經(jīng)網(wǎng)絡。遺傳算法是模擬生物進化過程中自然選擇和遺傳變異的一種隨機優(yōu)化算法，它只是要求被優(yōu)化的函數(shù)是可計算的，不要求目標函數(shù)具有連續(xù)性和可微性，搜索能力不依賴于特定的求解模型，具有很強的全局搜索能力。目前遺傳算法已被廣泛應用于各個領域，如自適應控制、優(yōu)化組合、機器學習等。遺傳的操作步驟為：（1）種群初始化。由于染色體代表的是LVQ網(wǎng)絡的權(quán)值，故染色體采用實數(shù)編碼，假設訓練樣本輸入向量的維數(shù)為n，則選擇n個0-1的隨機數(shù)作為初始網(wǎng)絡權(quán)值，并組成染色體，染色體的長度為m×n，m為輸出神經(jīng)元的個數(shù)，重復上述過程，得到S個染色體。（2）計算每一條染色體的適應度。在本算法中，記適應度最小的染色體為Wmin，Wmin為一個好的初始權(quán)值。因為LVQ算法是有導師的學習，所以，本文將適應度函數(shù)定義為：fitness=■■■（yi（k）-ti（k））■。其中，r為輸出層節(jié)點數(shù)，q為樣本個數(shù)。（3）交叉操作。將染色體群體中的個體隨機兩兩配對，采用雙點交叉算子進行交叉操作，產(chǎn)生新一代群體。（4）變異操作。變異操作是遺傳算法種群多樣化的保證。在該算法中，由于染色體對應于LVQ神經(jīng)網(wǎng)絡的權(quán)值，因此采用位置變異算子，以較小的變異率對新一代種群進行變異操作?；谶z傳算法和LVQ神經(jīng)網(wǎng)絡的故障檢測算法如下：（1）產(chǎn)生初始種群，并指定最大運行代數(shù)。（2）建立網(wǎng)絡，并用種群中的個體對網(wǎng)絡的權(quán)值進行初始化。（3）用訓練集對網(wǎng)絡進行訓練并仿真。（4）計算當前群體的適應度值。（5）染色體進行選擇、交叉和變異。（6）選擇最優(yōu)的染色體，得到網(wǎng)絡權(quán)值。（7）用測試集，測試遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡的性能。

三、實驗與討論

本實驗分別用LVQ神經(jīng)網(wǎng)絡和遺傳算法優(yōu)化的LVQ神經(jīng)網(wǎng)絡對相同的訓練集進行學習訓練，再用測試集分別測試學習好的網(wǎng)絡的性能。訓練集是通過安裝在箱體8個敏感點的壓電加速度傳感器拾取各測試點的振動信號，經(jīng)數(shù)據(jù)采集系統(tǒng)和數(shù)據(jù)處理系統(tǒng)處理后的12組數(shù)據(jù)，測試集為3組數(shù)據(jù)。齒輪的三種故障模式為：無故障1；齒根裂紋2；斷齒3。實驗過程中，兩個網(wǎng)絡都是三層網(wǎng)絡結(jié)構(gòu)，隱層都含有5個神經(jīng)元?；谶z傳算法的LVQ神經(jīng)網(wǎng)絡利用遺傳算法優(yōu)化了輸入層到隱層的權(quán)值。

Figure 1 訓練集數(shù)據(jù)

Figure 2 訓練集所屬的類別

Figure 3 測試集數(shù)據(jù)

Figure 4 測試集所屬的類別

Figure 5 遺傳算法優(yōu)化的LVQ網(wǎng)絡的仿真結(jié)果

Figure 6 LVQ網(wǎng)絡的仿真結(jié)果

結(jié)果表明，遺傳算法優(yōu)化LVQ網(wǎng)絡比LVQ網(wǎng)絡有更高的診斷精度。

四、結(jié)論

第7篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

【關鍵詞】BP神經(jīng)網(wǎng)絡；預測；誤差

1.引言

許多金融學家和計量學家對發(fā)達國家成熟市場的波動性進行了廣泛的研究，但是在對股市的預測上，由于人們在知識、能力、經(jīng)驗上存在著較大的差異，加之問題本身又具有很大的隨機性和高度的非線性，即使是一些金融專家、炒股高手對出現(xiàn)的同一復雜行情進行分析，往往也會得出不同的結(jié)論。此外，傳統(tǒng)方法還要事先知道各種參數(shù)，以及這些參數(shù)在什么情況下應作怎樣的修正。這都給預測股市帶來一定的困難。

基于以上股市預測的困難性，本文提出了人工神經(jīng)網(wǎng)絡的預測方法。隨著計算機、人工智能尤其是專家系統(tǒng)的發(fā)展，人工神經(jīng)網(wǎng)絡技術逐漸成熟并開始應用于各個領域。人工神經(jīng)網(wǎng)絡（ANN，簡稱神經(jīng)網(wǎng)絡）作為一種由大量簡單神經(jīng)元廣泛相互聯(lián)接而成的非線性映射或自適應動力系統(tǒng)，恰好能有效解決股市預測處理中常見的困難，因此它很快在股市預測分析與處理領域得到了廣泛的應用。

2.BP神經(jīng)網(wǎng)絡介紹

2.1 BP 網(wǎng)絡算法的基本原理

2.1.1 標準的BP 網(wǎng)絡算法的基本原理

BP(Back Propagation)網(wǎng)絡是反向傳播的多層前饋式網(wǎng)絡，是目前使用最為廣泛的一種人工神經(jīng)網(wǎng)絡。它的核心是BP算法，一種對于多基本子系統(tǒng)構(gòu)成的大系統(tǒng)進行微商計算的嚴格而有效的方法，采用最小均方差學習方式。BP 神經(jīng)網(wǎng)絡的原理說到底就是給它一些輸入變量，然后就有一個輸出，輸出值的情況與實際的情況進行比較，差多少，然后再進行網(wǎng)絡的內(nèi)部調(diào)整，屬于有導師的學習規(guī)則，使得網(wǎng)絡輸出與實際逼近。

神經(jīng)網(wǎng)絡能學習和存貯大量的輸入―輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。人工神經(jīng)網(wǎng)絡由非線性函數(shù)組成，而由一系列不同權(quán)重的線性過濾器組合而成：

2.1.2 BP網(wǎng)絡算法的優(yōu)化

由于常用的BP算法主要缺點為收斂速度慢，局部極值，難以確定隱含層和隱含層的個數(shù)，使得在實際應用中BP算法很難應用，因此，出現(xiàn)了許多改進算法。BP算法的改進主要有兩種途徑，一種是采用啟發(fā)式學習方法；另一種則是采用更有效的優(yōu)化算法，本文采用了動量法和學習率自適應調(diào)整的策略，從而提高了學習速度并增加了算法的可靠性。動量法降低了網(wǎng)絡對于誤差曲面局部極值的敏感性，有效地抑制了網(wǎng)絡陷于局部極小。

2.2 BP神經(jīng)網(wǎng)絡的模型識別及步驟

模式通常指對事物的一種定量描述或結(jié)構(gòu)描述，“識別”是指對客觀事物按其物理特征進行分類。模式識別的基本原理就是從待識別對象和理想標本之間若干特征的相似性推斷它們之間總體的相似性。BP神經(jīng)網(wǎng)絡模式識別過程分為訓練階段和模式分類階段，分為初始化、數(shù)據(jù)與處理、網(wǎng)絡訓練以及模式分類四個步驟。以下利用實證分析來進行著四個步驟。

3.實例分析

下面以上證的某股600個交易日的股票價格收盤指數(shù)作為原始樣本數(shù)據(jù)，對上述神經(jīng)網(wǎng)絡模型進行求解，預測20天的收盤價，與實際收盤價進行比較，并求出其誤差：

式中，表示第日的實際收盤指數(shù)，表示第日的預測值，表示誤差。主要按照如下幾部分來處理：（1）準備600個數(shù)據(jù)的時間序列，進行歸一化。BP神經(jīng)網(wǎng)絡中每個神經(jīng)元的輸出值由傳遞函數(shù)Sigmoid函數(shù)來計算，其輸出值的范圍是（0，1）；（2）留出最后20個數(shù)據(jù)，作為預測檢驗使用；（3）繪制圖像，包括實際值和預測值，能量函數(shù)；（4）分析實際和預測兩曲線的趨勢。

采用I-J-K學習模型，該模型是輸入層I個神經(jīng)元，隱層J 個神經(jīng)元，輸出層K個神經(jīng)元。利用BP神經(jīng)網(wǎng)絡模型訓練500次、800次、1000次的輸出值和期望值以及能量函數(shù)（或者叫誤差函數(shù)）E，結(jié)果見圖1到圖3。

通過上面的圖示，可以看到用BP神經(jīng)網(wǎng)絡預測的效果比較明顯，這說明該模型適用于短期預測嗎，股市的波動在很多地區(qū)都是非常劇烈的，各種因素的綜合作用也使得長期股指的變動具有極大的不確定性，使得預測變得很困難。而BP網(wǎng)絡的算法原理和自學習的特點使其能夠充分挖掘出隱含在樣本數(shù)據(jù)中的規(guī)律性，實現(xiàn)從輸入空間到輸出空間的非線性映射，對樣本數(shù)據(jù)進行精確的擬合。從而BP神經(jīng)網(wǎng)絡的方法對于股市上的一些很難看出規(guī)律的數(shù)據(jù)列的預測而言，無疑是一個比較精確的預測方法。

4.結(jié)論

本文介紹了股市的特點以及股市預測的困難性，提出了利用BP神經(jīng)網(wǎng)絡的方法來解決股市預測問題。文章介紹了BP神經(jīng)網(wǎng)絡算法的基本原理，BP神經(jīng)網(wǎng)絡算法的優(yōu)化，BP神經(jīng)網(wǎng)絡模型識別及步驟，最后后以上海證券交易所每日股票價格收盤指數(shù)為分析對象，把原理應用于實際，利用BP神經(jīng)網(wǎng)絡對股票價格收盤指數(shù)進行了短期預測，并計算出預測值和實際值的誤差。通過實驗發(fā)現(xiàn)該模型收斂速度快，預測精度非常高，對預測短周期內(nèi)股指波動具有較強的適用性。

參考文獻

[1]高琴.人工神經(jīng)網(wǎng)絡在股市預測模型中的應用[J].微電子學與計算機,2007年第24卷第11期.

[2]周翠紅,路邁西.線性回歸與人工神經(jīng)網(wǎng)絡預測煤炭發(fā)熱量[J].煤炭科學技術,第37卷第12期.

[3]尹慶雙,奉瑩.人工神經(jīng)網(wǎng)絡在第三產(chǎn)業(yè)就業(yè)分析中的應用[J].人口與經(jīng)濟,2009年第6期.

[4]鄒文安,劉寶,姜波,楊春生.基于Excel 技術平臺人工神經(jīng)網(wǎng)絡BP模型及應用[J].水文,第30卷第1期.

[5]康進,劉敬偉.非參數(shù)回歸估計與人工神經(jīng)網(wǎng)絡方法的預測效果比較[J].統(tǒng)計與決策,2009年第23 期.

[6]楊本昭,田耕.基于人工神經(jīng)網(wǎng)絡的客戶價值分類研究[J].科技管理研究,2007年第12期.

第8篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

關鍵詞：熱舒適度；預測；反向傳播神經(jīng)網(wǎng)絡；粒子群優(yōu)化算法；模型

中圖分類號： TP183

文獻標志碼：A

Abstract： Aiming at the problem that thermal comfort prediction， which is a complicated nonlinear process， can not be applied to realtime control of air conditioning directly， this paper proposed a thermal comfort prediction model based on the improved Particle Swarm OptimizationBack Propagation （PSOBP） neural network algorithm. By using PSO algorithm to optimize initial weights and thresholds of BP neural network， the problem that traditional BP algorithm converges slowly and is sensitive to the initial value of the network was improved in this prediction model. Meanwhile， for the standard PSO algorithm prone to premature convergence， weak local search capabilities and other shortcomings， this paper put forward some improvement strategies to further enhance the PSOBP neural network capabilities. The experimental results show that， the thermal comfort prediction model based on the improved PSOBP neural network algorithm has faster algorithm converges and higher prediction accuracy than the traditional BP model and standard PSOBP model.

Key words： thermal comfort； prediction； Back Propagation （BP） neural network； Particle Swarm Optimization （PSO） algorithm； model

0引言

近年來，單純以室內(nèi)溫度為控制目標的空調(diào)系統(tǒng)已無法滿足人們對舒適度的要求，而以人體熱舒適度為控制目標的空調(diào)系統(tǒng)，不僅能提高室內(nèi)人員的舒適度，還能減少建筑能耗[1-2]。在該空調(diào)控制系統(tǒng)中，準確預測空調(diào)房間內(nèi)的熱舒適度成為了關鍵部分。

隨著智能優(yōu)化算法的發(fā)展，近年來，學者們提出了不少熱舒適度預測算法。文獻[3-4]均提出了基于模糊聚類的室內(nèi)熱舒適預測方法，該方法盡管降低了算法訓練的復雜度和過擬合度，但其預測誤差較大。為提高預測精度，文獻[5]提出了基于人工神經(jīng)網(wǎng)絡的熱舒適度預測算法，該算法雖然達到了一定預測精度，但該神經(jīng)網(wǎng)絡的訓練卻很復雜。文獻[6]提出的基于反向傳播（Back Propagation， BP）神經(jīng)網(wǎng)絡的舒適度預測算法，降低了網(wǎng)絡訓練的復雜度和預測誤差；但是，該算法對網(wǎng)絡初始權(quán)值和偏置較敏感且易陷入局部最小。文獻[7-8]提出采用粒子群優(yōu)化（Particle Swarm Optimization， PSO）算法BP神經(jīng)網(wǎng)絡的算法，通過利用PSO算法的全局搜索能力，對網(wǎng)絡的初始權(quán)值和偏置進行了優(yōu)化，改善了傳統(tǒng)BP算法收斂速度慢及對網(wǎng)絡初始值敏感的問題，并在數(shù)控機床熱補償和股市預測方面取得了較好的應用效果。因此，本文提出將PSO優(yōu)化BP神經(jīng)網(wǎng)絡的算法應用于熱舒適度預測建模上，并針對標準PSO算法存在的局部尋優(yōu)能力弱、易早熟收斂等缺點，對標準PSO算法的速度更新公式、慣性權(quán)值、加速因子進行了改進。本文采用改進的PSOBP神經(jīng)網(wǎng)絡算法，得到了一種新的熱舒適度預測模型。該模型提高了PSO算法的收斂速度和尋優(yōu)能力，解決了BP網(wǎng)絡對初始值敏感以及收斂速度慢的問題，因此，既提高了模型的預測精度，又提高了算法的收斂速度。

1預測平均投票模型

Fanger教授提出的預測平均投票（Predicted Mean Vote， PMV）指標模型，表征了人體冷熱感的評價指標，代表了大多數(shù)人在同一室內(nèi)環(huán)境下的冷熱感覺的平均。該指標是關于4個環(huán)境變量和2個人體參數(shù)的函數(shù)，變量分別是空氣溫度、空氣相對濕度、空氣流動速度、平均輻射溫度、人體活動程度和衣服熱阻。PMV指標的取值范圍是-3～3，分別對應著人從冷到熱的感覺，其中0代表冷熱感適中狀態(tài)。

3.3改進PSO優(yōu)化BP神經(jīng)網(wǎng)絡預測算法

PSO優(yōu)化BP神經(jīng)網(wǎng)絡的實質(zhì)是利用PSO算法的全局搜索能力，優(yōu)化BP網(wǎng)絡的初始權(quán)值和閾值。具體過程就是BP神經(jīng)網(wǎng)絡通過PSO算法中的粒子，其位置向量代表神經(jīng)網(wǎng)絡的一組權(quán)值和閾值的潛在解，在構(gòu)建好的神經(jīng)網(wǎng)絡中，以訓練樣本集的均方誤差作為適應度函數(shù)，按PSO算法的步驟，經(jīng)迭代尋優(yōu)后，找到使適應度值即均方誤差最小的全局最優(yōu)解的過程，該全局最優(yōu)解就是神經(jīng)網(wǎng)絡的最優(yōu)初始權(quán)值和閾值。

改進的PSOBP神經(jīng)網(wǎng)絡預測算法主要包括以下部分：樣本數(shù)據(jù)準備，構(gòu)建BP神經(jīng)網(wǎng)絡，利用PSO優(yōu)化網(wǎng)絡的初始權(quán)值和閾值，訓練優(yōu)化后的網(wǎng)絡。該算法的具體步驟如下：

步驟1收集和準備樣本數(shù)據(jù)。根據(jù)傳統(tǒng)的PMV數(shù)學模型的輸入變量范圍，以及熱舒適度模型的實際應用情況，獲取一定數(shù)量的樣本數(shù)據(jù)，并經(jīng)預處理后作為神經(jīng)網(wǎng)絡的訓練樣本和測試樣本數(shù)據(jù)。

步驟2構(gòu)建BP神經(jīng)網(wǎng)絡。根據(jù)傳統(tǒng)模型及樣本數(shù)據(jù)形式，確定神經(jīng)網(wǎng)絡層數(shù)，各層節(jié)點數(shù)，及隱含層、輸出層的激活函數(shù)。

4.2BP網(wǎng)絡構(gòu)建及PSO參數(shù)設置

由于三層的BP神經(jīng)網(wǎng)絡能任意逼近任何非線性函數(shù)，因此，本文采用三層的BP神經(jīng)網(wǎng)絡建立舒適度預測模型。根據(jù)樣本數(shù)據(jù)的輸入輸出向量可確定網(wǎng)絡的輸入層節(jié)點數(shù)為6，輸出層節(jié)點數(shù)為1；通過反復仿真嘗試，隱含層節(jié)點數(shù)確定為10，即BP網(wǎng)絡的結(jié)構(gòu)最終確定為6101結(jié)構(gòu)。BP神經(jīng)網(wǎng)絡的其他參數(shù)設置如下：最大步數(shù)1000，學習率0.01，學習目標0.001。隱含層激活函數(shù)為S型函數(shù)，輸出層激活函數(shù)為線性函數(shù)。

根據(jù)上述確定的BP網(wǎng)絡結(jié)構(gòu)，PSO算法搜索空間維數(shù)D=6×10+10×1+10+1=81；種群規(guī)模M為40；最大迭代次數(shù)為160；最小訓練誤差為0.001；學習因子c1、c2的初始值分別為2.75，0.5，最終值分別為1.25，2.25；慣性權(quán)重w初始值和最終值分別為0.9，0.4；粒子的最大速度為1。

4.3仿真結(jié)果及討論

本文在Matlab 7.11版本下，采用Matlab語言編寫算法程序，結(jié)合Matlab神經(jīng)網(wǎng)絡工具箱，利用上述的參數(shù)設置及樣本數(shù)據(jù)構(gòu)建了基于改進的PSOBP神經(jīng)網(wǎng)絡的熱舒適度預測模型。為了證明本文算法預測模型性能的優(yōu)越性，本文采用同樣的樣本數(shù)據(jù)與參數(shù)設置，對改進的PSOBP預測模型、PSOBP模型和BP模型均進行了仿真。圖3中（a）、（b）、（c）分別給出了3種預測模型的訓練誤差隨迭代次數(shù)變化的曲線。圖4中（a）、（b）、（c）分別給出了3種預測模型對60組測試樣本的預測值與期望值的相關曲線以及絕對誤差曲線。表1給出了3種預測模型的迭代次數(shù)、均方誤差和最大絕對誤差對比。

從圖3和表1中可看出，3種預測模型均經(jīng)有限的迭代次數(shù)達到收斂狀態(tài)，但改進的PSOBP預測模型的收斂速度比PSOBP模型和BP模型快。從圖4和表1中可看出，改進的PSOBP預測模型的預測精度明顯高于PSOBP模型和BP模型。

5結(jié)語

上述實驗仿真說明，采用PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡的初始權(quán)值和閾值后，改善了傳統(tǒng)BP算法收斂速度慢及對網(wǎng)絡初始值敏感的問題，提高了模型的精度和算法的收斂速度；而且，改進的PSOBP模型比標準PSOBP模型的預測精度更高且收斂速度更快，由此可知，本文的改進策略通過改善標準PSO的早熟收斂和局部尋優(yōu)能力弱等問題，進一步提高了PSO算法對BP神經(jīng)網(wǎng)絡的優(yōu)化能力。

本文的熱舒適度預測模型，是以傳統(tǒng)的PMV數(shù)學模型為基礎，以PSOBP神經(jīng)網(wǎng)絡算法建模來逼近傳統(tǒng)的PMV數(shù)學模型而建立的。實驗結(jié)果證明，本文熱舒適度預測模型不僅解決了傳統(tǒng)模型中計算復雜、不便于實時控制應用的難題，還提高了模型的預測精度和算法收斂速度。

參考文獻：

[1]DUAN P， LIU C， DUAN C， et al. Indoor dynamic thermal comfort control method based on particle swarm optimization [J]. Information and Control， 2013， 42（1）： 100-110.（段培永，劉聰聰，段晨旭，等.基于粒子群優(yōu)化的室內(nèi)動態(tài)熱舒適度控制方法[J].信息與控制，2013，42（1）：100-110.）

[2]YANG C， ZHANG Q， YANG J， et al. Analysis of comfort and energyconsumption on temperature control airconditioning system [J]. Journal of Hunan UniversIty， 2012， 39（5）： 18-22.（楊昌智，張清琳，楊菊菊，等.定溫控制空調(diào)系統(tǒng)的舒適性及節(jié)能性分析[J].湖南大學學報，2012，39（5）：18-22.）

[3]XU Y， CHEN X， WANG L， et al. Forecast method based on fuzzy causation clustering for indoor thermal comfort [J]. Chinese Journal of Scientific Instrument， 2006， 27（6）： 850-852.（徐遠清，陳祥光，王麗，等.一種基于模糊因果聚類的室內(nèi)熱舒適預測方法[J].儀器儀表學報，2006，27（6）：850-852.）

[4]XU W， CHEN X， PENG H， et al. PMV index forecasting system based on fuzzy Cmeans clustering and suport vector machine [J]. Systems Engineering――Theory and Practice， 2009， 29（7）： 119-124.（徐薇，陳祥光，彭紅星，等.基于模糊C均值聚類與支持向量機的PMV指標預測系統(tǒng)[J].系統(tǒng)工程理論與實踐，2009，29（7）：119-124.）

[5]CASTILLA M， ALVAREZ J D， ORTEGA M G， et al. Neural network and polynomial approximated thermal comfort models for HVAC systems [J]. Building and Environment， 2013， 59： 107-115.

[6]ATTHAJARIYAKUL S， LEEPHAKPREEDA T. Neural computing thermal comfort index for HVAC systems [J]. Energy Conversion and Management， 2005， 46（15）： 2553-2565.

[7]REN B， REN X， LI G. Thermal error compensation for CNC machine tools based on PSOBP neural network [J]. Machine Tool and Hydraulics， 2013， 41（3）： 59-61.（任兵，任小洪，李國志.基于PSO算法優(yōu)化BP神經(jīng)網(wǎng)絡的數(shù)控機床熱補償[J].機床與液壓，2013，41（3）：59-61.）

[8]AI Y， ZHU W， YAN D. Stock market forecast model based on PSOBP neural network [J]. Journal of Computer Applications， 2008， 28（12）： 105-108.（艾永冠，朱衛(wèi)東，閆冬.基于PSOBP神經(jīng)網(wǎng)絡的股市預測模型[J].計算機應用，2008，28（12）：105-108.）

[9]LI S， LIU L， LIU Y. Prediction for chaotic time series of optimized BP neural network based on modified PSO [J]. Computer Engineering and Applications， 2013， 49（6）： 245-249.（李松，劉力軍，劉穎鵬.改進PSO優(yōu)化BP神經(jīng)網(wǎng)絡的混沌時間序列預測[J].計算機工程與應用，2013，49（6）：245-249.）

[10]LIAN Z， JIAO B. Particle swarm optimization algorithm with mixed search [J]. Control Theory and Applications， 2010， 27（10）： 1404-1410.（連志剛，焦斌.一種混合搜索的粒子群算法[J].控制理論與應用，2010，27（10）：1404-1410.）

[11]GUO W， CHEN G. Discrete particle swarm optimization algorithm and its application [M]. Beijing： Tsinghua University Press， 2012： 5-6.（郭文忠，陳國龍.離散粒子群優(yōu)化算法及其應用[M].北京：清華大學出版社，2012：5-6.）

第9篇：訓練神經(jīng)網(wǎng)絡的優(yōu)化方法范文

摘要:

高軌衛(wèi)星是我國衛(wèi)星導航系統(tǒng)的重要組成部分。提升該類衛(wèi)星的軌道預報精度有利于用戶定位精度的提高。提出了一種改進高軌衛(wèi)星軌道預報精度的新方法。該方法避開了精化動力學模型的困難，嘗試從軌道預報誤差的規(guī)律中尋找突破。利用神經(jīng)網(wǎng)絡作為建立預報模型的工具，將某歷史時刻的軌道預報誤差作為訓練樣本，利用訓練好的神經(jīng)網(wǎng)絡模型補償當前時刻的預報軌道以提高軌道預報精度。對影響神經(jīng)網(wǎng)絡模型補償效果的各因素進行了詳細分析，制定了適應于高軌衛(wèi)星短期、中期和長期預報的神經(jīng)網(wǎng)絡最優(yōu)模型。利用實測數(shù)據(jù)進行了試驗分析，結(jié)果表明:預報8，15及30d應選擇的訓練步長分別為10，20及25min；軌道預報8~30d時，訓練噪聲均選取0.01。神經(jīng)網(wǎng)絡模型有效地改進了高軌衛(wèi)星的軌道預報精度，預報4~30d，軌道精度提高幅度為34.67％~82.37％不等。

關鍵詞:

神經(jīng)網(wǎng)絡；軌道預報；訓練噪聲；訓練步長；地球靜止軌道衛(wèi)星；傾斜地球同步軌道衛(wèi)星

高軌衛(wèi)星在我國的航天系統(tǒng)中應用十分廣泛。特別是我國的衛(wèi)星導航系統(tǒng)BDS(Beidousystem)，其主要包括GEO衛(wèi)星和IGSO衛(wèi)星。導航衛(wèi)星星歷的精度是定位精度的基礎，而廣播星歷本身便是軌道預報的結(jié)果。預報精度問題是制約BDS衛(wèi)星導航系統(tǒng)服務性能的關鍵因素，因此有必要對導航系統(tǒng)中的高軌衛(wèi)星軌道預報精度展開研究[1]。改進軌道預報精度的一種方法是建立更加精準的動力學模型[2￣3]。然而由于該方法需要長期精密軌道數(shù)據(jù)的支撐，周期長、難度大。改進軌道預報精度的另一種方法可以從軌道預報誤差的規(guī)律中尋找突破[4]。神經(jīng)網(wǎng)絡作為一種新興的建模工具，特點在于處理高維性、非線性的問題時不需要準確知道輸出輸入函數(shù)的結(jié)構(gòu)參數(shù)。只要通過訓練來掌握它們之間的內(nèi)在關系，在輸入訓練集以外的數(shù)據(jù)時，神經(jīng)網(wǎng)絡可以獲得它們之間正確的映射關系。該方法的優(yōu)勢在于不確定性系統(tǒng)的控制和預測。目前在軌道預報中使用神經(jīng)網(wǎng)絡工具的相關研究較少，文獻[5]根據(jù)GPS衛(wèi)星星歷的相關周期特性，以時間系列預報作為基礎，利用神經(jīng)網(wǎng)絡建立預報模型。在沒有任何動力學模型的情況下得到了精度為數(shù)百米(1周)的預報結(jié)果。但是由于將衛(wèi)星位置量直接作為神經(jīng)網(wǎng)絡的輸出，神經(jīng)網(wǎng)絡算法的狀態(tài)量動態(tài)范圍大，限制了預報精度的提高。文獻[6]利用GPS衛(wèi)星精密星歷已知的優(yōu)勢，將神經(jīng)網(wǎng)絡與動力學模型相結(jié)合組成混合預報模型，改進GPS導航衛(wèi)星的中長期預報。該方法可以在一定程度上改進軌道預報精度，但不是每次改進均能成功，存在改進失效的情況。針對高軌衛(wèi)星的高精度軌道預報這一難題展開研究。以神經(jīng)網(wǎng)絡作為建立預報模型的工具，在動力學模型基礎上建立神經(jīng)網(wǎng)絡模型，通過對歷史時刻預報誤差的學習及訓練，掌握其變化規(guī)律，再用于補償和改進當前時刻的預報軌道，以達到提高預報精度的目的。針對神經(jīng)網(wǎng)絡訓練及補償特性，分析了不同因素對神經(jīng)網(wǎng)絡模型性能的影響?；诖酥贫硕?、中、長期軌道預報的最優(yōu)模型，最后利用不同類型衛(wèi)星進行了試驗分析。

1基于BP神經(jīng)網(wǎng)絡的軌道預報算法

BP神經(jīng)網(wǎng)絡是一種多層網(wǎng)絡的“逆推”學習算法[7￣9]。利用神經(jīng)網(wǎng)絡進行軌道預報分為訓練和補償兩個階段。在訓練階段，采用拼接方法得到一條長時間的精密軌道，用于衡量動力學模型預報誤差及神經(jīng)網(wǎng)絡模型的訓練誤差。針對拼接處小量級的跳躍現(xiàn)象，采用Robust￣loess數(shù)值濾波方法進行軌道預報誤差平滑[10]。由于預報軌道和預報誤差為訓練樣本，故需要對兩者的特性進行分析。同時神經(jīng)網(wǎng)絡模型參數(shù)在一定程度上影響神經(jīng)網(wǎng)絡的訓練效果，因此有必要對影響神經(jīng)網(wǎng)絡模型的一些關鍵因素進行分析，以確定最優(yōu)的神經(jīng)網(wǎng)絡模型。在補償階段，將當前時刻的預報軌道X(T)和V(T)作為神經(jīng)網(wǎng)絡模型的輸入；將利用函數(shù)f(X，V)計算得到神經(jīng)網(wǎng)絡模型的輸出作為當前時刻預報軌道的補償值ΔXNN(T)，將改進后的預報軌道X(T)和V(T)作為最終軌道輸出。在神經(jīng)網(wǎng)絡具體應用中，為了提高網(wǎng)絡性能以完成預定任務，需要認真考慮訓練集預處理、網(wǎng)絡結(jié)構(gòu)設定以及訓練算法等內(nèi)容。網(wǎng)絡的性能主要表現(xiàn)在訓練效率及泛化能力。泛化能力是指辨識訓練樣本中所隱藏的規(guī)律并且當被輸入樣本以外數(shù)據(jù)時，網(wǎng)絡能正確地反應這種規(guī)律的能力。關于網(wǎng)絡泛化能力的相關討論及改進措施，已有文獻進行了比較詳實的總結(jié)。這里涉及到的方法主要包括下列3個方面:一是處理訓練樣本的方法[11]，將神經(jīng)網(wǎng)絡的訓練樣本進行歸一化處理，使其在[－1，1]變化，以提高神經(jīng)網(wǎng)絡的性能；二是訓練步長的選??；三是增加隨機噪聲[12￣13]。

2不同因素對神經(jīng)網(wǎng)絡模型性能的影響

分別針對預報軌道和預報誤差特征、訓練步長的選擇、訓練噪聲的大小對神經(jīng)網(wǎng)絡模型性能的影響進行討論。

2.1預報軌道和預報誤差的特征分析

2.1.1中長期預報軌道和預報誤差特征將短期軌道預報弧長定位為1~13d，中期軌道預報弧長為14~27d，長期軌道預報弧長大于27d。以某初始時刻的預報誤差作為訓練樣本訓練得到的神經(jīng)網(wǎng)絡可以對其他初始時刻的預報軌道提供補償，但前提是兩個初始時刻的預報誤差數(shù)值大小及波形圖要相近。對GEO衛(wèi)星的預報誤差進行時間序列分析，結(jié)果可以看出，預報誤差最大值呈現(xiàn)以14d為周期的變化規(guī)律；IGSO衛(wèi)星具有相同的特征。文中選取的訓練弧長與當前時刻的軌道預報弧長相等。對于中長期軌道預報可以采用以下方案:假設預報弧長為md(14n≤m≤14(n＋1)，n≥1)，用當前時刻起14(n＋1)d之前那天的預報誤差和預報軌道作為訓練樣本，訓練弧長為md，訓練得到神經(jīng)網(wǎng)絡模型。采用神經(jīng)網(wǎng)絡模型計算得到的補償誤差波形對當前的預報誤差進行補償。對于短期預報，由于預報弧長小于14d，其軌道預報方案中還考慮了預報誤差波形的最佳匹配。即充分結(jié)合預報誤差和預報軌道的動力學特性，建立了一個訓練樣本集。根據(jù)當前時刻的預報誤差波形變化特征在樣本集中搜索最佳訓練樣本，實現(xiàn)兩者波形變化的最優(yōu)匹配，從而實現(xiàn)最優(yōu)的補償效果。在中長期預報中未采用波形匹配算法的主要原因是，需要兼顧工程應用中的實時性，波形匹配耗時較長。

2.1.2短期預報中的波形匹配算法航天器是一個受攝動力系統(tǒng)，其初值不穩(wěn)定性使得利用不同初始軌道得到的預報軌道和預報誤差的特性均不同。這就導致不同初始時刻的預報誤差并無規(guī)律。為了實現(xiàn)最佳的神經(jīng)網(wǎng)絡模型補償效果，必須找到與當前時刻預報誤差變化波形最為相近的歷史時刻中的一條預報軌道。采用歷史時刻的預報軌道和預報誤差作為訓練樣本，訓練得到神經(jīng)網(wǎng)絡模型。在實際工程應用中，因為當前時刻之后的預報弧段中的精密軌道無法獲取，故不能獲得當前時刻的預報誤差波形變化規(guī)律，所以并不能直接通過預報誤差波形比對來尋找補償當前時刻預報軌道的訓練樣本。但是基于動力學模型外推可以得到當前時刻的預報軌道，如果能找到預報軌道與預報誤差之間的波形變化對應關系，就可得到當前時刻的預報誤差波形變化規(guī)律。由于預報誤差的變化周期與軌道周期相同，對于GEO/IGSO衛(wèi)星均為1d，通過對比預報誤差波形變化最大值和最小值出現(xiàn)的時刻，搜尋得到用于補償當前時刻預報誤差的訓練樣本。由于預報軌道在數(shù)值上遠遠大于預報誤差，為了便于分析問題，將兩者進行歸一化處理，即分別將兩者除以各自的最大值，這樣它們就在±1之間變化。圖2和圖3分別給出了某GEO衛(wèi)星和某IGSO衛(wèi)星在2013年第23天預報8d的軌道與相應的預報誤差之間的對應關系。其中，橫坐標表示預報時間，單位為d；縱坐標表示歸一化后的數(shù)值，無量綱。1)對于兩種類型的衛(wèi)星，在J2000坐標系中X和Y軸方向，當預報軌道X/Y＝0時，對應時刻的預報誤差為最大值(峰值)或最小值(谷值)。預報軌道從正值變化為負值經(jīng)過零值的時刻對應著預報誤差的峰值，從負值變化為正值經(jīng)過零值的時刻則對應著預報誤差的谷值。2)在Z軸方向，GEO衛(wèi)星的預報軌道和預報誤差之間并無明顯的對應關系；IGSO衛(wèi)星存在與X/Y軸相同的對應關系。將作為訓練樣本的預報誤差選擇定義在J2000坐標系中，主要是因為在該坐標系中預報誤差的規(guī)律性強，并且與預報軌道之間存在一定的對應關系。

2.2訓練步長對預報精度的影響預報誤差改進率的計算公式如下。以某GEO衛(wèi)星為例，表1給出了不同預報弧長、不同訓練步長下利用神經(jīng)網(wǎng)絡模型得到的預報誤差改進率。分析表1中的數(shù)據(jù)可以看出下列3點。1)訓練步長越小，神經(jīng)網(wǎng)絡模型的改進率就越高。2)預報弧長的長度與對訓練步長的敏感度成反比，即弧長越長，訓練步長的延長對改進率的影響就越小。訓練步長從5min延長至40min，預報8，15和30d的改進率分別降低5.68％，3.9％和1.36％。3)由于訓練步長越小，訓練時間越長，因此改進率與訓練時間是一對矛盾體。從綜合改進率和訓練時間的要求考慮，即改進率應盡可能高，而訓練時間應盡可能短。故預報8，15和30d應選擇的訓練步長分別為10，20和25min。

2.3訓練噪聲對預報精度的影響以某初始時刻的軌道預報誤差(稱為訓練值)作為訓練樣本訓練神經(jīng)網(wǎng)絡模型，用其補償另一個初始時刻利用動力學模型外推得到的預報誤差(稱為期望值)。如果訓練值和期望值在同一時刻吻合的很好，那么利用神經(jīng)網(wǎng)絡模型一定能很好地修正動力學模型的預報誤差。以某GEO衛(wèi)星軌道預報8d為例，圖4給出了采用不同噪聲值時訓練值和期望值之間的吻合關系。分為無噪聲、噪聲為0.01、噪聲為0.05和噪聲為0.10共4種情況。從圖4中可以看到，不加噪聲時訓練值與其期望值的差別較大，因此應加入訓練噪聲以提高神經(jīng)網(wǎng)絡的泛化能力；加入噪聲后訓練值與期望值吻合的較好，但無法區(qū)分噪聲值為多大時預報精度最高。表2給出了采用不同訓練噪聲時，經(jīng)神經(jīng)網(wǎng)絡模型補償后的軌道預報誤差最大值的統(tǒng)計結(jié)果。其中原始預報誤差為未進行補償時的采用動力學模型外推得到的預報誤差。表2不同訓練噪聲下的預報分析表2中數(shù)據(jù)可以看出下列兩點。1)無噪聲時，前4d無改善，精度反而降低；預報8d及更長弧段時預報誤差略有改善，故應加入訓練噪聲。2)增加噪聲后，噪聲從0.001~0.100的變化對預報精度的改進幅度相當。但從總體來看，噪聲越小，前6d的預報精度越高；但預報8d以及更長弧段時噪聲為0.010的預報誤差最小，故應選擇訓練噪聲為0.010。

3試驗結(jié)果及分析

根據(jù)上述短、中、長期軌道預報方案，并結(jié)合不同神經(jīng)網(wǎng)絡模型參數(shù)的優(yōu)化設計分析，給出了利用神經(jīng)網(wǎng)絡模型進行軌道預報的試驗結(jié)果。通過與精密星歷比對可以分別得到動力學模型和神經(jīng)網(wǎng)絡模型的預報精度。表3列出了BDS系統(tǒng)中兩顆GEO、三顆IGSO共5顆衛(wèi)星在2013年第23天利用神經(jīng)網(wǎng)絡模型和動力學模型外推得到的預報誤差(其中NN代表神經(jīng)網(wǎng)絡模型；Dyn代表動力學模型)。Sat02衛(wèi)星由于軌道機動未能統(tǒng)計其中長期預報結(jié)果。表3中誤差是在一定弧段內(nèi)預報誤差的最大值。從表3可得，神經(jīng)網(wǎng)絡模型1d預報誤差有時會大于動力學模型的預報誤差；但預報4，8，15及30d各衛(wèi)星采用神經(jīng)網(wǎng)絡模型補償后的預報精度均有所提高。這主要因為1d的預報弧段規(guī)律性不強，不利于神經(jīng)網(wǎng)絡模型的學習及訓練。隨著弧段的增長，訓練樣本的規(guī)律性增強，神經(jīng)網(wǎng)絡模型的補償效果有所提高。為了更好地衡量神經(jīng)網(wǎng)絡模型的改進效果，給出各衛(wèi)星的預報精度提高幅度，其與預報誤差改進率的計算公式相同。表4給出了各衛(wèi)星經(jīng)神經(jīng)網(wǎng)絡模型補償后的預報精度提高幅度。從表4中可以看出，預報4d各衛(wèi)星的軌道精度改進幅度為40.25％~60.31％；預報8d各衛(wèi)星的軌道精度改進幅度為63.28％~72.59％；預報15d改進幅度為47.01％~82.37％；預報30d改進幅度為34.67％~82.35％?？梢娚窠?jīng)網(wǎng)絡模型在改進軌道預報誤差中的作用顯著。

4結(jié)論