神經網絡過擬合的表現精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡過擬合的表現主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡過擬合的表現范文

關鍵詞：BP神經網絡；RBF神經網絡；損傷識別；損傷預測

Abstract:In this paper, the BP neural network and the RBF neural network are compared combined with practical engineering examples. The analysis result shows that the RBF neural network was closer to the actural working conditions of structure.Then， the Least squares method was used to fit and predict the deflection damage parameters.Finally, the predicted data was recognised by using RBF neural network, to achieve the objectve of prevention.

Keywords: BP neural network; RBF neural network; damage recognition; damage prediction

中圖分類號：TU74文獻標識碼：A 文章編號：

目前，神經網絡由于自身的特性，在損傷模式識別領域中有著越來越廣泛的應用。當橋梁結構出現損傷時，結構中的各個參量或部分參量將表現出與正常狀態下的不同特征。橋梁損傷識別的主要任務就是如何找到損傷的特征描述，并利用其進行損傷診斷和結構安全度的評估。前向BP網絡和RBF網絡的學習算法屬于有教師型的。這種算法模型具有很好的推廣能力，用于損傷模式識別的效果比較好。訓練好的BP網絡和RBF網絡計算速度快、內存消耗低，可用于實時監測和診斷。以下，著重介紹BP網絡和RBF網絡。

1基于BP算法的多層前饋網絡模型

采用BP算法的多層前饋網絡是至今為止應用最廣泛的神經網絡，BP網絡是一種具有三層或三層以上的神經網絡，包括輸入層、中間層（隱層）和輸出層。上下層之間實現全連接，而每層神經元之間無連接。在多層前饋網絡的應用中，以單隱層網絡的應用最為普遍。一般習慣將單隱層前饋網絡稱為三層前饋網或三層感知器。

2徑向基函數（RBF）網絡

徑向基函數（Radial-Basis Function，RBF）網絡包括三層，輸入層由信號源節點（感知單元）組成，它們將網絡與外界環境連結起來；徑向基隱層含S1個神經元，線性輸出層含S2個神經元。分別是兩層網絡的權值和閾值；S1、S2是兩層的神經元的個數；是兩層的輸出；P是輸入；下標表示量的行列數。隱層中的神經元采用徑向基傳遞函數()。輸出層中的神經元采用線性傳遞函數()。

3小溝橋橋跨結構損傷識別模型

小溝橋的各個子系統運行以來，工作狀態良好，性能可靠。經過比對實驗，該系統能夠真實的反映橋梁的各個待測參數，并且具有自動歸納分類的功能。小溝橋右幅橋在某兩年24個月的數據訓練樣本格式為，輸入向量依次為撓度、振動、應力、溫度、載重、通行量，目標向量是撓度和應變兩項的期望輸出值（“0”表示完好狀態，“1”表示危險狀態）。同時，對模型進行損傷仿真的模擬訓練。接下來，借助于MATLAB7里所對應的神經網絡工具箱，分別用BP網絡和RBF網絡對以上表1所規定的數據樣本進行網絡訓練。

3.1基于BP網絡的損傷識別

由于網絡輸入變量已經確定，需要進行歸一化處理，這里將其變換在[0，1]的范圍內，經過歸一化處理的數據對于神經網絡更容易訓練和學習。利用以下代碼來創建以上剛剛設計的網絡。

Threshold=[01;01; 01;01;01;01]

net=newff(threshold,[13,2],{‘tansig’,‘logsig’},‘trainlm’)；

其中，變量threshold定義了輸入向量的最大值和最小值。接下來，對所建網絡進行訓練，通過調整，使網絡的輸出誤差達到最小，滿足實際應用的要求。訓練函數trainlm是利用Levenberg-Marquardt算法對網絡進行訓練的。

網絡訓練結果為：

TRAINLM, Epoch 0/1 000, MSE 0.471 248/0.001, Gradient 2.116 8/1e−010

TRAINLM, Epoch 19/1 000, MSE 0.000 158 792/0.001, Gradient 0.037 399 1/1e−010

TRAINLM, Performance goal met.

經過19次訓練后，網絡的性能就達到了要求，并利用原始樣本輸入數據進行網絡訓練，得到逼近誤差曲線。

3.2基于RBF網絡的損傷識別

利用函數newrb創建一個徑向基神經網絡，調用格式為：

[net,tr]=newrb(P,T,GOAL,SPREAD,MN,DF)；

在網絡設計過程中，需要用不同的SPREAD值進行嘗試，以確定一個最優值。最終，確定網絡創建函數為：net=newrb (P, T, 0,0.2,25,5)；

通過上述代碼，創建了一個目標誤差為0、徑向基函數分布密度為0.2、中間層神經元個數最大值為25、顯示間隔為5的RBF網絡。當中間層神經元個數增至25時，網絡輸出的誤差SSE已經非常小了，數量級為10−31。

以訓練樣本對上面建立的RBF網絡進行測試，得到逼近誤差曲線數量級為10−16。因此，可以判定經過訓練后，網絡是可以滿足要求的。

3.3BP網絡和RBF網絡比對

綜合對比兩種網絡的訓練誤差、逼近誤差等，發現BP網絡由于收斂速度慢、較長的訓練時間、網絡往往存在很大的冗余性，在一定程度上增加了網絡學習的負擔，并且網絡的學習和記憶具有不穩定性。因此，BP網絡明顯不如RBF網絡，認為用RBF網絡更能準確地評估橋跨結構的損傷，接近于實際工作狀態。

3.4最小二乘擬合的Matlab設計與實現

Matlab軟件是集數值計算、符號運算及出色的圖形處理、程序語言設計等強大功能于一體的科學計算語言。由于撓度是橋梁工作性能的一個重要參數，它更加直接地反應了橋梁結構的工作狀況，所以接下來以撓度數據為例運用最小二乘法進行曲線擬合，并預測。

確定參量的測量值：

=[1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9]；

=[11.83 12.48 11.84 11.97 11.76 11.48 11.68 11.89 12.57 11.49 11.52 11.59 11.45 11.61 11.53 11.83 12.52 12.41 12.13 11.95 12.26]；

用Matlab語言中的plot函數的曲線散點趨勢圖，以此圖對比典型曲線圖，選擇合適的經驗公式，確定多項式的擬合次數，多次實驗后，確定為4；

Matlab系統設計polyfit函數采用最小二乘法原理對給定的數據組進行多項式擬合，最后給出擬合的多項式系數，溫度擬合曲線的多項式為：

并擬合接下來的兩個月的撓度值；

同理，對振動、應力、溫度、載重、通行量項目的數據進行擬合。

3.5對預測數據進行損傷評估

以表3中最后兩列的預測數據作為輸入量，即

p_test=[12.11 3.31 0.91 7.66 162.9534 30.5539;

11.93 3.32 0.92 −3.12 162.6354 30.5567]；

經過歸一化處理后為P_test，利用先前所建立的RBF網絡來進行損傷評估，y=sim(net,P_test)；

得到兩個指標的損傷指數分別為：[0.2187e−0080.0001e−008；−0.0144e−0080.0629e−008]，數量級為10−8，接近于“0”，表明結構在接下來的兩個月應該處于完好狀態。

4結束語

針對小溝橋的歷史數據，分別用BP網絡和RBF網絡對樣本數據進行損傷訓練、測試。綜合對比后，采用RBF網絡對橋跨結構進行損傷評估，并作為后續對橋梁結構進行整體評估的兩個底層指標。

采用最小二乘法對24個月以來的歷史數據進行曲線擬合，預測出后續的兩組數據；然后對預測出來的兩組數據進行損傷識別，得出兩個指標的損傷指數，從而真正達到預測，進而達到預防的目的。

參考文獻：

[1] 飛思科技產品研發中心.神經網絡理論與MATLAB7實現[M].北京：電子工業出版社，2005.3：89~108

[2] 胡伍生.神經網絡理論及其工程應用[M].北京：測繪出版社，2006：63~83

[3] 王可，毛志.基于Matlab實現最小二乘曲線擬合[J].北京廣播學院學報(自然科學版)，2002，12(2)：52~56

[4] 李麗，王振領.MATLAB工程計算機應用[M].北京：人民郵電出版社，2001

第2篇：神經網絡過擬合的表現范文

關鍵詞: 鐵路交通; 信息預測; 數據融合; 神經網絡

在城市地鐵交通中，各車站交通流量信息(如候乘數量、下車數量等) 的準確預測有利于地鐵運行高效、及時地調度，從而既達到增加效益的經濟目的，又可以更好地滿足人們的乘車需求。傳統的預測方法有回歸分析算法以及Kalman 濾波等。這些方法假定過程是平穩的，系統是線性的，系統的干擾是白噪聲，因此在線性系統平穩的隨機時間序列預測中能夠獲得滿意的結果。然而，交通問題是有人參與的主動系統，具有非線性和擾動性強的特征，前述方法難以奏效，表現為以下缺點: ① 每次采樣的數據變化較小時適用，數據變化大誤差就大; ② 預測值的變化總是滯后于實測值的變化; ③ 無法消除奇異信息的影響。基于小波分析的動態數據預測方法以小波變換后的數據進行預測，克服了傳統預測方法不能消除奇異信息的缺點， 有效地預測動態的流量信息[ 1 ] 。但該方法只能對單個的數據序列進行處理，而事實上能夠用于預測的數據可以是多方面的。

數據融合(Data2Fusion) 技術起源并發展于軍事領域，主要用于目標的航跡跟蹤、定位與身份識別以及態勢評估等[ 2 ] 。傳統的數據融合技術大多采用概率理論(如Bayes 決策理論) 對多種信息的獲取與處理進行研究，從而去掉信息的無用成分，保留有用成分[ 3 ] 。在信息處理中，分別運用各種體現數據不同屬性特征的方法處理(如預測) 后進行融合是一個有待深入研究的問題。為了充分利用各方面已有的數據，獲得可靠的交通流量動態預測，本文借鑒數據融合的基本思想，提出了在數據處理方法上的融合預測方法。

1 　流量融合預測模型

1. 1 　預測模型的結構

由于預測對象的復雜性，為了表現與預測對象相關聯的其他對象或屬性，每個關聯對象(屬性) 用一個時間序列來表示，作為預測對象的相關序列。所有用于預測的相關序列構成預測對象的相關序列集。由于在預測中具有不同的作用，各相關序列將使用不同的處理和預測方法。在相關序列集上的地鐵客流量融合預測模型結構，如圖1 所示。

下面針對城市地鐵車站客流量的預測進行論述。

1. 2 　構造相關序列集

為了預測車站(序號為0)在第i 天t 時刻的流量^F0 i(t) ( 實測值為F0 i(t)) ，設t 時刻^F0 i(t)的相關時間序列集為f(t) = {fj(t) ，1 ≤ j ≤ n} ( 1 ) 式中，fj(t)為t時刻^F0 i(t)的相關時間序列; n 為相關時間序列數。

為了獲得精確的預測，可以根據關聯特性構造任意多個相關時間序列。本文意在闡明本算法的基本思想，將流量數據僅僅構造為3 類相關序列:當前序列、歷史序列和鄰站序列。

當前序列　預測時刻t之前本站最近k次流量按時間先后記錄下來的數據構成的時間序列為當前序列，即

f1 (t) = { F0 i(t -l)，1 ≤ l ≤ k} ( 2 )

該序列數據的主要影響因素是時刻，同時還受人為、氣溫、天氣等其他擾動因素的影響，數據分布的非線性特性較大，頻帶較寬。第l 班列車的流量如圖2 所示。

歷史序列　同為工作日或同為節假日的相鄰數天，其流量曲線形狀相對類似，流量曲線相似的日期在預測中具有較大的參考意義。本站最近m 天在時刻t 的流量按日期先后記錄下來的數據構成的時間序列為歷史序列，即f2 (t) = { F0 i-p(t) ，1 ≤ p ≤ m} ( 3 )

工作日和節假日流量差別較大，可將它們分類處理。該序列整體分布較平穩，有震蕩，但頻帶較窄。第p個工作日在時刻t的流量如圖3 所示。

鄰站序列　圖4 為本站與鄰近2 個車站24 h 的流量曲線經DB2 小波3 層變換后的近似分量，可見各分量關聯性較大。如果根據以前的數據將各鄰近車站相互關系解算出來，就可以利用這種函數關系預測時刻t在本站的流量。最近m天在時刻t 的流量按日期先后記錄下來的各鄰站歷史序列為本站的鄰站序列，即

qf2 +q(t) = { Fi-p(t) ，1 ≤ p ≤ m，1 ≤ q ≤ s} ( 4 )

q式中， Fi-p(t)表示第q個鄰近站的第(i -p)天的流量;s 表示鄰近站數。

1.3 　相關序列的預測

由于各相關序列在預測中具有不同的影響，且分布規律和特點差異較大，因而各序列使用不同的預測方法。本文對當前序列進行小波分解后用Kalman 預測，對歷史序列直接進行Kalman 預測，對鄰站序列用冪級數多項式進行擬合。

1.3.1 　小波分析

根據設置的分解指數η對序列進行小波N 尺度分解，得到一組低頻信號和N 組高頻信號，對這N + 1 組信號分別用Mallat 塔式算法重構到原尺度上，得到N + 1 組在原始尺度上的經過分解重構處理的信號。分別對信號用Kalman 濾波進行預測，得到N + 1 個預測值，再將這N + 1 個預測值用權系數合成最終的預測值。具體算法請參見文獻[1 ]。

1.3.2 　Kalman 濾波離散線性Kalman 濾波方程為

F(t) = Φ(t -1) F(t -1) + W(t -1)( 5 ) 式中，Φ (t) 為系統狀態轉移量; W(t) 為系統誤差。Kalman 濾波通過t -1 時刻的狀態F(t -1)估計t 時刻的狀態F(t) 。具體算法請參見文獻[1 ]。

1.3.3 　多項式擬合

分別對各鄰站序列用冪級數多項式擬合本站數據，擬合模型如下

n

i

p

^Fp(t) = αp，i(t) F(t) ( 6 )

i=0

i

6 式中， Fp (t)為對第p個鄰站在時刻t 的流量的i 次i 冪;αp，i(t)為Fp (t)的系數。當n= 2 時，上述擬合算法簡化為線性回歸模型。

1.4 　流量的融合預測設預測對象共有n個相關的時間序列fi(t) ，經過預處理分別為fi(t) ，融合預測模型可表示^F(t)在f(t)上的映射，即^F(t) =ζ(f(t)) =ζ(f1 (t) ，f2 (t) ，fn(t)) ( 7 ) 式中，ζ(·)表示映射關系。特別地，式(7)可簡化為如下的線性映射組合^F(t) = αi(t)ξ(fi(t)) ( 8 ) i=16

式中，αi(t)為t 時刻的序列fi (t)的權系數;ξ(fi (t)) 為以fi (t)為依據的局部預測值。為了確定上述算法中映射關系ζ(·)，本文采用神經網絡進行解算。

2 　模型的神經網絡解算

神經網絡是由大量簡單的神經元以某種拓撲結構廣泛地相互連接而成的非線性動力學系統[4 ]。神經網絡在數據融合技術中具有無法替代的作用，通過神經網絡對各相關序列的局部預測進行最終融合，具體過程如下。

2.1 　數據的局部處理

廣州市地鐵某站一個方向的流量數據是以每班列車到站上車的人數記錄的(流量單位:人/班) 。根據2002 年5 月1 日 2003 年3 月2 日的流量數據，運用本文算法進行預測。按照1.2 節的方法構造了4 個相關序列:當前序列f1 (t) 、歷史序列f2 (t)以及相鄰2 個車站的鄰站序列f3 (t)和f4 (t) 。 2.2 　神經網絡的設計

因為3 層神經網絡可以一致逼近任何非線性函數[5 ]。采用具有單隱層的3 層神經網絡作為模型，即輸入層、隱層和輸出層。

以各相關序列的局部預測值作為輸入向量，實測值F(t)為期望輸出，有4 個輸入節點，1 個輸出節點。隱層神經元數量關系到網絡的訓練速度和精度問題。對于一定數量的樣本，需要一定數量的隱層神經元數， 神經元少了，不能反映樣本的規律;多了，則神經網絡以過于復雜的非線性關系來擬合輸入輸出之間的關系，使得模型的學習時間大大增加。本例中，8 個隱層神經元數是最好的。以誤差平方和SSE(Sum2Squared Error ) 作為訓練評價標準， SSE = p j (Ypj-Opj)2 ，其中Ypj和Opj分別為輸出層第j個神經元的第p個樣本的期望輸出和實際輸出(本例中j= 1 ，p= 60) 。

用MATLAB 的ANN 工具箱構造神經網絡。隱層神經元的激勵函數為tansig 函數( 正切S 型傳遞函數)，輸出層神經元的激勵函數為purelin 函數(線性傳遞函數)，這樣整個網絡的輸出可以取任意值。采取批處理學習方式和快速BP 算法訓練。

2. 3 　神經網絡的訓練

將網絡的訓練標準SSE 設為64(60 組訓練樣本)， 利用上述樣本對神經網絡進行訓練，訓練6 000 次時網絡的權值和閾值將達到最佳值，即達到了訓練目標。神經網絡訓練目標接近過程，如圖5 所示。

從圖5 中可以看出，訓練開始時，網絡收斂速度較快，接近目標時收斂速度會減慢。可見，訓練次數越多，得到的結果越好。當然，這是以訓練時間的增長作為代價的。

3 　實驗對比分析

采用本文算法和傳統的Kalman 算法分別對2003 年3 月2 日的各整點時刻的流量進行預測。算法各時刻均通過訓練后的神經網絡預測，預測與實測結果的比較，如圖6 所示。

傳統的Kalman 濾波是直接在當前序列的基礎上進行預測的， 預測與實測結果的比較如圖7 所示。2 種預測方法的誤差指標對比見表1 。

表1 　實驗結果對比

比較可得，由于傳統的Kalman 預測方法只能以某一類序列的數據作為預測基礎，無法利用其他序列信息，且對變化大的數據采樣要求較高，因而具有較大的誤差，而本文所述方法有效地克服了這些缺點。

4 　結論

通過分析城市地鐵站客流量的相互關系和特點， 在對流量信息進行以預測為目的相關序列集構造的基礎上，提出了一種基于數據融合的預測模型。該預測模型不僅是一個多信息接收和處理的融合模型，而且還是一個動力學系統，網絡的訓練樣本也是動態的，如果訓練的次數適當，預測的精度也可以隨之變化調整。實驗結果表明，基于數據融合的預測與傳統的預測方法相比，由于充分利用了所有預測信息，在預測的準確程度上有較大提高。

參考文獻:

[1 ] 李存軍， 等. 基于小波分析的交通流量預測方法[J ] . 計算機應用， 2003 ， 23(12) : 7 —8.

[2 ] 權太范. 信息融合: 神經網絡 模糊推理理論與應用[M] . 北京: 國防工業出版社， 2002.

[3 ] . 信息融合技術[ M ] . 北京: 國防工業出版社， 1996.

第3篇：神經網絡過擬合的表現范文

[關鍵詞] 藥品；神經網絡；組合預測；需求預測

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 08. 051

[中圖分類號] TP183 [文獻標識碼] A [文章編號] 1673 - 0194（2014）08- 0084- 05

0 引 言

隨著人工智能技術的發展，人工神經網絡得到了廣泛研究和應用。由于神經網絡具有良好的學習能力和較強的非線性處理能力、不依賴于特定數學模型等優勢，其作為一種預測方法已被廣泛應用于許多領域。

在醫藥企業、醫藥衛生管理領域，藥品需求預測一直是管理部門關心的熱點問題。藥品需求除了受由藥品自身屬性影響外，還受國家政策或醫藥行業規定等因素的影響，如藥品在某地區是否中標、是否為處方藥等；同時，制藥企業自身制定的定價、渠道以及促銷等營銷策略和銷售團隊的組建制度也對藥品需求產生不同程度的影響。藥品需求特征的多樣性，決定了藥品需求預測本質上是一個復雜的非線性系統建模問題。

國內外眾多學者對藥品需求預測進行了深入的研究，產生了一批有價值的研究成果。目前，藥品需求預測的主要方法包括：回歸分析法、時間序列分析法、神經網絡、遺傳算法等。這些方法從不同角度出發建模，均取得一定效果，尤其是BP神經網絡，已經在藥品預測研究中取得了眾多應用。盡管相關討論和研究不斷增多，但是目前常用的神經網絡預測方法普遍存在以下問題：由于藥品需求特征頗為復雜的特殊性，運用單項預測方法對其進行預測無法涵蓋其較多的特征信息，通常表現為對某類特定的藥品預測效果良好，而對其他藥品則預測性能較差，從一定程度上限制了預測模型的適用范圍。

本文采用基于神經網絡的組合預測模型來解決上述問題。組合預測方法（combined forecasting）是指通過一定數學方法將不同的單項預測模型組合起來，綜合利用各種單項預測方法所提供的信息，從而達到提高預測精度的目的。組合預測方法最早由Bates和Granger[1]于1969年提出，他們認為對于一個包含系統獨立信息的單項預測方法，與預測精度較小的預測方法進行組合預測完全可以增強系統的預測性能。

考慮到各種神經網絡預測方法的特點及其適用范圍，本文選擇BP神經網絡預測方法、RBF神經網絡預測方法和基于廣義回歸神經網絡（GRNN）3種常用的神經網絡預測方法作為組合預測模型中的單項預測方法。在此基礎上，用平均絕對相對誤差（MAPE）和方差為衡量標準，并根據設置的閾值對單項預測方法進行篩選，最后選取了MAPE作為最優準則計算得到權重，從而建立組合預測模型，在提高組合預測模型精度的同時，使得組合預測模型具有現實意義。實驗結果表明，本文提出的模型的預測精度高于傳統的線性組合模型的預測精度。

1 相關工作

基于神經網絡的預測方法具有很多其他預測方法所不具備的優點，近年來越來越被人們所關注。吳正佳 等（2010）[2]針對某備貨型企業的產品需求量，建立了基于良好學習能力的BP神經網絡預測模型，并通過實證分析與簡單移動平滑法和加權移動平滑法的預測結果相比較，結果表明BP神經網絡預測結果比其他兩種更為有效果。童明榮 等（2007）[3]提出一種季節性RBF神經網絡預測模型，對具有季節性的產品月度市場需求進行預測，最后利用構建好的RBF神經網絡模型進行仿真實驗，并與ARIMA模型、分組回歸模型等常用季節預測模型做對比分析，結果表明前者的預測誤差均方差最小，預測精度較高。Maria Cleofé（2005）[4]利用人工神經網絡（ANN）對圣保羅地區的降雨量進行預測，并通過實證分析與其他線性回歸模型作對比評價，實驗結果表明人工神經網絡有著更好地預測效果。此外還有其他很多學者在交通、航運、氣候等多個領域運用神經網絡進行了預測[5-7]，不在此贅述。

針對藥品銷量預測這一特定問題，國內外部分學者也做了一定的研究工作，試圖尋找合適的預測方法對藥品需求做出較為準確的預測。馬新強 等（2008）[8]提出了一種基于BP神經網絡的藥品需求預測模型，該文先利用數據倉庫及數據挖掘技術分析提取了相關有效的藥品銷售信息作為研究對象，在此基礎上利用BP神經網絡對其進行預測，最后在較為精確銷售量的基礎上提出了一種優化的生產決策系統方法。王憲慶 等（2009）[9]利用BP神經網絡模型對藥品超市的藥品銷售情況進行預測并做了相關實證分析，該文通過觀察藥品預測的顯著性差異評價模型的性能，最終取得了良好的效果，支持了其BP神經網絡非常適用于資金有限、倉儲量不大的藥品超市的結論。劉德玲（2012）[10]提出了一種針對大范圍內的藥品銷售的預測方法。該文利用遺產算法優化支持向量機藥品銷售預測方式進行預測，提高了藥品銷售預測的精確度，得到了較為滿意的結果。

盡管有關研究不斷增多，但由于藥品需求特征頗為復雜的特殊性，運用單項預測方法對其進行預測無法涵蓋其較多的特征信息，從一定程度上限制了預測模型的適用范圍。本文根據藥品需求高度非線性的特點選取了3種不同特性神經網絡模型作為單項預測方法，每種神經網絡都有其所針對的藥品需求特征，并在此基礎上建立組合預測模型，擴大了藥品預測模型的適應范圍，對于提高藥品預測精度和預測穩定性具有重要意義。

2 基于神經網絡的藥品需求組合預測模型的建立

基于神經網絡的藥品需求組合預測模型的具體步驟如下：

（1）數據異常點預處理。為提高組合預測模型的適用范圍和預測精度，本文運用基于距離的異常點檢測方法對存在異常點的藥品需求數據進行異常點修復，得到正常的需求數據。

（2）單項預測方法的選取。針對藥品需求的不同特征，選取3種不同特性的神經網絡模型作為單項預測方法，以此作為組合預測模型單項預測方法的篩選基礎。

（3）單項預測方法的篩選與變權重的計算。因為不同藥品具備不同需求特征，在進行組合預測時仍需要在已選取單項預測方法的基礎上再次篩選合適的單項預測方法進行組合，以相對誤差為最優準則，通過求解二次規劃問題得到權重并按照一定的變權規則進行變權。

（4）根據權重建立組合模型進行預測。

2.1 藥品數據異常點預處理

在藥品銷售數據中，由于特殊事件（如鋪貨）等原因，個別數據會表現出明顯突變，導致藥品歷史數據存在異常點，掩蓋了數據本身的規律。本文通過基于距離的異常點檢測方法和多項式擬合方法對藥品數據做預處理，具體處理步驟如下：

首先，選擇一個較大的數（如1010）將缺失數據補足，然后運用基于距離的異常點檢測方法進行檢測。第一步，對藥品需求數據進行歸一化處理并計算出各個數據之間的距離，得到距離矩陣P。計算公式如下：

Pij=|xi-xj|，i，j=1，…，n（1）

式中，xi表示時間序列中第i期的數據，Pij表示時間序列中i期數據與j期數據之差的絕對值。距離矩陣P的第i列表示時間序列第i期數據與長度為n的時間序列中所有數據（包括第i期數據本身）的距離。

P=p11，p12，…，p1np21，p22，…，p2n… … … …pn1，pn2，…，pnn（2）

通過設置距離閾值d，計算出所有滿足Pij>d的距離個數，記di，得到判別矩陣D。

D=[d1，d2，d3，…，dn]（3）

將di與閾值f進行比較，若大于f，則識別該點為異常點，否則為正常值。最后利用多項式擬合方法，將檢測出來的異常點作擬合處理，得到建模需要的正常數據。

2.2 單項預測方法的選取

藥品需求預測是一個復雜的非線性系統建模問題，相對于傳統分析方法（如指數平滑方法、ARMA模型、MTV模型），神經網絡依據數據本身的內在聯系建模，具有良好的自組織、自適應性，以及抗干擾能力以及非線性映射能力，能夠較好地解決非線性數據擬合問題。

本文選取3種具有不同特征的神經網絡模型，即BP神經網絡、RBF神經網絡和GRNN廣義回歸神經網絡，綜合其各自優勢建立組合預測模型，提升整個預測模型的泛化能力，提高預測精度與預測穩定性。

2.2.1 基于BP神經網絡的藥品需求預測方法

BP神經網絡由Rumelhard和McClelland于1986年提出，它是一種典型的多層前向型神經網絡。藥品銷售記錄作為BP神經網絡輸入值，藥品需求預測即為BP神經網絡輸出值。當輸入節點數為m，輸出節點數為n時，BP神經網絡就表達了從m個自變量到n個因變量的非線性函數映射關系。

BP神經網絡側重對全樣本的學習，因此適合對樣本整體特征相近的時間序列進行預測，即適應受某一特定因素影響顯著，且該影響因素相對穩定的藥品預測。

2.2.2 基于RBF神經網絡的藥品需求預測方法

徑向基函數（RBF，Radical Basis Function）由Powell于1985年首次提出，它是一種三層前饋網絡，即輸入層、隱含層和輸出層。從輸入層到隱含層是一個非線性到線性的變換過程，從隱含層到輸出層是一個線性處理過程。RBF神經網絡在處理非線性問題時，引入RBF核函數將非線性空間映射到線性空間，極大地提高了非線性處理能力，且RBF神經網絡采用自組織有監督的學習算法進行訓練，其訓練收斂速度具有顯著的優勢。

RBF神經網絡具有很好的非線性處理能力，其學習算法屬于局部激活性較高的高斯函數，對于相似的樣本有著較高的逼近能力，因此適用于受會隨時間變化而較為顯著變化的因素影響的藥品需求預測。

2.2.3 基于GRNN的藥品需求預測方法

廣義回歸神經網絡（GRNN，Generalized Regression Neural Network）由美國學者Donald F. Specht在1991年提出，它是徑向基神經網絡的一種。GRNN具有很強的非線性映射能力和柔性網絡結構以及高度的容錯性和魯棒性，適用于解決非線性問題。

GRNN在逼近能力和學習速度上較RBF網絡有更強的優勢，網絡最后收斂于樣本量積聚較多的優化回歸面，并且在樣本數據較少時，預測效果也較好。此外，網絡還可以處理不穩定數據。因此GRNN適用于數據不全、異常點較多的藥品。

綜上所述，3種神經網絡都具有良好的非線性處理及預測能力，因為學習算法的不同有著各自側重的學習方向，皆為應用廣泛的預測方法，且對各自適應范圍內有著較好的預測效果。因此本文選擇BP神經網絡、RBF神經網絡以及廣義回歸神經網絡作為單項預測方法，并在此基礎上建立組合預測模型。

2.3 單項預測方法的篩選與變權系數的計算

本文在已選取3種單項預測方法的基礎上，再根據合適的MAPE和誤差方差篩選出組合模型中的單項預測方法，計算出變權系數。假設藥品需求的實際時間序列為y（t），t=1，2，…，N，N+1，…，N+T，其中t表示預測區間，T表示預測步長。

（1）單項方法篩選

單項方法進一步篩選的具體步驟為：

①預先設置選擇單項方法MAPE閾值m 和誤差方差閥值ε

②進行逐期單步預測，預測序列為：

{i（t），i=1，2，…，n；t=N+1，…，N+T}

③計算n種單項方法的相對誤差ei（t）、誤差方差εi（t）和MAPE。其中，單項預測方法的相對誤差序列為：

ei（t）=i=1，2，…，n；t=N+1，…，N+T（4）

單項預測方法的誤差方差為：

εi（t）=（5）

單項預測方法的MAPE為：

MAPEi（t）=ei（j），（i=1，2，…，n；t=N+1，…，N+T）（6）

④若MAPEi（t）

（2）變權系數的計算

本文考慮預測效果，選用基于相對誤差為最優準則的最優加權法進行計算。

假設從n中方法中篩選出p（p≤n）種單項預測方法，則組合模型第t+1期的權系數w（t+1）由相對誤差ei（1），…，ei（t）決定，其中i=1，…，p。變權規則如表1所示。

權系數具體計算過程如下：

①設組合權重wi為方法mi在組合預測方法中權重，則組合預測方法第t期相對誤差為：

e（t）=wi*ei（t），i=1，2，…，p（7）

②組合模型前t期的相對誤差平方和為：

e2=e（1）2+e（2）2+…+e（t）2（8）

令w=[w1，w2，…，wP]T，

E=e1（1），e2（1），…，ep（1）e1（2），e2（2），…，ep（2） … … … …e1（t），e2（t），…，ep（t）

建立如下目標規劃：

min P=e2=wT*ET*E*w

s.t. wi=1（9）

③求解該目標規劃得到變權系數w。

2.4 建立組合模型進行預測

組合預測模型可表示為：

式中， wi（t）表示第t期單項方法mi的變權系數，（t）表示第t期組合預測方法的預測值。根據該模型對藥品進行預測。

3 實驗與分析

本文以上海市某制藥企業月度銷售額為藥品需求預測的實證數據，根據銷售地區的不同抽取有代表性的藥品銷售數據，其中選取上海地區10種藥品，北京地區4種藥品及全區域銷售數據12種藥品，數據長度皆為30（2009-1至2011-6）。

數據選擇依據如下：①藥品銷售有一定的連續性，為公司主推或在某地區主推藥品，具有代表性及預測意義；②在考慮異常點和數據缺失時，選取異常點和缺失數據較少的藥品。

3.1 單項方法篩選和變權系數計算

根據不同銷售區域藥品需求的具體情況，設定單一省市藥品的MAPE閾值和方差閾值分別為20%和0.1；設定公司的MAPE閾值和方差閾值分別為30%和0.1。shy03和all03的單項預測方法選取結果如表2 所示。

利用單項預測方法的6期預測結果計算組合預測模型的3期權重，選相對誤差最優準則進行權重計算，運用MATLAB的二次規劃函數quadprog求解。變權規則及權重計算結果如表3所示。

3.2 預測模型的精度比較

本文選取平均絕對相對誤差（MAPE）和預測有效度兩個指標來綜合評價模型的預測精度。當MAPE越小時，說明預測精度越高。然而當實際值非常小時，即使是預測值與真實值之差較小，其平均絕對相對誤差也會很大，而預測有效度能很好地避免此類問題，故我們引入預測有效度來綜合評價預測精度，預測有效度越大，預測精度越高。

用單項預測方法BP、RBF、GRNN與組合預測方法單一省市和全區域藥品銷售預測值的MAPE和有效度，對MAPE和有效度的情況進行統計并且計算MAPE和有效度的平均值，比較結果如表4所示。

可以看出，運用組合預測方法對單一省市的14種藥品進行需求預測時，MAPE小于標準值20%的有8個，占藥品總數的57.14%，優于BP（7）、RBF（4）、GRNN（6）方法；14種藥品的MAPE平均值為19.81%，優于BP（26.71%）、RBF（28.45%）、GRNN（40.59%）方法。預測有效度大于標準值0.5的有11個，占藥品總數的78.57%，優于BP（8）、RBF（10）、GRNN（8）方法；14種藥品的預測有效度平均值為0.62，優于BP（0.57）、RBF（0.61）、GRNN（0.57）方法。

此外，運用組合預測方法對全區域銷售的12種藥品進行需求預測時，MAPE小于標準值30%的有7個，占藥品總數的58.33%，優于BP（4）、RBF（6）、GRNN（3）方法；12種藥品的MAPE平均值為25.22%，優于BP（35.90%）、RBF（32.07%）、GRNN（70.59%）方法。預測有效度大于標準值0.45的有10個，占藥品總數的83.33%，優于BP（7）、RBF（9）、GRNN（5）方法；12種藥品的預測有效度平均值為0.58，優于BP（0.46）、RBF（0.56）、GRNN（0.49）方法。

通過上述實證結果，從整體上看，組合預測方法的預測精度優于單項預測方法，而且模型的適用范圍較廣。

3.3 預測模型的穩定性比較

本文選擇預測誤差的方差作為評價模型穩定性的指標。將單項預測方法BP、RBF、GRNN與組合預測方法的誤差方差進行比較，單一省市和全區域的比較結果如表5所示。

可以看出，運用組合預測方法對單一省市的14種藥品進行需求預測時，誤差方差小于標準值0.1的有12種，占藥品總數的85.71%，優于BP（10）、RBF（11）、GRNN（10）方法；此外，14種藥品誤差方差平均值為0.0263，優于BP（0.0613）、RBF（0.0361）、GRNN（0.0522）方法。運用組合預測方法對全區域銷售的12種藥品進行需求預測時，誤差方差小于標準值0.1的有11個，占總數的91.67%，優于BP（9）、RBF（10）、GRNN（8）方法，此外，14種藥品的誤差方差平均值為0.031 0，優于BP（0.092 7）、RBF（0.033 5）、GRNN（0.065 0）方法。因此從整體上看，組合預測方法的預測穩定性優于單項預測方法。

4 總結及展望

本文選擇3種具有不同適應特征的神經網絡模型作為單項預測方法，建立了基于神經網絡的藥品需求組合預測模型，以上海市某藥企的實際銷售數據作為實證對象，驗證了該模型在預測精度和預測穩定性上均優于單項預測方法。當然，雖然建立的神經網絡組合模型在一定程度上彌補了現有方法的不足，擴大了預測方法的適用范圍，但在研究過程中依然存在亟待解決的問題：

（1）單項預測方法的參數優化有待進一步研究。本文在參數優化時，大部分采用遍歷法和經驗法進行設置，缺乏相應理論依據和方法指導。如何采用合適參數尋優方法進行參數確定是下一步亟待解決的問題。

（2）進行組合預測時，選擇合適的最優準則有待于進一步研究。本文選取相對誤差作為最優準則進行需求預測，該準則的選取忽視了量綱統一性，未來的研究應該綜合考慮量綱統一、預測誤差和預測穩定性，使組合預測方法更科學、更合理。

主要參考文獻

[1]J M Bates，C W J Granger.The Combination of Forecasts[J]. Operations Research Quarterly，1969，20（4）：451-468.

[2]吳正佳，王文，周進.BP神經網絡在備貨型企業銷售預測中的應用[J].工業工程，2010（1）：105-108.

[3]童明榮，薛恒新，劉路冰.基于季節性RBF神經網絡的月度市場需求預測研究[J].運籌與管理，2007（3），146-150.

[4]Maria Cleofé，R Valverde.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J].Journal of Hydrology，2005，1（20）：146-162.

[5]A A Khan，K E Marion，C Bil. The Prediction of Ship Motions and Attitudes Using Artificial Neural Networks[C].19th National Conference of the Australian Society for Operations Research， Melbourne， Victoria， 2007.

[6]D C Park，El-Sharkawi.Electric Load Forecasting Using an Artificial Neural Network[J].IEEE Transaction on Power Systems， 1991， 6（2）：442-449.

[7]Maria Cleofé， Valverde Ramírez.Artificial Neural Network Technique for Rainfall Forecasting Applied to the S？觔o Paulo Region[J]. Journal of Hydrology ， 2005， 301（20）：146-162.

[8]馬新強，黃羿.基于BP神經網絡的藥品銷售預測模型設計[J].重慶文理學院學報，2008（2）：64-66.

第4篇：神經網絡過擬合的表現范文

[關鍵詞]人力資源管理；人力資源需求預測；BP神經網絡

[中圖分類號]F270.7[文獻標識碼]A[文章編號]2095-3283（2013）01-00-02

一、 應用BP神經網絡的必要性

隨著經濟全球化和信息技術的加快發展，我國企業面臨著更為嚴峻的競爭壓力。為了適應現代市場需求，企業必須優化配置人力資源，并科學制定人力資源規劃。其中，科學的人力資源需求預測是人力資源開發和規劃的基礎，對人力資源管理活動將產生持續和重要的影響。

企業人力資源需求預測分析方法多種多樣。在進行人力資源需求預測時，企業要考慮的因素復雜多變，如企業的目標和經營戰略、生產狀況的變化、工作設計或組織結構的變化等，而且各種影響因素與預測結果之間的相關性難以用定量的方法表示出來，是非線性相互制約的映射關系。將BP神經網絡方法應用于人力資源需求預測領域，彌補和改進了人力資源需求預測分析方法，能較好地實現各指標與需求結果之間非線性關系的映射，對企業人力資源決策具有一定的參考和指導作用。

二、BP神經網絡的基本原理

人工神經網絡，簡稱神經網絡，是一種包括許多簡單的非線性計算單元或聯結點的非線性動力系統，是用大量簡單的處理單元廣泛連接組成的復雜網絡。Back-Propagation Network，簡稱為BP網絡，即基于誤差反向傳播算法的多層前饋網絡，是目前應用最成功和廣泛的人工神經網絡。它由輸入層、隱含層和輸出層組成。隱含層可以是一層或多層。BP神經網絡自身具有的非線性映射、自學習、自適應能力、容易實現并行計算等優點，彌補和改進了供應商選擇和評價方法，能較好地實現各指標與評價結果之間非線性關系的映射。

基于BP神經網絡，構建供應商的選擇評價模型，其基本思想為：假設輸入變量為X=（X1，X2，···，Xi）'，隱含層輸出變量為Y=（Y1，Y2，···，Yj）'，輸出層變量為Z=（Z1，Z2，···，Zl）'，期望輸出的目標變量為T=（T1，T2，···，Tl）'，Wij、Wjl分別為輸入層到隱含層、隱含層到輸出層的連接權值（如圖1所示）。對于i個輸入學習樣本X1，X2，···，Xi，已知與其對應的輸出樣本為Z1，Z2，···，Zl。通過BP算法的學習，沿著負梯度方向不斷調整和修正網絡連接權值Wij和Wjl，使網絡的實際輸出Z逐漸逼近目標矢量T，也就是使網絡輸出層的誤差平方和達到最小。

圖1三層BP網絡結構圖三、BP神經網絡在企業人力資源需求預測中的應用

根據上述BP神經網絡主要思想，以A公司為例，分析如何運用MATLAB工具箱實現基于BP神經網絡的企業人力資源需求預測。

1.樣本數據處理

選取年份、產值、資產總計、利潤4個指標作為輸入向量，從業人員作為目標向量（見表1）。在對BP網絡進行訓練前，應該對數據進行歸一化處理，使那些比較大的輸入仍落在傳遞函數梯度大的地方。本例采用MATLAB工具箱中的premnmx（）函數把數據歸一到[-1，1]之間，如表2所示。

對于BP網絡，有一個非常重要的定理。即對于任何在閉區間內的一個連續函數都可以用單隱層的BP網絡逼近，因而一個三層BP網絡就可以完成任意的n維到m維的映射。本例采用單隱層的BP網絡進行從業人員預測。由于輸入樣本為4維的輸入向量，因此，輸入層一共有4個神經元，網絡只有1個輸出數據，則輸出層只有1個神經元。隱含層神經元個數根據最佳隱含層神經元數經驗公式取15個。因此，網絡應該為4×15×1的結構。隱含層神經元的傳遞函數為S型正切函數tansig（），輸出層神經元的傳遞函數為線性激活函數purelin（）。

3.BP網絡訓練及仿真

建立網絡后，對表2中的數據進行訓練，訓練參數的設定如表3所示，其他參數取默認值。

訓練次數12100012目標誤差120.00112學習速率120.01訓練結果如圖1所示，可見經過52次訓練后，網絡的目標誤差達到要求。

圖1訓練結果網絡訓練結束后，運用MATLAB工具箱中的sim（）函數，將經過歸一化后的數據表2進行仿真模擬，獲得網絡的輸出，然后將運算結果通過postmnmx（）函數進行反歸一化處理，得到BP網絡預測值，最后檢查BP網絡預測值和實際從業人員數之間的誤差是否符合要求，如表4所示。

4.預測結果評價

圖2反映了該BP網絡較好地逼近了輸入矢量，即年份、產值（萬元）、資產總計（萬元）和利潤（萬元）與目標矢量，即從業人員（人）之間的線性關系。用BP神經網絡對現有人力資源狀況進行分析擬合，是人力資源需求預測的較理想方法。與傳統的人力資源需求預測方法相比，將BP神經網絡用于人力資源需求預測，克服了輸入矢量和目標矢量非線性、不符合統計規律的問題。BP神經網絡模型良好的容錯和自學習能力，調用MATLAB工具箱函數，使預測過程更易實現，可以更好地對人力資源進行規劃，提高人力資源預測精度。

圖2BP神經網絡的函數逼近結果將BP神經網絡應用于企業人力資源需求預測，能較好地建立起各影響因素與預測結果之間的非線性關系，是企業預測人力資源需求的一種較理想的方法。但BP神經網絡也存在著一些不足和問題。主要表現在學習速率太小可能會造成訓練時間過長；BP算法可以使權值收斂到某個值，但并不能保證其為誤差平面的全局最小值；網絡隱含層的層數和單元數的選擇一般是根據經驗或者通過反復實驗確定，網絡往往存在很大的冗余性，在一定程度上也增加了網絡學習的負擔。因此，BP神經網絡在企業人力資源需求預測領域的應用仍需根據企業自身實際情況做進一步的改進和完善。

[參考文獻]

[1]飛思科技產品研發中心神經網絡理論與MATLAB7實現[M]北京：電子工業出版社，2005.

[2]（美）海金（Simon Haykin）神經網絡原理（原書第2版）[M]葉世偉，史忠植譯北京：機械工業出版社，2004.

[3]叢爽面向MATLAB工具箱的神經網絡理論與應用[M]中國科學技術大學出版社，1998.

[4]劉躍基于BP神經網絡的人力資源估價研究[J]統計與信息論壇，2007（1）：96-99.

[5]艷明四種人力資源的定量預測方法及評述[J]統計與決策，2008（7）：30-32.

[6]國家統計局固定資產投資統計司，中國行業企業信息中心中國大型房地產與建筑業企業年鑒[M]北京：中國大地出版社，2003-2008.

[7]王文富企業人力資源預測與規劃研究[D]天津大學，2004.

第5篇：神經網絡過擬合的表現范文

關鍵詞：壁紙識別；BP神經網絡；不變矩

中圖分類號：TP391.41

貼標的識別以往是通過人工識別，人為因素影響大，識別速度慢，精度低，不能滿足大批量生產的需要。因此，在經濟社會高速發展的今天，此方法越來越不能滿足壁紙行業發展的需要。隨著計算機的發展，通過計算機智能識別壁紙的紋理就成為可能，主要思路是將壁紙拍攝獲知的圖像進行紋理特征的提取，只要建立足夠的特征庫，就可以把需要判別的壁紙圖片輸入計算機，通過檢索來判別該壁紙是哪種材種。因此，本文引入圖像處理技術和BP神經網絡技術，提出一種壁紙貼標自動識別算法，以解決貼標大批量生產的需要。

1 壁紙紋理特征的提取

不變矩是指物體圖像經過平移，旋轉以及比例變換仍保持不變的矩特征量，設物體的二維離散圖像函數用f（x，y）表示，其（p+q）階矩定義為：

（1）

相應的（p+q）階中心矩定義為：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二維圖像的灰度在水平方向上的重心，y0表示二維圖像的灰度在垂直方向上的重心。

HuM.K.等人利用二階、三階中心矩得到了7個不變矩特征參數，具體如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本設計的實驗中要求樣本的尺寸是256×256，從每一類原始樣本中采集100個能表現該樣本紋理的圖片，形成識別樣本庫，之后提取了所有樣本的不變矩紋理特征。

圖1 壁紙樣本圖片

2 BP-神經網絡分類器的設計

2.1 BP神經網絡概述

BP神經網絡（Back Propagation）是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種基于誤差逆傳播算法的多層前饋神經網絡，目前廣泛應用于分類、識別、函數逼近等領域。BP神經網絡結構如圖2所示，包括輸入層、輸出層和隱含層。

圖2 BP神經網絡結構圖

BP學習算法的工作過程由正向傳播和反向傳播組成。正向傳播過程是指輸入信號從輸入層經隱含層，在輸出層產生輸出信號。如果輸出層不能得到期望的輸出信號，輸出信號將反向傳播，將誤差信號沿原有路徑返回，并按照一定規則修改網絡參數，逐漸地向輸入層傳播去進行計算，正向傳播和反向傳播兩個過程的反復運用，直到誤差信號滿足要求。

2.2 BP神經網絡分類器設計

2.2.1 網絡輸入節點數的設計

輸入層節點數主要根據數據特征向量的維數來確定，本文輸入節點數為不變矩特征向量的維數，即輸入節點數為7。

2.2.2 網絡隱含層數的設計

通常情況下，增加網絡的隱含層數可以使網絡誤差降低，提高網絡的精度，但同時也使網絡變得復雜化，使得網絡的訓練時間增加，而且容易出現網絡過擬合的情況。有研究表明，具有Sigmoid非線性函數的3層BP神經網絡能夠逼近任何連續函數。因此，本研究中神經網絡分類器的隱含層數選為3層。

2.2.3 網絡隱含層節點數的設計

在確定BP神經網絡隱含層數后，下一步就需要確定隱含層節點數。隱含層神經元個數一般由 是公式確定，其中n是隱含層神經元個數，n0是輸入層神經元個數，n1是輸出神經元個數，a∈（1～10）。

2.2.4 網絡輸出層的設計

輸出層的節點數是根據BP神經網絡分類器的輸出類別數量決定，也就是說，輸出層的節點數應為類別總數。例如，本研究需要將待識別的壁紙樣本分成8大類，那么輸出層節點數應設置為8，并將每類對應的目標向量依次設置為[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，對應目標向量的數目為對應輸入壁紙樣本的數目，即目標向量與輸入壁紙樣本是相互對應的。

本文BP神經網絡分類器采用MATLAB神經網絡工具箱進行設計，訓練函數選擇Trainlm，訓練次數為200，誤差為0.001，將壁紙樣本其分成訓練樣本與測試樣本2部分，并利用訓練好的BP神經網絡對樣本進行自動識別，識別率達到90.0%。

3 結束語

實驗結果表明不變矩紋理特征參數可以用于表征壁紙樣本，使用本文設計的BP神經網絡分類器可以有效識別不同種類的壁紙樣本。

參考文獻：

[1]高雋.人工神經網絡原理及仿真實例[M].北京：機械工業出版社，2003：55-63.

[2]楊斐，王坤明，馬欣.應用BP神經網絡分類器識別交通標志[J].計算機工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]嚴曉梅，耿國華，周明全.基于改進BP神經網絡的指紋自動分類器[J].微計算機信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改進BP神經網絡的地下水環境脆弱性評價[J].河海大學學報（自然科學版），2007（03）：245-249.

[6]閔惜琳，劉國華.用MATLAB神經網絡工具箱開發BP網絡應用[J].計算機應用，2001（08）：163-164.

第6篇：神經網絡過擬合的表現范文

關鍵詞 基本藥物 采購行為 BP神經網絡

中圖分類號：F713.54 文獻標識碼：A 文章編號：1006-1533（2013）05-0047-05

2009年國家基本藥物制度實施后，國家將執行基本藥物集中采購作為實施基本藥物制度的評價標準之一，于是各省將原有的藥品集中采購分為基本藥物和非基本藥物兩類。2010年11月，國務院《建立和規范政府辦基層醫療衛生機構基本藥物采購機制的指導意見》，旨在對現階段較為無序的藥品采購行為進行規范，推行科學合理的采購模式，對基本藥物采購方面的研究開始得到關注。

現行采購模式是省集中采購平臺通過統計各基層醫院上報的用藥需求之后，再統籌面向中標企業進行集中采購。但是，作為基本藥物集中招標采購體系中繼招標過程之后的重要環節，采購過程并未得到足夠的重視，基于基本藥物采購行為的微觀研究的理論和文獻更是少之又少。在缺乏科學理論和方法支持下的采購決策，容易受主觀如采購主體尋租以及客觀如廠商合謀等因素干擾而不穩定，這種不穩定帶來的滯后效應會掣肘社區衛生服務中心對基本藥物的需求預測，繼而帶來后續基本藥物的供需矛盾。除此之外，采購量錯誤統計或填寫不夠準確的偶然誤差將會進一步加劇這個矛盾。基本藥物集中招標采購體系下的基本藥物采購在執行過程中有必要加強監督管理和調控。因此，尋找合理與靈活的理論和方法來保證基本藥物的采購決策行為的穩定性就成為關注點。

由于BP （Back Propagation）神經網絡模型尚未在基本藥物招標采購體系中進行相關的理論研究和應用探索，未能發揮其在其他領域中發揮出的功效。本文針對這一環節進行探索，擬在建立BP 神經網絡模型的基礎上，統計分析社區衛生服務機構的藥品使用等特征后，將BP神經網絡模型運用到社區醫療機構的需求預測中來，使采購主體在決策時能有更多的支持信息，實現采購數量科學化，從而保證社區醫療機構對基本藥物的供應充足，以期從這一環節上減輕民眾對基本藥物的獲取負擔，使整個基本藥物的供應實現資源優化配置，也可為基本藥物集中采購的理論和方法提供借鑒和參考。

1 BP神經網絡預測功能的研究

由于人工神經網絡是非線性、非局域性和非定常性的復雜網絡系統，具有并行分布的信息處理結構和自適應的腦模式的信息處理的本質與能力，它可以通過“自學習”或“訓練”掌握大量的知識，完成特定的工作。人工神經網絡對建立預測模型十分有效，它能從數據樣本中自動學習以前的經驗而無需復雜的查詢和表述過程，并自動地逼近那些最佳的數據蘊含的規律，它在時間序列預測方面，尤其是高復雜度的非線性時間序列方面明顯優于傳統的預測方法。在預測方面，目前應用最廣泛且較為成功的是前向神經網絡。

1.1 BP神經網絡基本理論

BP神經網絡也稱誤差反向傳播神經網絡，為有監督的學習，是梯度下降法在多層前饋網絡中的應用。它有一個輸入層、一個輸出層、一個或多個隱含層。每一層上包含若干個節點，每個節點代表一個神經元。同一層上的各節點之間無連接關系，相鄰層采取全互連。信息從輸入層開始在各層之間單向傳播，依次經過各隱含層，最后到達輸出層。

BP算法的學習過程是一個反復迭代的過程，由正向傳播和反向傳播組成。其算法的基本思想是根據網絡輸出層的誤差，從輸出層開始反過來調整網絡的權值和閥值，最后使得輸出的均方誤差最小。經過對一定數量樣本進行反饋學習后，網絡所持的權值便是網絡通過自適應學習得到的正確的內部表示。這時將待識別樣本的特征數據輸入訓練好的網絡，則網絡就可以對樣本的屬性進行自動推理和識別。在非線性建模方法中，神經網絡理論證明了在選擇適當的隱層數及相應的神經元數目下，前饋神經網絡能以任意精度逼近任意非線性函數[1]。

1.2 BP神經網絡在預測領域的實現

由于BP學習算法本質上是一個非線性優化問題，網絡模型的確立分為兩個階段：學習階段和檢驗階段。學習階段是通過對歷史資料的學習，使己有的模式以權系數的方式存儲于網絡之中，這實質上是一個擬合的過程；檢驗階段是將已有歷史數據輸入網絡之中，檢驗網絡輸出與實測值的誤差是否達到一定的精度要求，如果滿足要求，則BP網絡可以被用于預測。采用BP網絡學習方法進行模擬分析，構造BP網絡的基本步驟是：

1） 確定BP網絡的輸入向量、輸出向量的維數和隱含層數及節點數；

2） 確定隱含層傳遞函數和輸出層傳遞函數關系；

3） 將網絡學習樣本劃分為學習段和檢驗段；

4） 訓練網絡，擬合學習段時間序列，使其誤差平方和達到最小；

5） 用檢驗段數據檢驗訓練好的網絡模型，利用該模型對未來進行預測。

1.3 BP神經網絡在醫藥行業的應用

BP神經網絡在醫藥行業的應用包括藥品采購資金管理、醫療器材需求和藥品銷售預測3個方面。據文獻報道[2-3]，出于降低庫存，提高管理有效性和運作靈活性的目的，運用BP神經網絡對研究對象的歷史數據進行分析，得出預測值，并與經驗性的實際值進行對比，發現基于BP神經網絡進行預測，可以有效節約采購和生產安排的不穩定性，降低庫存，從而節約成本，提高效益。

2 BP神經網絡在湖北省基本藥物采購量預測中的應用

2011年3月13日，湖北省政府辦公廳印發《湖北省基層醫療衛生機構基本藥物集中采購管理辦法（試行）》，標志著該省建立和規范基本藥物統一招標采購新機制的出臺[4]。在該辦法中，實行以省為單位集中采購、統一配送，與藥品生產企業簽訂購銷合同，一次完成采購全過程，最大限度地降低采購成本，促進基本藥物生產和供應。

2.1 湖北省基本藥物采購量預測模型的建立

2.1.1 研究對象及數據準備

湖北省每月采購的基本藥物品種有1 000種之多，從理論上來說，為了更好地估計湖北省的基本藥物采購量的預測值，需要將每種藥物根據其歷史采購量來建立預測模型，如此一來會帶來巨大的工作量。因此，應選擇使用頻率比較高、采購比較頻繁、使用特點具有相似性的一大類藥物品種來進行研究。綜合對湖北省每月采購通報的分析，選定藥物大類為抗生素類。樣本納入標準為統計期內的采購時間是連續的，并且屬于同一大類的不同規格。

本文建模對象及數據見表1。

2.1.2 基本藥物采購量神經網絡預測模型的實現

在進行神經網絡預測之前，為避免原始數據過大造成網絡麻痹，要對原始數據進行歸一化處理，對于預測值，由于變化幅度較大，也不宜直接作為神經網絡的輸出。對于單極型Sigmoid函數來說，應用如下歸一化處理公式對樣本數據進行歸一化處理：

2.2 實證檢驗

湖北省基本藥物采購量神經網絡模型就是利用神經網絡的非線性特性去逼近一個時間序列或一個時間序列的變形，通過神經網絡清晰的邏輯關系，利用過去時刻的值去表達未來時刻的值。本文以湖北省部分基本藥物品種采購量為數據，以月度基本藥物采購量為預測目標，用上述的建模方法建立月度基本藥物采購量預測模型。

第一步，建立預測模型，對歸一化的數據用MATLAB中提供的函數進行學習（圖1），學習程序如下：

net=newff（minmax（P）， [8 1]， {'tansig'， 'purelin'}， 'traingdx'， 'learngdm'）；

net.trainparam.epochs=10 000；

net.trainparam.goal=0.005；

net.trainparam.show=500；

[net， tr]=train（net， P， T）；

首先，我們設定的隱層節點數為8，目標誤差為0.005，學習率設置為0.01，網絡經過222次迭代之后達到了指定精度，誤差為0.004 966 8。再分別設定隱層節點數為：6，8，12，15，20；目標誤差不變，仍為0.005，學習結果如表2所示。

結合學習次數和誤差的比較，可以得出在隱層節點數設為15時，學習效果較好。

由17個月樣本藥品的采購量數據P為訓練值，以第17個月的采購量為目標值，進行訓練。由于2012年12月的采購量未知，如果要預測第18個月采購量則無法用實際的數據進行檢驗。因此在預測值調整為第17個月的采購量數據。測試程序如下：B=sim（net， T）。

誤差為[0.024 9， -0.118 5， -0.170 7， -0.242 2， -0.040 5， 0.143 9， -0.047 5， 0.078 3， -0.066 6， -0.057 3， -0.036 6， 0.003 2， -0.043 6， -0.009 9， 0.020 5， -0.031 0， -0.016 8， 0.057 3， -0.025 1， 0.018 0， 0.036 4， -0.218 0， -0.159 0， -0.112 9， -0.014 81， -0.120 8， 0.134 9， -0.043 6]。誤差均在可接受的范圍內，認可數據已得到很好的訓練，具備較好的仿真能力。

學習的誤差基本上在我們可以接受的范圍內，其學習效果如圖2所示。通過前面己經驗證，該網絡的學習能力以及預測能力有很大的優越性。

2.3 預測結果分析

通過反歸一化公式：得到第17個月即2012年11月各藥品的采購值。將2012年11月的實際采購量與實證檢驗建立模型后所得到的預測中結果進行比較，結果見表3。

從表3中我們可以看出，除了個別品種誤差較大以外，如注射用苯唑西林鈉為530.21%、硫酸奈替米星注射液為52.60%，阿莫西林膠囊為42.89%，BP神經網絡模型對基本藥物的采購量的預測誤差率大多數在10%以下，經Excel數據分析工具中成對雙樣本均值t檢驗分析，結果見表4。

因為P > 0.05，故預測值與實際值均值差異無統計學意義。

模型預測結果是比較令人滿意的。由于在本次研究中藥品采購量的變化是在時間序列上面進行的，所采取的預測方法是單步預測，每月的藥物采購量還要受很多因素影響，不可能做到預測結果與實際的數據完全一致。除此之外，基本藥物制度實施的時間并不長，在湖北省基本藥物集中采購平臺上所獲取采購量的數據時間范圍也不長，所以個別藥品誤差的較大偏倚也在預料之中。

根據計算得出的結果，可以很好地預測一個月或幾個月內內湖北省的基本藥物采購量，相關基本藥物生產企業可以根據預測結果做好生產計劃安排和原料采購等工作，提高企業生產運作效率和經濟效益；基本醫療機構可以根據情況調整藥物儲備和使用量，以使基本藥物的利用率和可及性都能得到很好的保障。

3 總結與展望

本文對湖北省2011年5月-2012年11月抗生素大類的部分基本藥物品種的采購量預測進行了定量分析，主要采用了BP神經網絡法進行預測的實證研究，不僅簡化了網絡結構，而且提高了預測精度。結果比較理想，說明本文所建立的基于BP神經網絡預測模型具有較好的預測能力和推廣潛力。

1） 采購決策行為是由主觀因素及客觀因素相互影響共同構成，具有動態性和復雜性等特點。人工神經網絡作為高度非線性體系，能夠對影響采購行為的各變量之間的非線性關系進行高精度的逼近，從而實現預測功能。

2） 實證表明，人工神經網絡雖然存在不足，但其優勢還是顯而易見的。人工神經網絡是一個高度自動化的系統，只要有基本藥物的歷史采購量，通過神經網絡的訓練和仿真，達到滿意精度后即可輸出特定時間點的采購量，為基本藥物采購決策提供科學的信息支持。但由于影響基本藥物采購的各因素并不明了，難以對基藥采購量的波動情況進行解釋，無法提供有意義的干預措施。

3） 由于社區衛生服務機構長期以來缺乏對藥品使用數據的收集，在對其藥品需求分析時沒有足夠多的信息予以支持，所以在對BP神經網絡的推廣應用中，需要保證社區醫療機構對藥品使用數據的收集、整理與統計，從而增加預測的準確性。

4） 加強有關基本藥物采購分析的理論研究。基本藥物不同于一般商品，其供需關系雖然較為穩定，但是在現存醫患信息極不對稱的情況下，由于誘導需求、道德風險等問題造成劣品驅逐良品的現象，而對基本藥物的可及性和供需帶來不必要的風險。現行的有關基本藥物采購理論還需進一步完善。

5） 對基本藥物采購量分析方法的探索。本文運用BP神經網絡在基本藥物采購量短期預測上面進行一次有益的探索，結論雖然具備理論指導意義和實際應用價值。但是由于BP神經網絡無法探知對變量造成波動的影響因素，若從現實意義進行指導，還需要結合其他的分析方法如多元回歸分析、主成分分析等方法來相互補充，揚長避短。

參考文獻

[1] 王維， 賀京同， 張建勛， 等. 人工神經網絡在非線性經濟預測中的應用[J]. 系統工程學報， 2000， 15（2）： 202-207.

[2] 劉衛紅， 崔振霞. 基于BP神經網絡的藥品采購資金管理研究[J]. 中國鄉鎮企業會計， 2012， 20（1）： 70-71.

[3] 張俊才， 黃萬杰. BP神經網絡在醫療器材需求預測中的應用[J]. 醫療衛生裝備， 2004， 25（4）： 8-9.

第7篇：神經網絡過擬合的表現范文

（黑龍江民族職業學院，黑龍江 哈爾濱 150066）

摘　要：盈余預測具有引導投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內對公司未來盈利進行預測的研究還相當少。提出了以決策樹作為基分類器，采用集成學習方法，利用上市某公司2001至2005年的財務數據對該上市公司在2006年的盈利狀況進行預測研究。首先，采用有放回的隨機抽樣技術分別從訓練樣本和測試樣本中產生50個訓練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓練子集分別進行訓練，得到50個基決策樹分類器；通過采用Bagging方法，構建決策樹集成模型。所得到的集成模型在測試集上的分類準確率達到96%以上，通過比較由不同數目的基分類器構成的集成模 型和單個分類器的預測準確率，證明了該集成模型的預測準確率高且穩定。

關鍵詞 ：神經網絡；集成學習；盈利預測

中圖分類號：F275文獻標志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數據挖掘與決策支持。

1 引言

公司的財務狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務報表數據和其它一些宏觀經濟數據（如GDP、CPI、利率等）及早準確預測公司未來的盈利狀況的話，那么就可以更有效地對公司進行管理和指導投資者的投資行為。但是，一個公司的財務報表往往只反映了公司在過去的財政年度內的經營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務狀況與其未來盈利之間的關系并沒有那么明顯，它受到很多因素的影響，要構建一個精確的模型反映它們之間的關系是很困難的。針對此情況，本文提出采用決策樹集成方法，構建模型來刻畫公司財務狀況與其未來盈利之間的關系，利用上市公司已有的財務數據，并結合主要的宏觀經濟變量來預測公司未來的盈利狀況，這必將是公司財務處理的一個新發展。

數據挖掘技術越來越多地被用于預測研究。集成學習方法作為數據挖掘技術中一種較新的方法，由于其在提高預測的準確性上的優點，正被越來越多的研究者使用。

盡管許多領域都應用集成學習方法來進行研究，但在對公司未來盈利的預測研究上還很少，在國內尚未見到任何報導。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進行了研究，但是他們只是將盈利狀況分為兩種情況來進行研究。本文通過利用集成學習方法，考慮宏觀經濟對公司盈利可能造成的影響，提出將宏觀經濟變量納入變量體系，同時，為了使結果更有指導意義，將上市公司的每股收益（EPS）指標將公司盈利的情況劃分為三類，即EPS為負，EPS大于均值及EPS介于二者之間，對其進行預測研究。

2 研究方法

2.1神經網絡

人工神經網絡是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經網絡具有非線性，自學習能力、自適應性強和容錯性高等優點，因而被廣泛用于各種非線性預測問題。

所有神經網絡都有一個輸入層和輸出層，一個網絡結構可以包含一個或多個隱含層。神經網絡的學習是通過調整連接權重和偏差實現的。Cybenko等人證明了如果神經網絡利用一個有界的，連續的，非遞減的激活函數時，只要不對隱含層的神經元數進行限制，一個三層網絡（包含一個隱含層）就能夠學習任意一個在輸入和輸出空間的連續映射[2]。在實際應用中用的最多的是BP神經網絡。

BP神經網絡是一種基于誤差后向傳播算法（BP算法）的多層感知器網絡。BP神經網絡的激活函數一般采用Log-Sigmoid或Tangent Sigmoid等可微函數。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據此修正各層權重，直到輸出結果滿足預先設定的精度要求或達到算法設定的最大循環次數。

2.2神經網絡集成

如何根據觀測數據學習得到精確估計是機器學習領域中人們非常關注的一個問題，機器學習的一個重要目標就是對新的測試樣本盡可能給出最精確的估計。構造一個高精度估計是一件相當困難的事情，然而產生多個只比隨機猜測好的粗糙估計卻很容易。傳統的機器學習方法是在一個由各種可能的函數構成的空間中尋找最接近實際分類函數的分類器。常用的單個分類器模型主要有決策樹、人工神經網絡等。

集成學習（ensemble learning）的基本思想是在對新的實例進行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結果按某種方式來進行組合，決定最終的分類，以取得比單個分類器更好的結果。如果把單個分類器比作一個決策者的話，集成學習方法就相當于多個決策者共同進行一項決策。

盡管單個神經網絡在處理非線性問題上表現良好，但是用單個神經網絡來進行預測，一個不足的地方就是結果的穩定性差。因為神經網絡的預測結果受網絡各層之間的初始權重影響很大。為了克服這一不足，本文利用集成學習的思想，采用以BP神經網絡作為基分類器的神經網絡集成方法來對公司未來盈利狀況進行預測。

以神經網絡作為基分類器構建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現，而且不容易產生過擬合現象。對一個已知的有n個數據元素的數據集，Bagging法的原理是[1]：對每次循環（=1，2，…，），采用有放回的隨機抽樣方法從數據集中抽取m個數據形成訓練集（mn），分類器模型從中學習。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數據樣本來自天軟數據庫。在剔除了財務變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經營能力，資本結構，盈利能力，現金流，每股指標等方面的29個財務變量作為初始變量。此外，為了研究宏觀經濟環境對公司未來盈利的影響，相應的選擇了2001年至2006年的三個宏觀經濟變量：國內生產總值增長率（GDP），居民消費價格指數增長率（CPI）及一年期金融機構貸款基準利率。這幾個變量都與公司的盈利狀況有著密切的關系。國內生產總值反映了整個國家的經濟狀況，而居民消費價格指數是反映居民購買并用于消費的商品和服務項目價格水平的變動趨勢和變動幅度的相對數，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機構貸款基準利率會影響公司的營運成本，會對公司的利潤產生直接的影響。所有變量見附表。

為了預測未來公司的盈利狀況，本文將數據樣本分為訓練樣本和測試樣本。其中，訓練樣本由2001年至2005年的公司樣本數據用有放回的隨機抽樣方法得到，每個訓練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數據樣本，包含400個觀測。

3.2指標選擇

對于初始變量表，變量之間存在著相關性。雖然神經網絡對變量間的相關性具有較強的容忍度，但是，變量太多會增加網絡的復雜度，還有可能使網絡過適應，從而使得網絡在測試樣本上的表現很差，而且并不是變量越多，神經網絡的預測精度就越大，所以適當選擇具有代表性的指標變量既可以達到與用所有變量相同的預測精度，又能降低網絡的復雜度，避免使網絡陷入過適應，提高網絡的訓練速度。

然而，運用神經網絡方法，對輸入變量的選取目前并沒有一個公認的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數據挖掘軟件包選項面板中的建模欄中的特征選擇節點來對變量進行篩選。通過構建一個帶有特征選擇節點的流，可以為每一訓練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓練樣本進行訓練，得到兩種神經網絡模型，分別對測試樣本進行分類，并分別構建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數據樣本進行訓練得到單個神經網絡模型，用該模型對測試樣本進行預測。如何產生不同的分類模型是影響集成模型準確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網絡結構，不同的訓練數據，不同的訓練算法常用來產生分類模型。本文采用不同的訓練數據和不同的網絡結構這兩種方式結合得到基神經網絡。

按照Bagging方法的要求，本文采用有放回隨機抽樣方法，從訓練樣本中隨機抽取了15個子訓練集，并用相同的方法從測試集中抽取了400個樣本數據組成測試集。每個子訓練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節點在每個訓練集上選出的變量分別在這15個子樣本上進行訓練得到子分類器，然后用這些子分類器對測試樣本進行分類。采用多數投票法對子分類器進行集成，得到集成方法在測試集上的預測結果。

3.4 結果分析

為了比較集成模型與單個神經網絡預測準確率的差異，按照單個神經網絡模型預測準確率按升序進行排序，分別計算了由7個、9個、11個、13個、15個基神經網絡模型構成的集成模型的預測準確率，集成模型，不論是由用全部變量進行訓練得到的基神經網絡構建還是由用篩選出的變量進行訓練得到的構建，都顯示出了很高的準確率，而且得到的預測準確率相當穩定。

4 結論

本文利用神經網絡集成的方法，以上市公司過去的財務數據和宏觀經濟數據為樣本，對上市公司的未來盈利狀況進行預測。研究結果表明，相比于單個神經網絡模型，盡管選用7個預測精度最差的單個神經網絡作為基神經網絡，其集成網絡的預測準確率仍然很高，因而集成方法得到的結果更穩定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰性的問題。本文的研究結果還表明，采用神經網絡集成方法來研究未來盈利狀況是可行的。進一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預測更為準確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關，因此，如何合理選取量化一些有關公司治理的指標變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產生集成神經網絡的方法。除了Bagging方法，還有其他產生集成神經網絡的方法，比如Boosting方法。不同的方法會得到不同的結果，從而通過比較不同的結果，可以得到一個用來研究此類問題的最好的方法。

參考文獻：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機械工業出版社，2006．

第8篇：神經網絡過擬合的表現范文

關鍵詞：GPS；高程擬合；大地高；正常高；擬合精度

Abstract: This paper discussed in detail the problems of GPS leveling survey, summarizes the commonly used methods of GPS height fitting, quasi geoid instances to two surface, polyhedral function, BP neural network method to fit the calculation by using MATLAB language program, analysis and draw some conclusions.

Key words: GPS; height; geodetic height; normal height; fitting accuracy

中圖分類號：P228.4 文獻標識碼： A文章編號：2095-2104（2012）01-0020-02

一、引言

由于精度的限制,長期以來,工程應用領域在利用GPS測量中平面位置信息的同時,浪費掉了大量高程信息。因此,GPS測高在一定程度上取代幾何水準的限制性和可行性一直受到各方面關注。利用GPS水準進行測高，主要是通過GPS水準擬合所測區域的高程異常分布，將GPS所測點的大地高轉化為正常高。由GPS得到正常高，其精度取決于多方面因素，本文采用多種擬合模型，對大范圍GPS水準實測數據做了實驗研究，對其結果進行了比較，討論了相關問題，得出了具有實際應用的參考意見。

二、似大地水準面的模擬與GPS高程擬合

GPS高程測量的基本原理

由高程系統的理論可知,測站點的大地高H與正常高h之間有如下關系:

h=H-ζ (1)

式中ζ稱為高程異常。

由(1)式可看出, 若能求出GPS點的高程異常,就可確定GPS點的正常高h。因此,高程異常的確定成為GPS高程轉換的關鍵。

縱觀高程異常的確定方法，可以分為幾何解析法和重力法兩類。

幾何解析法是用一個1次或高次的解析多項式擬合出測區的似大地水準面，進而內插出GPS點上的高程異常值。

GPS重力高程是用重力資料求定點的高程異常，結合GPS求出的大地高，再求出點的正常高（或正高）的一種方法，應用中需結合地形數字模型和地球重力場模型數據。對于一般工程單位而言，無法獲得必要的重力數據，故重力法難于普及。

本文主要研究從幾何觀點出發推求大地水準面的方法，此類方法的基本思想如下：

假設在測區內有若干個既進行了GPS測量又聯測了水準高程的GPS點，那么可利用大地高和高程異常之間的關系，推算出各水準重合點的上的高程異常，利用這些離散數據點上的異常值，可以擬合出測區所在局部區域的似大地水準面，進而可以內插出未知點上的高程異常，實現橢球高向正常高的轉換。

幾種常用的擬合方法

繪等值線圖法

這是最早的GPS水準方法。其原理是：設在某一測區，有m個GPS點，用幾何水準聯測其中n個點的正常高，根據GPS觀測獲得的點的大地高，按（1）式求出n個已知點的高程異常。然后，選定適合的比例尺，按n個已知點的平面坐標（平面坐標經GPS網平差后獲得），展繪在圖紙上，并標注上相應的高程異常，再用1~5cm的等高距，繪出測區的高程異常圖。在圖上內插出未聯測幾何水準的（m-n）個點的高程異常，從而求出這些待求點的正常高。

三次樣條曲線擬合

當測線長，已知點多，ζ變化大時，如果進行整體擬合，精度較低，若分段擬合計算，則分段點上將不連續，且影響擬合精度，這時宜用三次樣條曲線擬合。

多面函數擬合

多面函數是從幾何觀點出發，解決根據數據點形成一個平差的數學曲面問題。其理論根據是認為“任何一個圓滑的數學表面總可以用一系列有規則的數學表面總和，以任意的精度逼近”。它在每個數據點上同各個已知點分別建立函數關系（這種函數稱為核函數，其表現形式為一規則的數學曲面），將這些規則的數學曲面按一定的比例疊加起來，就可以擬合出任何不規則的曲面，且能達到較好的擬合效果。多面函數的核函數可以按幾何關系確定，它是距離的函數，且顧及了待定點和已知點間的相關關系，起權系數矩陣作用。

加權平均值法擬合

采用加權平均值法推算未知點的高程異常進行GPS高程轉換時，必須使水準重合點沿控制網比較均勻地分布，使推算點位于已知點所圍成的多邊形內，否則不能保證內插點上計算結果的可靠性。另外，還應使多邊形范圍內有一定數量的水準重合點，并盡可能地均勻分布。一些實驗與分析資料顯示，控制網中水準重合點的數量越多，密度越大，分布情況越好，利用加權平均值法求得的高程異常值的準確程度越高 （即GPS大地高轉換為正常高的實際精度越高）。一般要求一個網中水準重合點的數量要保持在10個左右，至少為 6個。

曲面擬合法

當GPS點布設成一定區域面時，可以應用數學曲面擬合法求定待定點的正常高。其原理是：根據測區中已知點的平面坐標（X，Y），或大地坐標（B，L）和ζ值，用數值擬合法，擬合出測區似大地水準面，再內插出待求點的ζ，從而求出待求點的正常高。

神經網絡法

人工神經網絡是一門新興交叉科學，它是生物神經系統的一種高度簡化后的近似，是處理非線形映射問題的有效工具。基于神經網絡來轉換GPS高程是一種自適應的映射方法，設作假設，理論上比較合理，能避開未知因素的影響，減少人為構造的數學模型的誤差。

擬合法進行GPS高程轉換的幾個問題

（1）擬合函數的選取。大范圍GPS水準高程異常分布的嚴格確定是十分困難的，高程異常的確定不僅取決與地球內部密度變化而且還取決地形起伏等各種因素。因此，用一種數學函數去擬合測區中給定的高程異常點，其模型誤差是不可避免的，選取模型誤差較小的擬合方程來描述其高程異常分布是一種相對合理的方法。

（2）如果選擇的擬合模型較好，能否較準確的擬合出該測區的局部似大地水準面的關鍵在于已知高程異常值的準確性。采用擬合法確定地面點的正常高是建立在兩個前提基礎上的：平差后的GPS高程觀測值具有很高的精度，可以看作是精確值；已知高程控制點上的正常高亦可看成精確值。

（3）GPS網中水準點的選擇和分布。水準點的分布對于擬合效果有著至關重要的影響。原則上要求水準重合點的分布盡可能的均勻，而且在網的邊界上布設水準重合點，這樣可以大大降低內插出的非重合點上的高程異常的不可靠性。

三、實驗研究

為研究擬合模型，水準點的精度及布設形式對擬合精度的影響，本文利用上述模型中的曲面擬合法、多面擬合法及神經網絡法，用MATLAB語言編程實現了對某GPS網的高程擬合。

（1）實驗區概況

該GPS控制網共有15個點與水準點重合，控制面積為150k m2, 測區水準點分布圖如圖1，高程成果表見表1。

圖1點位分布圖

測區高程成果表表1

從表 1 中的高程異常值可知，該測區的局部似大地水準面較為平緩，且沒有顯現孤值性，均可參加擬合計算。

（2）為了選擇較好的擬合方案,對如下的幾種情況做了計算,并分析比較擬合結果。

(1)隨機選擇10個已知點，用二次曲面、多面函數、BP網絡進行擬合，結果見表2。

(2)選擇10個分布比較均勻的已知點，用二次曲面、多面函數、BP網絡進行擬合,結果見表3。

不同模型隨機選點擬合結果 表2

不同模型均勻選點擬合結果表3

四、結論

從上面擬合結果比較得出如下結論：

（1）某一區域的GPS高程擬合與模型的選擇有很大關系，選擇某一模型的時候，既要橫向比較，即同一模型不同條件比較，也要縱向比較，即不同模型之間比較。

（2）GPS水準高程擬合精度與已知點的精度有關。當已知點精度降低時，待定點精度明顯降低，要得到較高精度的GPS水準高程，就需要保證已知點精度。

（3）已知點的位置對GPS水準高程擬合的精度影響很大。待定點精度在很大程度上取決與已知點的分布狀況。在進行GPS水準高程擬合時，一定要使已知點均勻分布整個測區，并具有一定的代表性。

（4）在較大范圍內，用神經網絡方法轉換GPS高程優于二次曲面和多面函數法，所獲得的正常高可滿足各種大比例尺測圖的精度要求。

參考文獻：

[1]陶本藻，蔡風萍 大范圍GPS水準擬合模型的選取及其實驗研究[J].工程勘察，2005，（1）。

[2]李崇貴，牟玉香，趙書河用嶺估計研究不完全三維趨勢面在GPS工程水準測量中的應用[J].測繪通報，1998，（8）。

第9篇：神經網絡過擬合的表現范文

關鍵詞： 高維BP神經網絡； 粒子群算法； 神經網絡； 結構優化

中圖分類號： TN711?34； TP311 文獻標識碼： A 文章編號： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前關于高維多目標優化問題的理論和方法大都限于少數幾種算法，如NSGA?II算法，粒子群優化（PSO）算法。粒子群優化算法是Kennedy等受到飛鳥集群活動的啟發而提出的一類新興的基于集群智能優化算法[1?5]。相比進化算法，PSO具有易于實現和收斂速度快等優勢。近年來PSO在多目標優化領域的研究上取得了較大進展[6?9]，在神經網絡訓練、復雜函數優化、圖像處理、工業系統優化等領域應用廣泛[10]，PSO在特性的函數優化問題上更是發揮著重要作用，這些特性函數通常具備維數高、非線性、規模大、非凸和不可微等特點，一般計算方法運算困難。針對粒子群優化算法的優點以及傳統BP神經網絡存在的諸如較慢的收斂速度、較低的學習效率，并且在計算過程中較難計算出局部極小值等問題[11?14]，提出一種基于高維粒子群算法的神經網絡優化方法，結合二者優點使其更好地應用于實際中。

1 基于高維PSO算法的BP神經網絡優化

1.1 高維PSO算法簡介

粒子群算法是一種集群行為的計算方法，在不局限于二維空間，考慮高維時，即是高維PSO算法。設搜索空間為[D]維，粒子集群是由[M]個粒子組成，其中，第[i]個粒子的空間位置表示為[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飛行速度應表示為[Vi=][vi1，vi2，…，viD。]將空間位置和飛行速度數值代入優化目標函數中，從而計算出用于衡量[x]優劣的適應值。假設粒子[i]搜索到的最優位置為[Pi=pi1，pi2，…，piD，]整個粒子群搜索到的最優位置記為[PK=pK1，pK2，…，pKD。]此時，對于每一代粒子，其第[d]維[1≤d≤D]的速度和位置根據式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表慣性權值數值，一般為線性慣性權值，慣性權值的作用是提高粒子群算法的全局、局部優化能力；[t]代表現在的迭代次數；[itmax]代表迭代的最大次數；[c1]和[c2]代表學習因子；[r1，r2]代表在[0，1] 范圍內變化的兩個隨機數值。

粒子位置的更新如圖1所示。

1.2 BP神經網絡

BP神經網絡在結構上一般由輸入層、隱含層、輸出層三層構成，屬于多層前饋神經網絡，包括輸入信號前向傳遞和誤差反向傳播兩個過程。BP神經網絡廣泛應用在各種預測模型中。網絡結構一般只需單個隱含層就能以任意精度逼近任意有理函數。訓練樣本的輸入、輸出向量的維數分別決定了網絡的輸入、輸出層神經節點個數，典型的只有單個隱含層、單個輸出的BP神經網絡結構如圖2所示。

在圖2中，[xi=x1，x2，…，xn]代表一組BP神經網絡的輸入向量；[y]代表一組BP神經網絡的目標輸出值；[wij]代表輸入層和隱含層兩層級之間的連接權值；[wj1]代表隱含層和輸出層兩層級之間的連接權值。[aj，b]分別為隱含層和輸出層的節點閾值。若設隱含層節點個數為[m，]則[j=1，2，…，m=1，]在輸入信號前向傳遞過程中，[xi]從輸入層逐層傳輸到隱含層和輸出層，由傳輸過程中各層連接權值矢量、閾值矢量和相應的激勵函數計算，得出輸出層的預測輸出值[Y，]若預測值[y]與目標值[Y]之間有誤差，則誤差部分轉入反向逐層傳遞，沿誤差減小的方向調整網絡各層連接的權值、閾值。反復執行以上過程，使得BP神經網絡的預測值不斷逼近實際輸出值。

1.3 PSO算法的優化

在實驗過程中，種群的中間粒子更容易得到全局最優位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用慣性因子[σ，]慣性因子更容易追蹤種群中最優粒子的位置并確保速度連續變化，即粒子下一時段的運行速度是在上一時段\行速度的基礎上迭代產生的，提高了PSO算法的性能，該優化算法稱為帶慣性項的粒子群算法。采用慣性因子[σ]后，新的粒子速度公式為：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

優化后的PSO算法更容易找到最優位置。在最優位置找尋過程中，如果粒子探索的程度是在新的方向則被稱為探測，而仍然在原始軌跡搜索則稱為開發。探測和開發是找尋最優位置的必經過程，調整粒子探測和開發程度可以更好地找尋最優位置并達到優化效果。所以，常將隨機變化的加速常數[c1]和[c2]應用到帶慣性項的粒子群算法，代表粒子向個體極值和全局極值推進過程中的隨機加速權值，從而動態改變探測和開發所占的比例，使其盡快找到全局最優位置，該優化算法稱為引入慣性項和隨機加速常數的粒子群算法。其中，加速常數[c1]和[c2]定義為：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系統隨機生成的數；[t，Tmax]代表當前進化代數和最大進化代數。

1.4 BP網絡權值優化方法

由BP網絡的三層結構可知，用[ujht]代表輸入層和隱含層的網絡權值，[wkj（t）]代表隱含層和輸出層的網絡權值，[θk]代表輸出節點閾值，[θj]代表隱含層節點閾值。具體更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隱含層節點[j]的輸出信號；[Ih]代表輸入層節點[h]的輸入信號；[δk]代表輸出層節點[k]的誤差；[σj]代表隱含層節點[j]的誤差；[α， β]代表學習參數，參數取值范圍為0.1～0.9。

1.5 高維粒子群BP的算法實現

高維粒子群優化BP神經網絡需要確定網絡的拓撲結構，根據網絡的拓撲結構確定粒子搜索空間的維數，即粒子長度，以誤差均方值作為基準調節BP網絡中的權值和閾值，以粒子群優化的適應度函數作為BP網絡誤差的反傳函數，據此建立誤差均方值與粒子群優化的適應度函數的對等關系，目標函數的表達式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表總訓練樣本數；[fi]代表目標函數的誤差平方和；[y（k）]代表目標函數的目標輸出值；[ym（k）]代表目標函數的實際輸出值。

改進粒子群算法尋優的具體步驟如下：

（1） 初始化粒子群參數。初始化粒子群規模、最大迭代次數[Tmax、]學習因子[c1]和[c2、]慣性權重[wmax]和[wmin]在特定位置與速度范圍內隨機初始化位置向量和速度向量。

（2） 初始化BP神經網絡。由實際情況確定BP神經網絡的拓撲結構，并建立下一步運算的網絡模型，進一步明確粒子維度。

（3） 輸入網絡訓練樣本。通過步驟（1），步驟（2）初始化的位置向量輸入網絡訓練樣本，確定網絡的權值和閾值，計算出期望輸出的誤差均方值和實際輸出的誤差均方值，由二者的誤差均方值可以得到粒子群的適應度函數。在粒子群適應度函數的基礎上結合位置和慣性因子可以計算粒子新的運動位置和運動速度。

（4） 迭代運算。確定每個粒子的個體極值和全局極值：粒子[i]的適應度值[fi]與個體最優值[Pbest]比較，如果小于[Pbest]則取代它作為當前的個體最優；適應度值[fi]與全局極值[gbest]比較， 如果小于[gbest]則取代它作為當前的全局最優。當停止迭代時，會得到粒子在全局的最優位置，此時需要把該數值作為BP網絡的最后權重值，映射為BP神經網絡的權值和閾值。

（5） 將樣本數據源中訓練樣本輸入到已確定的網絡模型中進行訓練，用測試樣本做預測。

2 高維粒子群BP算法實例仿真

高維粒子群BP算法仿真實驗的實驗數據采集自沈陽市和平區易發生交通擁堵的某一路段，采集方式是在測試車輛上安裝激光測距儀和 GPS設備，采樣時間設置為2 s，采樣時間段為早、中、晚高峰期三小時的時間區間，并多次測量采集數據，選擇每組中發生事件的實驗數據為6 rain，參照上述標準共采集150組樣本數據，把樣本數據歸一化。將100組訓練數據、50組測試數據輸入到Matlab進行運算，電腦內存為8 GB，利用本文的高維粒子群算法的BP神經網絡優化算法訓練，最后將測試樣本分類判別，檢驗最后的計算性能。部分原始樣本數據見表1。

設置高維粒子群算法的參數，其中，種群數量設置為[m=30，]維數設置為[D=12×13+13×4+4=212，]加速因子設置為[c1=c2=1.50，]慣性因子設置為[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值為5，位置最小值為?5，最大迭代次數[N=100。]當計算循環過程達到終止迭代次數時則終止計算。

通常采用交通事件的檢測率（DR）、平均檢測時間（MTTD）、誤判率（FAR）評價交通事件自動檢測的算法效率。通過采用本文優化的計算方法對采集到的數據進行分類訓練等一系列計算分析，并將最終分析結果和經典事件檢測算法、BP神經網絡算法比較。結果表明，經過優化后的高維粒子群BP神經網絡的檢測率、算法性能均優于經典算法和BP神經網絡算法，其中97，50個測試樣本中僅有2個測試樣本與應該達到的數值不一致，其他樣本都滿足測試要求，并且平均優化測試時間是傳統BP神經網絡檢測時間的一半，結果對比見表2。

3 結 語

本文基于高S粒子群算法的BP神經網絡結構優化方法，改進了傳統運算方法的檢測時間長、收斂速度慢的缺點，且容易實現，是一種新興的群智能優化算法，優化全面，適用范圍廣泛，具有較高的精度和較好的擬合性能。

參考文獻

[1] 姚爾果，閆秋粉，南振岐，等.基于改進粒子群算法的BP神經網絡模型研究[J].佳木斯大學學報（自然科學版），2012，31（1）：107?109.

[2] 謝錚桂，鐘少丹，韋玉科.改進的粒子群算法及收斂性分析[J].計算機工程與應用，2011，47（1）：46?49.

[3] 閏紀如.粒子群優化的神經網絡在交通流預測中的應用[D].杭州：浙江工業大學，2013.

[4] 劉洪波，王秀坤，孟軍.神經網絡基于粒子群優化的學習算法研究[J].小型微型計算機系統，2005，26（4）：638?640.

[5] 胡衛東，曹文貴.基于改進粒子群算法的BP神經網絡在邊坡穩定性評價中的應用[J].湖南理工學院學報（自然科學版），2014，27（2）：71?77.

[6] 劉坤，譚營，何新貴.基于粒子群優化的過程神經網絡學習算法[J].北京大學學報（自然科學版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改進粒子群算法的BP神經網絡及其應用[J].計算機工程與應用，2009，45（35）：233?235.

[8] 張德慧，張德育，劉清云，等.基于粒子群算法的BP神經網絡優化技術[J].計算機工程與設計，2015，36（5）：1322?1328.

[9] 肖俊生，任諱龍，李文濤.基于粒子群算法優化BP神經網絡漏鋼預報的研究[J].計算機測量與控制，2015，23（4）：1302?1305.

[10] 沈學利，張紅巖，張紀鎖.改進粒子群算法對BP神經網絡的優化[J].計算機系統應用，2010（2）：57?61.

[11] 江麗，王愛平.基于粒子群與BP混合算法的神經網絡學習方法[J].計算機應用，2012，32（z2）：13?15.

[12] 徐大明，周超，孫傳恒，等.基于粒子群優化BP神經網絡的水產養殖水溫及pH預測模型[J].漁業現代化，2016，43（1）：24?30.