神經(jīng)網(wǎng)絡(luò)反向傳播公式精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)反向傳播公式主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

中圖分類號(hào):TP39文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1007-3973(2010)06-061-02

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò),其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網(wǎng)絡(luò)的學(xué)習(xí)算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡(luò),設(shè)k為迭代次數(shù),則每一次權(quán)值和閾值的修正案下式進(jìn)行:

式中:w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)= 為第k次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對(duì)個(gè)權(quán)值或閾值的梯度向量。負(fù)號(hào)代表梯度的反方向,即梯度的最速下降方向。 為學(xué)習(xí)速率,在訓(xùn)練時(shí)事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,其默認(rèn)值為0.01,可以通過改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù),在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均誤差MSE(mean square error):

根據(jù)(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權(quán)值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因?yàn)榉聪騻鞑ニ惴ǖ膽?yīng)用廣泛,所以已經(jīng)開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎(chǔ)上修改公式(2.1)的權(quán)值更新法則,即引入沖量因子,并且0≤

標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時(shí),只按照第K步的負(fù)梯度方向進(jìn)行修正,而沒有考慮到以前積累的經(jīng)驗(yàn),即以前時(shí)刻的梯度方向,從而常常使學(xué)習(xí)過程發(fā)生振蕩,收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是:將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上,作為本次的實(shí)際權(quán)值調(diào)整量,即公式(2.3)所示:是沖量系數(shù),通常0≤

(3)學(xué)習(xí)率可變的BP算法(variable learnling rate backpropagation,VLBP)

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng),學(xué)習(xí)率選得太小,收斂慢;反之,則有可能修正的過頭,導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法,在訓(xùn)練的過程中,力求使算法穩(wěn)定,而同時(shí)又使學(xué)習(xí)的不長(zhǎng)盡量地大,學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過乘上一個(gè)相應(yīng)的增量因子來調(diào)整學(xué)習(xí)率的大小。即公式(2.5)所示:

其中:為使步長(zhǎng)增加的增量因子,為使步長(zhǎng)減小的增量因子; 為學(xué)習(xí)率。

3 建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

BP預(yù)測(cè)模型的設(shè)計(jì)主要有輸入層、隱含層、輸出層及各層的個(gè)數(shù)和層與層之間的傳輸函數(shù)。

(1)網(wǎng)絡(luò)層數(shù)

BP有一個(gè)輸入層和一個(gè)輸出層,但可以包含多個(gè)隱含層。但理論的上已證明,在不限制隱含層節(jié)點(diǎn)的情況下,只有一個(gè)隱含層的BP就可以實(shí)現(xiàn)任意非線性映射。

(2)輸入層和輸出層的節(jié)點(diǎn)數(shù)

輸入層是BP的第一層,它的節(jié)點(diǎn)數(shù)由輸入的信號(hào)的維數(shù)決定,這里輸入層的個(gè)數(shù)為3;輸出層的節(jié)點(diǎn)數(shù)取決于BP的具體應(yīng)用有關(guān),這里輸出節(jié)點(diǎn)為1。

(3)隱含層的節(jié)點(diǎn)數(shù)

隱含層節(jié)點(diǎn)數(shù)的選擇往往是根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己的進(jìn)行的實(shí)驗(yàn)來確定的。根據(jù)前人經(jīng)驗(yàn),可以參考以下公式設(shè)計(jì):

其中:n為隱含層節(jié)點(diǎn)數(shù);m為輸入節(jié)點(diǎn)數(shù);t為輸出節(jié)點(diǎn)數(shù);a為1~10之間的常數(shù)。根據(jù)本文要預(yù)測(cè)的數(shù)據(jù)及輸入和輸出節(jié)點(diǎn)的個(gè)數(shù),則取隱含層個(gè)數(shù)為10。

(4)傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù):

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù),那么整個(gè)網(wǎng)絡(luò)的輸出就會(huì)限制在0~1之間的連續(xù);而如果選的是Pureline函數(shù),那么整個(gè)網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的MATLAB仿真實(shí)驗(yàn)

(1)樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來源于中國歷年國內(nèi)生產(chǎn)總值統(tǒng)計(jì)表,為了讓樣本數(shù)據(jù)在同一數(shù)量級(jí)上,首先對(duì)BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理:將原樣本數(shù)據(jù)乘上,同時(shí)將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測(cè)試樣本集,1991~1999年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集,即1991~1998年訓(xùn)練樣本作為訓(xùn)練輸入;1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出;1992~2000年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測(cè)試樣本集,即1992~1999年的測(cè)試樣本作為測(cè)試輸入,2000年測(cè)試樣本數(shù)據(jù)作為測(cè)試輸出。

(2)確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù),如第3節(jié)所述,本文選取S函數(shù)(tansig)和線性函數(shù)(purelin)。

(3)設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

(4)設(shè)定BP的學(xué)習(xí)精度為0.001;BP的學(xué)習(xí)率為0.1。

(5)創(chuàng)建BP結(jié)構(gòu)如圖4所示;訓(xùn)練BP的結(jié)果圖5所示:

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計(jì)的網(wǎng)絡(luò)模型相符,且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時(shí),就打到了學(xué)習(xí)精度0.000997788,其學(xué)習(xí)速度比較快。

(6)測(cè)試BP神經(jīng)網(wǎng)絡(luò)

通過MATLAB對(duì)測(cè)試樣本數(shù)據(jù)進(jìn)行仿真,與實(shí)際的2000年我國三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見表1),說明BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是可行的。、

5總結(jié)

總之,在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中,BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識(shí)別/分類、數(shù)據(jù)壓縮等。通過本文可以體現(xiàn)出MATLAB語言在編程的高效、簡(jiǎn)潔和靈活。雖然BP在預(yù)測(cè)方面有很多的優(yōu)點(diǎn),但其還有一定的局限性,還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn):

[1]周開利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].北京:清華大學(xué)出版社,2005.7.

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計(jì)[M].北京:機(jī)械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機(jī)械工業(yè)出版社,2003.1.

第2篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞 壓力傳感器；溫度漂移；溫度補(bǔ)償

中圖分類號(hào)：TP212 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）10-0038-02

壓力傳感器的輸出結(jié)果精度容易受到多種因素的影響，其中，唯獨(dú)是影響傳感器輸出精度的最主要因素。目前，國內(nèi)經(jīng)常使用硬件補(bǔ)償和軟件補(bǔ)償兩類方法對(duì)壓力傳感器進(jìn)行溫度補(bǔ)償。硬件補(bǔ)償方法調(diào)試難度較高、精度低、通用性也較差，在實(shí)際工程中應(yīng)用時(shí)，難以去得較好的效果；而軟件補(bǔ)償方法有效彌補(bǔ)了硬件補(bǔ)償?shù)娜秉c(diǎn)，其中BP神經(jīng)網(wǎng)絡(luò)補(bǔ)償在實(shí)際工程中運(yùn)用十分廣泛，但是典型BP神經(jīng)網(wǎng)絡(luò)補(bǔ)償法雖然精確度高，但是整個(gè)流程過于復(fù)雜、整個(gè)過程耗時(shí)較長(zhǎng)，因此，本文提出了一種基于主成分分析的BP神經(jīng)網(wǎng)絡(luò)補(bǔ)償方法，希望對(duì)提高補(bǔ)償效率和準(zhǔn)確性起到一定的作用。

1 典型BP神經(jīng)網(wǎng)絡(luò)補(bǔ)償原理分析

BP神經(jīng)網(wǎng)絡(luò)是目前研究中應(yīng)用范圍最廣的神經(jīng)網(wǎng)絡(luò)模型之一，BP神經(jīng)網(wǎng)絡(luò)術(shù)語單向傳輸網(wǎng)絡(luò)結(jié)構(gòu)，整個(gè)信息傳輸?shù)倪^程呈現(xiàn)出高度的非線性特點(diǎn)。典型的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、隱含層和輸出層3層結(jié)構(gòu)。通常情況下BP神經(jīng)網(wǎng)絡(luò)只有這3層結(jié)構(gòu)，這主要是由于單隱層的BP神經(jīng)網(wǎng)絡(luò)既可以完成從任意n維到m維的映射。其典型結(jié)構(gòu)如下圖所示。

BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型

BP算法設(shè)計(jì)到了信息的正向傳播以及誤差的反向傳播，信息首先從輸入層傳入，然后經(jīng)過隱含層的處理傳入輸出層，最終輸出的信息可以用下面的形式進(jìn)行表示：

其中：、分別代表了隱含層及輸出層的權(quán)值；

n0、n1分別對(duì)應(yīng)了輸入節(jié)點(diǎn)數(shù)及隱含層節(jié)點(diǎn)數(shù)。

輸出層神經(jīng)元的激勵(lì)函數(shù)f1通常呈現(xiàn)出線性特點(diǎn)；而隱含層神經(jīng)元的激勵(lì)函數(shù)f2通常采用如下所示的形式在（0，1）的S型函數(shù)中進(jìn)行輸出：

由于BP神經(jīng)網(wǎng)絡(luò)隱含層采用的傳遞函數(shù)為對(duì)數(shù)S型曲線，其輸出范圍在（0，1）之間。為了避免節(jié)點(diǎn)在短時(shí)間之內(nèi)飽和而無法繼續(xù)進(jìn)行訓(xùn)練，需要在訓(xùn)練開始之前利用下面公式對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理：

，

其中：Ui、Pi均為訓(xùn)練數(shù)據(jù)的標(biāo)定值；Uimin、Uimax分別表示輸出電壓的標(biāo)定極值（最小和最大）；Pimin、Pimax分別表示壓力的標(biāo)定極值（最小和最大）。

當(dāng)目標(biāo)矢量為T，信息通過正向傳遞，可以得到誤差函數(shù)，具體如下所示：

如果輸出結(jié)果無法達(dá)到要求的誤差范圍，則返回誤差信號(hào)并按照一定的權(quán)值對(duì)公式中的各層權(quán)值進(jìn)行修正，直到輸出結(jié)果達(dá)到期望值。

在利用典型BP神經(jīng)網(wǎng)絡(luò)進(jìn)行壓力傳感器溫度補(bǔ)償?shù)倪^程中，算法過于復(fù)雜，而且非常耗時(shí)，因此，需要對(duì)其進(jìn)行改進(jìn)，以提高補(bǔ)償效率。

2 BP神經(jīng)網(wǎng)絡(luò)法的改進(jìn)

2.1 改進(jìn)原理

基于典型的BP神經(jīng)網(wǎng)絡(luò)，利用以下方法進(jìn)行改進(jìn)。

1）利用小波神經(jīng)網(wǎng)絡(luò)的思想對(duì)神經(jīng)元的激勵(lì)函數(shù)進(jìn)行改進(jìn)，從而實(shí)現(xiàn)小波特性與BP神經(jīng)網(wǎng)絡(luò)自學(xué)功能的充分結(jié)合，提高激勵(lì)函數(shù)的逼近能力。以Morlet函數(shù)作為小波函數(shù)的母函數(shù)，可以降低不同層面神經(jīng)元之間的影響，提高網(wǎng)絡(luò)的收斂速度。以Morlet函數(shù)作母函數(shù)的小波函數(shù)屬于幅值小波，其信號(hào)中包含了復(fù)值和相關(guān)信息，改進(jìn)后的函數(shù)具體如下所示：

在本次研究中，我們選取了R個(gè)輸入樣本和N個(gè)輸出節(jié)點(diǎn)，則可以利用下面的公式對(duì)第l個(gè)樣本的第n個(gè)節(jié)點(diǎn)的輸入進(jìn)行表示：

其中：K表示神經(jīng)網(wǎng)絡(luò)隱含層的單元數(shù)量；M表示神經(jīng)網(wǎng)絡(luò)輸入層的單元數(shù)量；ωn，k表示神經(jīng)網(wǎng)絡(luò)隱含層第k單元與輸出層第n單元的連接權(quán)值；ak-小波伸縮因子；bk-平移因子；Sl（xm）―輸入信號(hào)。

2）在計(jì)算過程中通過，附加動(dòng)量法的應(yīng)用可以有效改實(shí)現(xiàn)梯度方向的平滑過渡，使得計(jì)算結(jié)果更具穩(wěn)定性。該方法以BP法為基礎(chǔ)對(duì)權(quán)值進(jìn)行調(diào)節(jié)，具體公式如下：

其中：t表示樣本的訓(xùn)練次數(shù)；η表示學(xué)習(xí)速率；σ表示動(dòng)量因子；σΔωki（t）表示附加動(dòng)量項(xiàng)，它能夠有效降低不同神經(jīng)元之間的影響，提高網(wǎng)絡(luò)的收斂速度。

2.2 主成分BP神經(jīng)網(wǎng)絡(luò)算法的實(shí)現(xiàn)

步驟1：按照典型BP神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)預(yù)處理方法對(duì)樣本數(shù)據(jù)進(jìn)行預(yù)處理。

步驟2：利用主成分分析法對(duì)預(yù)處理后的樣本數(shù)據(jù)進(jìn)行分析，降低輸入向量之間的影響，使各個(gè)輸入變量的協(xié)同方差趨于統(tǒng)一，從而使各權(quán)值具有相同的收斂速度，并以此確定神經(jīng)網(wǎng)絡(luò)的輸入節(jié)點(diǎn)。

步驟3：對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行初始化，并對(duì)其中的部分關(guān)鍵變量進(jìn)行設(shè)置。

步驟4：為神經(jīng)網(wǎng)絡(luò)選取一組學(xué)習(xí)樣本，以輸入節(jié)點(diǎn)作為網(wǎng)絡(luò)的輸入向量，并輸入期望fn，l，n=1，2，…，N；l=1，2，…，R。

步驟5：利用輸入的網(wǎng)絡(luò)參數(shù)計(jì)算網(wǎng)絡(luò)的實(shí)時(shí)輸出能力，當(dāng)輸出誤差在允許范圍之內(nèi)時(shí)，停止訓(xùn)練；而當(dāng)輸出誤差超過允許范圍 ，則將誤差信息進(jìn)行反向傳播，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向發(fā)生變化，然后利用梯度下降法計(jì)算出變化后的網(wǎng)絡(luò)參數(shù)，然后再重復(fù)進(jìn)行第4步的操作。

步驟6：BP神經(jīng)網(wǎng)絡(luò)在訓(xùn)練合格之后，對(duì)其進(jìn)行樣本補(bǔ)償。

步驟7：對(duì)補(bǔ)償后的樣本進(jìn)行反標(biāo)準(zhǔn)化處理，然后與實(shí)測(cè)數(shù)據(jù)進(jìn)行誤差比較，判斷出網(wǎng)絡(luò)改進(jìn)之后的變化。

2.3 壓力傳感器溫度補(bǔ)償

根據(jù)前文提供的BP神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)步驟，可以利用Matlab編程語言來實(shí)現(xiàn)。在實(shí)現(xiàn)該算法之后，我們通過在壓力傳感器量程范圍內(nèi)確定n個(gè)壓力標(biāo)定點(diǎn)，同時(shí)確定m個(gè)溫度標(biāo)定點(diǎn)。標(biāo)準(zhǔn)值發(fā)生器會(huì)根據(jù)每個(gè)標(biāo)定點(diǎn)的信息產(chǎn)生對(duì)應(yīng)的標(biāo)定輸入值。然后輸入樣本數(shù)據(jù)，樣本數(shù)據(jù)按照目標(biāo)值要求的±20%范圍進(jìn)行選擇，然后以誤差目標(biāo)小于10-3進(jìn)行訓(xùn)練，當(dāng)達(dá)到誤差目標(biāo)之后，網(wǎng)絡(luò)的收斂速度得到有效的提升。

3 結(jié)論

通過研究結(jié)果發(fā)現(xiàn)，利用主成分分析法對(duì)信息進(jìn)行補(bǔ)償之后，再利用BP神經(jīng)網(wǎng)絡(luò)對(duì)這些信息進(jìn)行訓(xùn)練，其學(xué)習(xí)速度相對(duì)直接利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練更高。同時(shí)，通過改進(jìn)典型的BP神經(jīng)網(wǎng)絡(luò)，利用小波函數(shù)作為激勵(lì)函數(shù)，并應(yīng)用動(dòng)量附加發(fā)對(duì)網(wǎng)絡(luò)敏感性進(jìn)行控制，可以有效避免網(wǎng)絡(luò)發(fā)生局部極小問題。通過基于主成分的BP神經(jīng)網(wǎng)絡(luò)溫度補(bǔ)償方法可以使壓力傳感器受環(huán)境溫度變化而發(fā)生的誤差問題得到高效、精確的解決。

參考文獻(xiàn)

第3篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

【關(guān)鍵詞】自組織神經(jīng)網(wǎng)絡(luò)；智能建筑管理；BP神經(jīng)網(wǎng)絡(luò)

1 基于自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理

基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)技術(shù)[1]是在自組織神經(jīng)網(wǎng)絡(luò)技術(shù)和專家系統(tǒng)的基礎(chǔ)原理運(yùn)用多層數(shù)據(jù)融合彌補(bǔ)了單循環(huán)數(shù)據(jù)在智能建筑工程管理分析數(shù)據(jù)處理的不足和邏輯的缺陷學(xué)科.多跳自組織神經(jīng)網(wǎng)絡(luò)是智能傳感器采集數(shù)據(jù)訓(xùn)練樣本仿真學(xué)習(xí)模型即自動(dòng)增速各個(gè)自組織神經(jīng)元連接權(quán)閥值與感知識(shí)別隱式分布在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)體系中實(shí)現(xiàn)自組織神經(jīng)網(wǎng)絡(luò)模式記憶與信息處理應(yīng)用.

2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在智能建筑管理中研究

2.1 基于多跳自組織神經(jīng)網(wǎng)絡(luò)在造價(jià)預(yù)測(cè)研究

基于大規(guī)模自組織BP神經(jīng)模型應(yīng)用40個(gè)高層智能建筑工程樣本訓(xùn)練并用工程實(shí)例進(jìn)行驗(yàn)證高精確性;而用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)模擬與輸入層和隱含層加入了偏置自組織神經(jīng)元來促進(jìn)學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)中有噪聲、干擾等會(huì)造成過度學(xué)習(xí)現(xiàn)象,同時(shí)采用遺傳優(yōu)化算法進(jìn)行建筑結(jié)構(gòu)優(yōu)化.基于BP神經(jīng)在智能建筑工程估價(jià)中的應(yīng)用“特征提取器”的運(yùn)算大量過去的工程資料中自動(dòng)提取工程特征與預(yù)算資料的規(guī)律關(guān)系數(shù)據(jù).

2.2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在工程管理績(jī)效評(píng)價(jià)中的應(yīng)用

運(yùn)用大規(guī)模自組織BP神經(jīng)模型對(duì)工程管理績(jī)效評(píng)價(jià)問題進(jìn)行研究建立綜合考慮工期、質(zhì)量、費(fèi)用、安全四大控制指標(biāo)的工程管理績(jī)效評(píng)價(jià)模型[2].實(shí)踐證明,基于BP神經(jīng)網(wǎng)絡(luò)在運(yùn)算工程管理績(jī)效評(píng)估模型有利于多跳自組織神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)工程工期、質(zhì)量、成本、安全與績(jī)效之間復(fù)雜的非線性關(guān)系來提高管理績(jī)效的評(píng)價(jià)數(shù)據(jù).

2.3 基于遺傳算法模型在建設(shè)工程評(píng)標(biāo)結(jié)構(gòu)優(yōu)化應(yīng)用

基于多層神經(jīng)網(wǎng)絡(luò)的工作原理是先將輸入信號(hào)傳輸?shù)较乱粚庸?jié)點(diǎn)運(yùn)算函數(shù)處理后再將該節(jié)點(diǎn)的輸出信息向下一層節(jié)點(diǎn)傳輸?shù)叫盘?hào)傳輸?shù)捷敵鰧庸?jié)點(diǎn)為止.同時(shí)運(yùn)用遺傳算法模型構(gòu)造及算法設(shè)計(jì)進(jìn)行方案優(yōu)劣排序、換位矩陣以及能量函數(shù)構(gòu)造、大規(guī)模自組織神經(jīng)元之間連接和輸出,并用實(shí)例說明了該方法的優(yōu)越性和實(shí)用性與非線性.

2.4 基于BP神經(jīng)網(wǎng)絡(luò)模型在建設(shè)工程招投標(biāo)管理應(yīng)用研究

基于BP神經(jīng)網(wǎng)絡(luò)多層數(shù)據(jù)融合多跳自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理分析自動(dòng)預(yù)測(cè)工程招投標(biāo)的招標(biāo)價(jià)格和風(fēng)險(xiǎn)因素分析以及競(jìng)標(biāo)單位資格審查等方面的應(yīng)用指出多跳自組織神經(jīng)網(wǎng)絡(luò)具有的高度并行處理和可完成復(fù)雜輸入輸出的非線性映射組合結(jié)構(gòu),不僅可以保證高的中標(biāo)率,且可避免招標(biāo)過程中不確定性因素的影響.運(yùn)用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)的工程承包招投標(biāo)報(bào)價(jià)的研究,提出了一個(gè)多因素確定高層智能建筑投標(biāo)報(bào)價(jià)的大規(guī)模自組織模型影響報(bào)高率的諸多因素,并確定了其權(quán)值即確定了用BP神經(jīng)網(wǎng)絡(luò)實(shí)施黑箱操作的樣本輸入值和目標(biāo)值再通過訓(xùn)練樣本自主調(diào)整修正輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)間的聯(lián)系得出符合各種情況要求的權(quán)值矩陣算法.

2.5 基于智能建筑算法模型研究

基于BP神經(jīng)網(wǎng)絡(luò)是以訓(xùn)練樣本算法即誤差反向傳播算法即BP神經(jīng)算法的學(xué)習(xí)過程分為信息的正向傳播和誤差的反向傳播[1],其通過訓(xùn)練樣本前一次迭代的權(quán)值和閾值來應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)的第一層向后計(jì)算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計(jì)算各層權(quán)值和閾值對(duì)總誤差的梯度進(jìn)而對(duì)前面各層的權(quán)值和閾值進(jìn)行修改運(yùn)算反復(fù)直到神經(jīng)網(wǎng)絡(luò)樣本收斂 BP神經(jīng)網(wǎng)絡(luò)輸入向量為

X=( )T;隱含層輸出向量為Y=( )T;輸出層的輸出向量為O= )T;期望輸出向量為 ;輸入層到隱含層之間的權(quán)值矩陣 ,其中列向量 為隱含層第j個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣 ,其中列向量 為輸出層第k個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量.各層信號(hào)之間的算法結(jié)構(gòu)為:

以上式中的 均為S類型函數(shù), 的導(dǎo)數(shù)方程為: （5）

神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的均方誤差為: （6）

則訓(xùn)練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:

式中: 為比例系數(shù),在模型訓(xùn)練中代表學(xué)習(xí)速率.如果BP自組織神經(jīng)網(wǎng)絡(luò)有 個(gè)隱含層,各隱含層節(jié)點(diǎn)分別記為 ,各隱含層輸出分別記為 ,則各層權(quán)值調(diào)整計(jì)算公式分別如下:

輸出層

綜合上述預(yù)測(cè)分析在BP神經(jīng)學(xué)習(xí)算法運(yùn)用各層權(quán)值調(diào)整公式均由學(xué)習(xí)速率、本層輸出的誤差信號(hào)和本層輸入數(shù)字離散信號(hào)決定在訓(xùn)練樣本學(xué)習(xí)的過程受決策環(huán)境復(fù)雜程度和訓(xùn)練樣本的收斂性即需要增大樣本量來提高網(wǎng)絡(luò)技術(shù)所學(xué)知識(shí)的代表性應(yīng)注意在收集某個(gè)問題領(lǐng)域的樣本時(shí),注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓(xùn)練樣本數(shù)據(jù).

3 結(jié)束語

自組織神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在智能建筑管理領(lǐng)域是在多層智能傳感器等多種信息技術(shù)飛速發(fā)展的多學(xué)科交叉研究領(lǐng)域得到廣泛應(yīng)用.

參考文獻(xiàn):

[1]周小佳.電力系統(tǒng)可靠性神經(jīng)網(wǎng)絡(luò)模型及實(shí)現(xiàn)研究[D].博士學(xué)位論文,1997.

[2]胡保清等.神經(jīng)網(wǎng)絡(luò)在土木工程領(lǐng)域的應(yīng)用[J].低溫智能建筑,2004(2).

作者介紹:

第4篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)； 最優(yōu)化；一種共軛梯度算法

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044(2008)12-20000-00

Training BP Neural Network using optimization methods

LI Xiang ,SU Cheng

(College of computer science,China University of Mining and Technology, Xuzhou 221000,China)

Abstract：BP neural network can efficiently approximate any nonlinear system, but there is a problem of inefficient learning speed with the conventional steepest descent algorithm. In this paper, we try to convert neural network to an optimization model, and apply conjugate gradient algorithm to it to bring a faster learning speed.

Keywords：Neural network ；Optimization ； Conjugate gradient algorithm

1 BP神經(jīng)網(wǎng)絡(luò)模型

BP(前饋式)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,可操作性強(qiáng),能模擬任意的非線性輸入輸出系統(tǒng)，是目前應(yīng)用廣泛的神經(jīng)網(wǎng)絡(luò)模型。BP網(wǎng)絡(luò)由輸入層i、隱含層j、輸出層k及各層之間的節(jié)點(diǎn)連接權(quán)組成，神經(jīng)元拓?fù)淙鐖D1：

網(wǎng)絡(luò)的學(xué)習(xí)過程由信息正向傳播和誤差反向傳播構(gòu)成:

正向傳播過程：輸入信息從輸入層經(jīng)隱含層逐層處理，傳向輸出層。若輸出層的實(shí)際輸出與期望的輸出不符，則轉(zhuǎn)入誤差的反向傳播。典型的BP神經(jīng)網(wǎng)絡(luò)模型如圖2所示：

設(shè)網(wǎng)絡(luò)中各個(gè)參數(shù)如下：

xi為輸入信號(hào)，yi為實(shí)際輸出信號(hào)，Yi為期望輸出信號(hào)wi為對(duì)應(yīng)于各個(gè)輸入信號(hào)的連接權(quán)值，θ為閾值，ε為給定的誤差。

（1）輸入層：輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值xi 。

（2）隱含層：對(duì)于節(jié)點(diǎn)j，其輸入值hj為其前一層各節(jié)點(diǎn)輸出值xi的加權(quán)和，它的輸出值為：

(lixiang03.tif)

（3）輸出層：輸出層類似于隱含層(lixiang04.tif)

神經(jīng)元結(jié)點(diǎn)的作用函數(shù)一般選用Sigmoid函數(shù)，即：(lixiang05.tif)

誤差函數(shù)一般選用(lixiang06.tif)

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程就是按最小誤差準(zhǔn)則來不斷調(diào)整網(wǎng)絡(luò)結(jié)點(diǎn)的權(quán)值，直至誤差

可以看到，BP神經(jīng)網(wǎng)絡(luò)實(shí)際可轉(zhuǎn)化為求解一個(gè)最優(yōu)化問題，它的目標(biāo)函數(shù)是(lixiang07.tif)。

2 最速下降法

2.1 基本搜索方法

針對(duì)神經(jīng)網(wǎng)絡(luò)的最優(yōu)化問題，傳統(tǒng)的搜索方法選用最速下降法，即通過多次迭代，對(duì)網(wǎng)絡(luò)權(quán)值進(jìn)行修正，使誤差目標(biāo)函數(shù)沿負(fù)梯度方向下降，迭代的公式如下：

(lixiang08.tif)

這種方法在剛開始幾步有較好的收斂效果，但當(dāng)?shù)钊牒笕菀紫萑胝袷?，出現(xiàn)鋸齒現(xiàn)象，導(dǎo)致結(jié)果精度不夠，訓(xùn)練過程較長(zhǎng)。

2.2 純梯度方法的改進(jìn)

針對(duì)最速下降法收斂速度慢的問題，很多研究者提出了一些改進(jìn)方法，主要有以下幾種：

（1）確定學(xué)習(xí)率

在基本網(wǎng)絡(luò)算法中，Δwi=wi(t+1)-wi(t)引用了固定的學(xué)習(xí)率η=1，為了更好的控制網(wǎng)絡(luò)的收斂性和學(xué)習(xí)速度，可以根據(jù)需要選擇自適應(yīng)的變學(xué)習(xí)率，一般取0

(lixiang10.tif)

學(xué)習(xí)步長(zhǎng)η是網(wǎng)絡(luò)學(xué)習(xí)的一個(gè)重要參數(shù)，在一定程度上也決定了網(wǎng)絡(luò)的收斂速度。學(xué)習(xí)步長(zhǎng)過小會(huì)導(dǎo)致權(quán)重值更新量過小,因而使收斂非常緩慢；學(xué)習(xí)步長(zhǎng)過大又會(huì)導(dǎo)致在極值點(diǎn)附近振蕩的可能性加大，乃至反復(fù)振蕩而難以收斂。具體數(shù)值應(yīng)根據(jù)對(duì)誤差函數(shù)的影響來決定。

（2）加入動(dòng)量項(xiàng)

這種措施又稱為慣性校正法,其權(quán)值調(diào)整公式可用下式表示：

(lixiang11.tif)

α為動(dòng)量系數(shù)，這種方法在調(diào)整權(quán)值時(shí)，不僅考慮了本次迭代，而且兼顧上次的調(diào)整結(jié)果，能夠在加速收斂的同時(shí)一定程度地抑制振蕩。

（3）改進(jìn)誤差函數(shù)

在基本網(wǎng)絡(luò)算法中，引用的誤差函數(shù)是(lixiang12.tif)?？梢钥吹?，這是一個(gè)誤差的絕對(duì)量，不能有效地表征樣本的相對(duì)誤差程度。對(duì)于某個(gè)節(jié)點(diǎn)會(huì)出現(xiàn)誤差的絕對(duì)量很大但是比例卻很小的情況。為了避免上述問題，引入相對(duì)誤差函數(shù)：

首先，對(duì)(lixiang13.tif)變形，(lixiang14.tif)，把不含有實(shí)際輸出的Y提出，得到相對(duì)誤差函數(shù)(lixiang15.tif)。相對(duì)誤差函數(shù)Jp使用誤差量的相對(duì)比例來表征樣本誤差ε ，具有更好的效果。

類似的針對(duì)最速下降法的改進(jìn)方法還有很多，但是它們無法從根本上解決純梯度方法的局部振蕩性，收斂速度慢的問題仍然有待解決。

為了解決收斂速度慢的問題，本文采用共軛梯度法代替沿負(fù)梯度方向的最速下降法，它比最速下降法在收斂速度上有很大的改進(jìn)。

3 共軛梯度法

3.1 共軛梯度法原理Jp

共軛梯度法是求解無約束優(yōu)化問題 (lixiang16.tif)的一類非常有效的方法，它的迭代格式為

(lixiang17.tif)

其中，(lixiang29.tif),dk為搜索方向，而αk>0是通過某種線搜索獲得的步長(zhǎng)。純量βk的選取應(yīng)滿足共軛性，βk的不同取法構(gòu)成了不同的共軛梯度法。常用的有FR相關(guān)法(lixiang18.tif)和PRP相關(guān)法(lixiang19.tif)。為保證算法的強(qiáng)收斂性，本文選取一種新的共軛梯度法，它的βk公式如下：

(lixiang20.tif)

選取這種共軛梯度法的理由在于它在Wolfe搜索

(lixiang21.tif)

下具有全局收斂性質(zhì)并且計(jì)算效果好于PRP等算法[1]。

3.2 搜索算法描述

首先采用最速下降法先達(dá)到一個(gè)初步精度W(0)。實(shí)驗(yàn)表明，最速下降法“開局”的收斂速度是較好的。

第二階段采用共軛梯度法，步驟如下：

（1）把最速下降法得到的初步精度作為初始權(quán)值W(0)，并選定誤差最終精度值ε。

（2）置迭代次數(shù)k=0;

（3）計(jì)算目標(biāo)函數(shù)(lixiang22.tif)和(lixiang23.tif);

（4）若k=0，令(lixiang24.tif) ；否則,(lixiang25.tif);其中(lixiang26.tif);

（5）一維搜索求取步長(zhǎng)αk，使其滿足Wolfe搜索條件

(lixiang27.tif)

可以得到下一個(gè)迭代點(diǎn)為wk+1=wk+αkdk;

（6）計(jì)算J=f(wk+1);若J

3.3 算法實(shí)例

本文利用以上算法對(duì)一個(gè)函數(shù)y=x12+x22+x32實(shí)現(xiàn)逼近，以Δx=0.1為步長(zhǎng)取得多組訓(xùn)練樣本數(shù)據(jù)對(duì)[x1,x2,x3,f(x1,x2,x3)]。構(gòu)建三層前饋式神經(jīng)網(wǎng)絡(luò)，其中輸入層為(x1,x2,x3)，隱層結(jié)點(diǎn)取4個(gè)，它的權(quán)值為向量w，初始值取wi=0.5,i=1,2..4,期望輸出為Y=f(x1,x2,x3)，取定神經(jīng)元的作用函數(shù)為Sigmoid函數(shù)(lixiang05.tif)閾值為θ,ε為給定的誤差,取ε=10-4，則共軛搜索的目標(biāo)函數(shù)為:(lixiang12.tif), 原神經(jīng)網(wǎng)絡(luò)問題可轉(zhuǎn)化為求最優(yōu)化問題min(J)，使用上述搜索算法得目標(biāo)函數(shù)J的收斂數(shù)據(jù)如表1：

4 結(jié)論

實(shí)驗(yàn)表明共軛梯度法具有較好的收斂特性，并且不會(huì)產(chǎn)生振蕩，可以有效地解決傳統(tǒng)BP網(wǎng)絡(luò)的收斂速度問題。并且本文選用的 因子在wolfe搜索下可以保證全局收斂性，比一般的 因子有更好的效果。

參考文獻(xiàn)：

[1] 戴虹．非線性共軛梯度法研究[D]．中國科學(xué)院計(jì)算數(shù)學(xué)與科學(xué)工程研究所，博士學(xué)位論文,1997.

[2] Dai YH,YUAN Y．A Nonlinear conjugate gradient with a strong global convergence property[J].SIAM Journal of optimization,2000(10):177-182．

[3] 黃兆龍.用啟發(fā)算法和神經(jīng)網(wǎng)絡(luò)法解決二維不規(guī)則零件排樣問題[J].微計(jì)算機(jī)信息，2004(10):51-53．

[4] 杜華英,趙躍龍.人工神經(jīng)網(wǎng)絡(luò)典型模型的比較研究[J].計(jì)算機(jī)技術(shù)與發(fā)展,2006(05):97-99.

[5] 陸瓊瑜,童學(xué)鋒.BP算法改進(jìn)的研究[J]．計(jì)算機(jī)工程與設(shè)計(jì),2007(03):648-650.

收稿日期：2008-03-27

第5篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞：羊絨羊毛纖維；貝葉斯分類器；BP神經(jīng)網(wǎng)絡(luò)；SVM支持向量機(jī)

中圖分類號(hào)：TS102.3 文獻(xiàn)標(biāo)志碼：A

A Research of Classifiers for Testing Cashmere & Wool Fibers

Abstract： This paper mainly studies the classifiers for identifying the image features of wool and cashmere fibers. The image features， which are selected in the same way， are identified by using respectively Bayes classifier， BP neural network and SVM support vector machine. Then， by comparison we conclude that the SVM support vector machine is more suitable for testing of wool and cashmere fiber thanks to its higher recognition rate and speed.

Key words： cashmere and wool fibers； Bayes classifier； BP neural network； SVM support vector machine

羊絨纖維是制作高檔面料的重要原料，但其產(chǎn)量極少，僅占動(dòng)物纖維總產(chǎn)量的很少一部分。由于羊絨的珍稀、高價(jià)、優(yōu)良品質(zhì)及風(fēng)格特征，生產(chǎn)商常采用山羊絨與其它纖維進(jìn)行混紡加工；并且市場(chǎng)上也存在用混紡產(chǎn)品假冒純羊絨制品進(jìn)行銷售的問題。故準(zhǔn)確鑒別羊毛羊絨纖維十分必要。

圖像分析技術(shù)是紡織纖維形態(tài)研究的重要技術(shù)之一，使用圖像分析技術(shù)有助于提高羊絨羊毛檢測(cè)領(lǐng)域?qū)τ谔烊焕w維的識(shí)別和分類的效率。本研究通過比較當(dāng)今鑒別羊絨羊毛纖維時(shí)使用的不同分類器，來找到較適合的分類器。

1分類器介紹

1.1貝葉斯分類器

貝葉斯分類器依據(jù)研究對(duì)象的先驗(yàn)概率，利用貝葉斯公式計(jì)算出研究對(duì)象的后驗(yàn)概率，即是該對(duì)象屬于其中某一類的概率，選擇屬于最大的后驗(yàn)概率的類為其所屬的類。因此，貝葉斯分類器是最大正確率意義上的優(yōu)化。

若已知有M類物體，以及每一類在n維特征空間的統(tǒng)計(jì)規(guī)律，即是各類別ωi（i=1，2，3，…，M）的先驗(yàn)概率P（ωi）以及類條件概率密度P（X|ωi）。對(duì)于待測(cè)樣本，貝葉斯公式公式（1）可以計(jì)算出該樣本各類別的概率，即后驗(yàn)概率，根據(jù)后驗(yàn)概率的大小決定X屬于哪一類。

在羊絨羊毛纖維檢測(cè)中，統(tǒng)計(jì)數(shù)據(jù)服從正態(tài)分布，其相應(yīng)的均值和方差可以由樣本均值以及樣本方差求出。

1.2BP神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是通過對(duì)人腦思維方式的模仿，以一定的學(xué)習(xí)準(zhǔn)則，通過人工神經(jīng)元的網(wǎng)絡(luò)系統(tǒng)進(jìn)行一定的記憶與學(xué)習(xí)，并通過不斷的學(xué)習(xí)，調(diào)整整個(gè)網(wǎng)絡(luò)的權(quán)值和閾值，達(dá)到減少錯(cuò)誤的發(fā)生率的過程。

BP神經(jīng)網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)使用誤差逆?zhèn)鞑ニ惴ǎ˙P算法）的學(xué)習(xí)過程。該算法由信息的正向傳播和誤差的反向傳播兩個(gè)過程組成，其中正向傳播使用最速下降法進(jìn)行傳播，誤差反向傳播則是利用輸出層的誤差來估計(jì)其直接前導(dǎo)層的誤差，即形成了將輸出端表現(xiàn)出的誤差沿著與輸入信號(hào)傳送的逆方向逐級(jí)向網(wǎng)絡(luò)的輸入端傳遞的過程。利用各層的誤差進(jìn)行神經(jīng)網(wǎng)絡(luò)閾值和權(quán)值的選取，以達(dá)到神經(jīng)網(wǎng)絡(luò)誤差平方和最小的目的。

1.3SVM支持向量機(jī)

支持向量機(jī)是以VC維原理和結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論為基礎(chǔ)建立的機(jī)器學(xué)習(xí)方法，是一種監(jiān)督式的學(xué)習(xí)、分類方法。其優(yōu)勢(shì)表現(xiàn)在解決小樣本、非線性和高維模式識(shí)別問題上，并且解決了模式識(shí)別中經(jīng)常出現(xiàn)的“維數(shù)災(zāi)難”和“過學(xué)習(xí)”等問題。SVM支持向量機(jī)的原理是通過不同的“核函數(shù)”將提取的纖維特征在低維進(jìn)行計(jì)算然后將分類效果映射到高維，從而實(shí)現(xiàn)從低維向高維的轉(zhuǎn)化。這避免了在高維上的復(fù)雜計(jì)算，實(shí)現(xiàn)了計(jì)算的精簡(jiǎn)，提高了分類學(xué)習(xí)的效率。

2羊絨羊毛纖維圖像特征提取

本文所用的羊絨羊毛纖維圖像為中國纖維檢驗(yàn)局提供的遼寧蓋縣種羊場(chǎng)成年公羊羊絨纖維圖像樣本100張和國際羊毛局標(biāo)準(zhǔn)羊毛纖維圖像100張。通過圖像旋轉(zhuǎn)，灰度化，中值濾波，邊緣提取等預(yù)處理過程。使用中軸線法提取纖維鱗片直徑和纖維鱗片高度作為特征參數(shù)。

3仿真結(jié)果分析

3.1貝葉斯分類器

本次研究選取羊毛纖維特征及羊絨纖維特征各95個(gè)作為訓(xùn)練學(xué)習(xí)對(duì)象，其余羊毛羊絨纖維特征作為檢測(cè)對(duì)象，重復(fù)進(jìn)行100次，貝葉斯算法仿真結(jié)果（圖1）得到的平均識(shí)別結(jié)果為88.7%。

3.2BP神經(jīng)網(wǎng)絡(luò)

本次使用的BP神經(jīng)網(wǎng)絡(luò)是最常見的兩節(jié)點(diǎn)的BP神經(jīng)網(wǎng)絡(luò)。選取羊毛纖維特征及羊絨纖維特征各95個(gè)作為訓(xùn)練學(xué)習(xí)對(duì)象，其余羊毛羊絨纖維特征作為檢測(cè)對(duì)象，仿真結(jié)果如圖2所示，得到平均識(shí)別率為84.8%，并且仿真時(shí)訓(xùn)練時(shí)間過長(zhǎng)，為138.242s。

3.3SVM支持向量機(jī)

本次以纖維鱗片直徑和纖維鱗片高度作為特征變量，利用交叉驗(yàn)證，SVM支持向量機(jī)仿真結(jié)果如圖3所示。從圖3（a）可看出，通過使用SVM支持向量機(jī)，得到的識(shí)別率為92.7%；通過圖3（b）可以看到，分類效果相較于BP神經(jīng)網(wǎng)絡(luò)效果更好。

4結(jié)論

通過對(duì)不同仿真結(jié)果的分析可以得出：首先，BP神經(jīng)網(wǎng)絡(luò)針對(duì)小樣本的識(shí)別過程耗時(shí)過多，可能會(huì)出現(xiàn)過度訓(xùn)練的情況，相比較而言，貝葉斯方法和SVM支持向量機(jī)識(shí)別過程耗時(shí)較少，更有效率；其次，針對(duì)識(shí)別率，BP神經(jīng)網(wǎng)絡(luò)為84.8%，貝葉斯方法為88.7%，SVM支持向量機(jī)為92.7%，識(shí)別率更高。因此，SVM支持向量機(jī)較貝葉斯方法以及BP神經(jīng)網(wǎng)絡(luò)更適宜作為羊絨羊毛纖維圖像特征識(shí)別的分類器。

參考文獻(xiàn)

[1] 衛(wèi)敏.羊絨的鑒別檢測(cè)方法分析[J].福建輕紡，2011（2）：33-37.

[2] 楊瀟，季益平，張毅.圖像識(shí)別在羊絨羊毛檢測(cè)中的應(yīng)用研究[J].廣西紡織科技，2010，39（3）：13-16.

[3] 石先軍，于偉東，袁子厚.基于貝葉斯方法的山羊絨與細(xì)羊毛的鑒別[J].紡織學(xué)報(bào)，2008，29（1）：27-33.

[4] 劉彩紅.BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的研究[D].重慶：重慶師范大學(xué)，2008.

[5] 丁世飛，齊丙娟，譚紅艷.支持向量機(jī)理論與算法研究綜述[J].電子科技大學(xué)學(xué)報(bào)，2011（1）：2-10.

[6] 王柏華，胡志宇，葛順順，等.基于光鏡條件下綿羊毛與山羊絨的鑒別[J].毛紡科技，2011，39（4）：42-45.

[7] Rafael C. Gonzalez， Richard E. Woods， Steven L. Eddins.Digital Image Processing Using MATLAB[M].阮秋琦，譯.北京：電子工業(yè)出版社，2005.

作者簡(jiǎn)介：侍瑞峰，男，1989年生，碩士在讀，研究方向?yàn)閳D像處理與模式識(shí)別。

通訊作者：劉亞俠，副教授，E-mail：。

第6篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞： 模糊神經(jīng)網(wǎng)絡(luò)；短期負(fù)荷預(yù)測(cè)；BP算法

algorithm

中圖分類號(hào)：TN711文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)：

1 引 言

短期負(fù)荷預(yù)測(cè)是電力系統(tǒng)管理現(xiàn)代化的重要內(nèi)容之一，是對(duì)發(fā)電、輸電和電能分配等合理安排的必要前提，對(duì)提高電力系統(tǒng)的經(jīng)濟(jì)效益和社會(huì)效益，保障電力系統(tǒng)的安全經(jīng)濟(jì)運(yùn)行與國民經(jīng)濟(jì)的發(fā)展具有非常重要的影響。因此，尋求有效的負(fù)荷預(yù)報(bào)方法，提高預(yù)測(cè)結(jié)果的準(zhǔn)確度具有重要意義。

本文針對(duì)延邊電網(wǎng)短期負(fù)荷預(yù)測(cè)問題，考慮到氣象因素對(duì)負(fù)荷的影響，提出了一種具備模糊數(shù)據(jù)處理能力的模糊理論與擅長(zhǎng)擬合非線性映射的神經(jīng)網(wǎng)絡(luò)方法結(jié)合起來的短期負(fù)荷預(yù)測(cè)方法，首先根據(jù)評(píng)價(jià)函數(shù)選取相似日學(xué)習(xí)樣本，然后利用隸屬函數(shù)對(duì)影響負(fù)荷的特征因素向量的分量進(jìn)行模糊處理，采用反向傳播算法，對(duì)24點(diǎn)每點(diǎn)建立一個(gè)預(yù)測(cè)模型，提高了學(xué)習(xí)效能。

2模糊理論與人工神經(jīng)網(wǎng)絡(luò)方法簡(jiǎn)介

2．1模糊集合論的概念

客觀事物的差異在中介過渡時(shí)所呈現(xiàn)的亦此亦彼的現(xiàn)象稱為模糊性，它體現(xiàn)了事物變化的連續(xù)過程。模糊集合論使用隸屬度來描述中介過渡，是以精確的數(shù)學(xué)語言對(duì)模糊性的一種表述。

設(shè)論域u＝｛x｝，u到閉區(qū)間〔0，1〕的任一映射uA（x）∶u〔0，1〕，xuA（x）確定了u的一個(gè)模糊子集，簡(jiǎn)稱模糊集，記作A，該映射稱為A的隸屬函數(shù)。uA（x）的大小反映了x對(duì)模糊集A的隸屬程度，簡(jiǎn)稱為隸屬度。實(shí)數(shù)集合上常用的隸屬函數(shù)為F分布，主要有矩形分布，梯形分布，拋物形分布等，在實(shí)際應(yīng)用中可根據(jù)對(duì)象特點(diǎn)加以選擇。

2．2人工神經(jīng)網(wǎng)絡(luò)和反向傳播算法的原理

神經(jīng)網(wǎng)絡(luò)是由處理單元組成的一種并行、分布式信息處理結(jié)構(gòu)，處理單元之間由單向信道相互連接。人工神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本計(jì)算單元，模擬了人腦中神經(jīng)元的基本特征，一般是多輸入／單輸出的非線性單元，可以有一定的內(nèi)部狀態(tài)和閾值。

反向傳播（Error Back Propagation－BP）算法是多層感知器的一種有效學(xué)習(xí)算法，它的模型為前向多層網(wǎng)絡(luò)，如圖1所示。

網(wǎng)絡(luò)不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，而且有隱含層節(jié)點(diǎn)，經(jīng)過作用函數(shù)后，再把隱節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出結(jié)果。節(jié)點(diǎn)的作用函數(shù)通常選取s型函數(shù)，如 這個(gè)算法的學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信號(hào)從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)向反向傳播，將誤差信號(hào)沿原來的連接通道返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。

BP算法可描述為：

a．權(quán)值和閾值初始化：隨機(jī)地給全部權(quán)值和神經(jīng)元的閾值賦以較小的初始值；

b．給定輸入xk和目標(biāo)輸出yk；

其中 為第l層第j個(gè)神經(jīng)元到第l＋1層的第i個(gè)神經(jīng)元的權(quán)系數(shù)，η為增益項(xiàng)，δ（l）ik為第l層i節(jié)點(diǎn)的k模式的誤差項(xiàng)，且有

若i為輸出節(jié)點(diǎn)，則

e．達(dá)到誤差精度要求則輸出結(jié)果，否則回到3。

3預(yù)測(cè)方法

3．1BP網(wǎng)絡(luò)學(xué)習(xí)樣本的選擇

根據(jù)差異評(píng)價(jià)函數(shù)選擇一批比較相似的負(fù)荷日，選擇方法如下：

a．首先將影響因素向量的各分量數(shù)值化，這些因素包括日類型，工作日取1，雙休日取2；光照，晴天取1，少云取2，多云取3，陰天取4，下雨取5；雨量，無雨取0，小雨取1，中雨取2，大雨取3，暴雨取4；最高溫度、最低溫度、平均溫度等可取實(shí)際值。

b．建立評(píng)價(jià)函數(shù)

其中是α－β的范數(shù)，α為已知日的影響因素向量，β為預(yù)測(cè)日的影響因素向量（預(yù)測(cè)值），δ為設(shè)定的偏離值，要根據(jù)不同地區(qū)的實(shí)際情況由經(jīng)驗(yàn)決定。凡是滿足該評(píng)價(jià)函數(shù)的已知日均可加入學(xué)習(xí)樣本。

3．2預(yù)測(cè)方法

為了提高BP網(wǎng)絡(luò)的學(xué)習(xí)速度和預(yù)測(cè)精度，對(duì)網(wǎng)絡(luò)輸出的實(shí)際負(fù)荷值進(jìn)行規(guī)一化處理，同時(shí)使用隸屬度函數(shù)對(duì)輸入網(wǎng)絡(luò)的影響因素向量進(jìn)行模糊化處理，使得輸入向量的不同分量如工作日、光照、雨量、溫度等都轉(zhuǎn)換為模糊量。

日類型的隸屬度函數(shù)采用半矩形分布，形式如下。

對(duì)工作日的隸屬度函數(shù)為：

溫度的隸屬度函數(shù)分別如下。

對(duì)低溫的隸屬度函數(shù)采用偏小型梯形分布：

對(duì)中溫的隸屬度函數(shù)采用中間型梯形分布：

對(duì)高溫的隸屬度函數(shù)采用偏大型梯形分布：

將最高溫度th代入以上3個(gè)公式，可分別求出對(duì)于低溫、中溫、高溫3個(gè)狀態(tài)的隸屬度。對(duì)于最低溫度t1、平均溫度tα，可采用同樣方法求出它們的3個(gè)狀態(tài)隸屬度。

影響因素向量的其它分量如光照、雨量等的隸屬度函數(shù)與溫度相似，根據(jù)當(dāng)?shù)貙?shí)際情況選擇建立相應(yīng)的分布函數(shù)，從而求出光照的5個(gè)狀態(tài)隸屬度以及雨量的5個(gè)狀態(tài)隸屬度。

另外，為了降低求解規(guī)模，對(duì)1d的24點(diǎn)負(fù)荷每點(diǎn)建立1個(gè)預(yù)測(cè)模型，第i點(diǎn)的輸入輸出函數(shù)為：

其中Lji是指第j個(gè)學(xué)習(xí)樣本第i點(diǎn)負(fù)荷的實(shí)際值，Ljimin是學(xué)習(xí)樣本中第i點(diǎn)負(fù)荷的最小值，Ljimax是學(xué)習(xí)樣本中第i點(diǎn)負(fù)荷的最大值，經(jīng)過規(guī)一化處理后，

fi是指第i點(diǎn)的輸入輸出函數(shù)，α′j1，…α′jl是第j個(gè)樣本影響因素的隸屬度向量，包括2個(gè)代表日類型的隸屬度，3個(gè)代表最高溫度的隸屬度，3個(gè)代表最低溫度的隸屬度，3個(gè)代表平均溫度的隸屬度，5個(gè)代表光照的隸屬度，5個(gè)代表雨量的隸屬度。當(dāng)學(xué)習(xí)完成后，將預(yù)測(cè)日當(dāng)天影響因素的隸屬度向量 代入（10）式，則可得第i點(diǎn)的負(fù)荷預(yù)測(cè)值。

3．3一些注意事項(xiàng)

a．偽數(shù)據(jù)的處理

因?yàn)樯窠?jīng)網(wǎng)絡(luò)所用的負(fù)荷數(shù)據(jù)來自電力部門的SCADA系統(tǒng)，由于各種原因會(huì)造成一定數(shù)量的異常數(shù)據(jù)?？紤]到負(fù)荷前后小時(shí)的自然變化，如果出現(xiàn)超常規(guī)值，必須將其剔除，代之以正常比例范圍內(nèi)的估計(jì)值。

b．待選的相似日范圍

因?yàn)殡S著時(shí)間的推移，系統(tǒng)負(fù)荷結(jié)構(gòu)會(huì)發(fā)生緩慢的變化，當(dāng)已知日和預(yù)測(cè)日相隔較遠(yuǎn)時(shí)，即使它們的天氣情況等因素很相似，預(yù)測(cè)精度也不會(huì)高，因而取前3個(gè)星期的已知日作為待選范圍，同時(shí)還可以縮短程序選取樣本所花費(fèi)的時(shí)間。

4計(jì)算實(shí)例分析與結(jié)論

4．1實(shí)例計(jì)算

對(duì)延邊電網(wǎng)2012年5月5日24點(diǎn)的負(fù)荷進(jìn)行預(yù)測(cè)，所得結(jié)果如表一。

表一：

預(yù)測(cè)的平均絕對(duì)百分誤差為1.77％，最大預(yù)測(cè)誤差為3.1％，最小誤差為0.8％，誤差超過3％的預(yù)測(cè)點(diǎn)有2個(gè)，小于2％的點(diǎn)有15個(gè)，預(yù)測(cè)效果良好。

4．2結(jié)論

準(zhǔn)確進(jìn)行短期負(fù)荷預(yù)測(cè)是電力行業(yè)所企盼的，本人提出一種模糊神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)方法，利用模糊技術(shù)和神經(jīng)網(wǎng)絡(luò)各自的特長(zhǎng)，充分發(fā)揮了ANN處理非線性問題的能力，具有訓(xùn)練速度快，學(xué)習(xí)精度高，數(shù)值穩(wěn)定等優(yōu)點(diǎn)，算例也表明這是一種行之有效的短期日負(fù)荷預(yù)測(cè)方法。

參考文獻(xiàn)

【1】 劉晨暉，“電力系統(tǒng)負(fù)荷預(yù)報(bào)理論與方法”哈爾濱工業(yè)大學(xué)出版社 1987

第7篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò)模型；模糊綜合評(píng)價(jià)；權(quán)重；水質(zhì)評(píng)價(jià)

中圖分類號(hào)：X824 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-7597（2014）07-0147-01

目前，水污染很嚴(yán)重，治理好水污染，改善環(huán)境，防止造成進(jìn)一步的污染，已經(jīng)成為了社會(huì)所研究的重點(diǎn)。因此，水質(zhì)的評(píng)價(jià)成為了一項(xiàng)重要的研究熱點(diǎn)，根據(jù)水質(zhì)的相關(guān)的指標(biāo)的特點(diǎn)，綜合分析得到水質(zhì)的狀況，能夠?yàn)檎扇『侠淼拇胧┨峁┮罁?jù)。目前，神經(jīng)網(wǎng)絡(luò)模型對(duì)水質(zhì)進(jìn)行評(píng)價(jià)已經(jīng)成為了熱點(diǎn)，神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于權(quán)重的確定方面，能夠合理的確定各個(gè)指標(biāo)的權(quán)重，但是在評(píng)價(jià)的模型上[1]，神經(jīng)網(wǎng)絡(luò)用的層層分析模型，沒有做夠好的進(jìn)行水質(zhì)的評(píng)價(jià)，本文在神經(jīng)網(wǎng)絡(luò)中融合模糊綜合評(píng)價(jià)模型，能夠很好的對(duì)水質(zhì)進(jìn)行評(píng)價(jià)。

1 神經(jīng)網(wǎng)絡(luò)理論

人工神經(jīng)網(wǎng)絡(luò)（AnificialNeural Nemorks，ANN）是通利用數(shù)學(xué)模型的方法進(jìn)行抽象和模擬，是一種模仿人腦結(jié)構(gòu)和它的功能的非線性的信息處理系統(tǒng)。它主要是大量的單元相互連接而組成的網(wǎng)絡(luò)結(jié)構(gòu)，來實(shí)現(xiàn)大腦的感知和學(xué)習(xí)功能。神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可以分為前饋多層式網(wǎng)絡(luò)模型、反饋遞歸式網(wǎng)絡(luò)模型和隨機(jī)型網(wǎng)絡(luò)模型等。根據(jù)研究水質(zhì)問題多因素權(quán)重問題以及神經(jīng)網(wǎng)絡(luò)的相關(guān)理論，前饋多層式網(wǎng)絡(luò)中的反向傳播神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）具有良好的持久性以及適時(shí)預(yù)報(bào)性，因此在本文的評(píng)價(jià)模型中，我們都采用BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)方式[2]。

前饋神經(jīng)網(wǎng)絡(luò)分為了神經(jīng)元分層排列，包含了輸入層、隱含層和輸出層三個(gè)層次結(jié)構(gòu)，每個(gè)層次的神經(jīng)元只能夠接收前一個(gè)層次的神經(jīng)元，層層對(duì)應(yīng)。這是一種比較強(qiáng)有力的學(xué)習(xí)系統(tǒng)，它的結(jié)構(gòu)相對(duì)而言較為簡(jiǎn)單，并且編程也比較容易，是一種靜態(tài)的非線性映射，通過簡(jiǎn)單的非線性處理進(jìn)行復(fù)合映射，能夠得到更加復(fù)雜的處理能力。這些前饋網(wǎng)絡(luò)學(xué)習(xí)，它們分類能力和模式識(shí)別的特點(diǎn)都要強(qiáng)于一般的反饋網(wǎng)絡(luò)。典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。水質(zhì)評(píng)價(jià)模型中，一般采用的都是BP神經(jīng)網(wǎng)絡(luò)，能夠很好的處理各個(gè)指標(biāo)之間的關(guān)系特點(diǎn)，做到很好的評(píng)價(jià)，但是需要一個(gè)更好的模型結(jié)合神經(jīng)網(wǎng)絡(luò)確定權(quán)重的特點(diǎn)進(jìn)行水質(zhì)評(píng)價(jià)，能夠收到更好的效果。

2 模糊綜合評(píng)價(jià)的基本理論

模糊數(shù)學(xué)是利用數(shù)學(xué)方法進(jìn)行研究與處理模糊現(xiàn)象的數(shù)學(xué)。模糊綜合評(píng)價(jià)作為一門新的評(píng)價(jià)科學(xué)，是典型數(shù)學(xué)、統(tǒng)計(jì)數(shù)學(xué)之后的發(fā)展起來的一門新的數(shù)學(xué)學(xué)科，可以處理很多之前數(shù)學(xué)無法解決的問題。開始具有爭(zhēng)議，經(jīng)過一段時(shí)間，開始迅速發(fā)展，而且涉及的應(yīng)用領(lǐng)域越來越廣泛，已經(jīng)遍及理、工、農(nóng)、醫(yī)及社會(huì)科學(xué)，充分體現(xiàn)了評(píng)價(jià)模型的優(yōu)越之處。

模糊綜合評(píng)價(jià)法是一種利用模糊數(shù)學(xué)為基礎(chǔ)的綜合評(píng)標(biāo)方法。綜合評(píng)價(jià)法利用模糊數(shù)學(xué)隸屬度理論和模糊變換原理，根據(jù)給出的評(píng)價(jià)標(biāo)準(zhǔn)與實(shí)測(cè)值，考慮到被評(píng)價(jià)事物的各個(gè)相關(guān)因素，對(duì)其進(jìn)行綜合評(píng)價(jià)。對(duì)于模糊綜合評(píng)價(jià)向量，即綜合隸屬度，可用如下公式：

A為輸入，代表參加評(píng)價(jià)因子的權(quán)重經(jīng)歸一化處理得到的一個(gè)1×n階矩陣；R為模糊變換裝置，是通過單因素評(píng)判得到的隸屬度向量，是一個(gè)n×m階的模糊關(guān)系矩陣；B為輸出，代表綜合評(píng)判結(jié)果，是一個(gè)1×m階矩陣[3]。

其中評(píng)價(jià)因子是m集合為：，分別為參與評(píng)價(jià)的n個(gè)評(píng)價(jià)因子。其中評(píng)價(jià)等級(jí)共m個(gè)等級(jí)，組成集合為：。

評(píng)判矩陣和隸屬度的式子為：

3 神經(jīng)網(wǎng)絡(luò)和模糊綜合評(píng)價(jià)結(jié)合算法

神經(jīng)網(wǎng)絡(luò)模型評(píng)價(jià)的精華在于權(quán)重的分析確定上，模糊綜合評(píng)價(jià)模型的優(yōu)點(diǎn)在于系統(tǒng)的評(píng)價(jià)模型，因此在評(píng)價(jià)的時(shí)候，只要將這兩者的優(yōu)點(diǎn)結(jié)合起來，就能夠得到很好的效果，因此設(shè)計(jì)了以下算法模型，能夠合理的對(duì)水質(zhì)進(jìn)行評(píng)價(jià)，為科學(xué)的采取污染防治措施提供依據(jù)。

Step1：網(wǎng)絡(luò)初始化。根據(jù)系統(tǒng)輸入輸出序列（X，Y）確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)數(shù)p、隱含輸入層節(jié)點(diǎn)數(shù)l，輸出層節(jié)點(diǎn)數(shù)q，初始化輸入層、隱含層和輸出層神經(jīng)元之間的連接權(quán)值α和β（α為初始權(quán)重，β為臨界值，均隨機(jī)設(shè)為較小的數(shù)）給定學(xué)習(xí)速率和神經(jīng)元[4][5]。

Step2：輸出計(jì)算。將已有的樣本數(shù)值加在網(wǎng)絡(luò)上，利用公式算出其輸出值：

Step3：調(diào)整權(quán)系數(shù)。根據(jù)網(wǎng)絡(luò)預(yù)測(cè)誤差，按已知輸出數(shù)據(jù)與上面算出的輸出數(shù)據(jù)之差，調(diào)整權(quán)重系數(shù)，其中調(diào)整量為：其中：因?yàn)殡[節(jié)點(diǎn)的輸出內(nèi)部抑制，利用反向推算可以得到：誤差值從輸出層反向推導(dǎo)得到。

Step4：對(duì)各層的權(quán)重系數(shù)進(jìn)行調(diào)整后，得到調(diào)整后的權(quán)

重為：

BP神經(jīng)網(wǎng)絡(luò)利用梯度下降算法，通過迭代運(yùn)算，不斷調(diào)整mij的數(shù)值，當(dāng)?shù)玫降妮敵稣`差小于所設(shè)定的閥值時(shí)，將認(rèn)為獲得的mijBP神經(jīng)網(wǎng)絡(luò)是合理的。而不斷迭代的方法相當(dāng)于對(duì)各類情況進(jìn)行調(diào)整，具有一定的學(xué)習(xí)記憶特征。

基金項(xiàng)目

國家自然科學(xué)基金青年基金（11201485）；徐州工程學(xué)院校青年項(xiàng)目（XKY2010201）。

參考文獻(xiàn)

[1]劉起霞，李清波，鄒劍峰.環(huán)境工程地質(zhì)[M].鄭州：黃河水利出版社，2001.

[2]孫會(huì)君，王新華.應(yīng)用人工神經(jīng)網(wǎng)絡(luò)確定評(píng)價(jià)指標(biāo)的權(quán)重[J].山東科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2001，20（3）：84-86.

[3]萬金保，李媛媛.模糊綜合評(píng)價(jià)法在鄱陽湖水質(zhì)評(píng)價(jià)中的應(yīng)用[J].上海環(huán)境科學(xué)，2007，26（05）：215-218.

[4]金菊良，魏一鳴，丁晶.基于改進(jìn)層次分析法的模糊綜合評(píng)價(jià)模型[J].水利學(xué)報(bào)，2004（03）：65-70.

[5]郭慶春，何振芳，李力，等.BP人工神經(jīng)網(wǎng)絡(luò)模型在太湖水污染指標(biāo)預(yù)測(cè)中的應(yīng)用[J].南方農(nóng)業(yè)學(xué)報(bào)，2011，42（10）.

第8篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵詞：BP算法，神經(jīng)網(wǎng)絡(luò)，抑菌圈直徑，抗生素效價(jià)測(cè)定

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2011)10-2358-02

抗生素效價(jià)的生物測(cè)定，是以抗菌活性為指標(biāo)平衡量，表示抗生素中有效成分效力的一種方法。其測(cè)定方法通常分為稀釋法、比濁法和滲透法。滲透法又稱擴(kuò)散法，其中管碟瓊脂擴(kuò)散法是國際上通用的抗生素效價(jià)測(cè)定方法，中、日、英、美及歐洲藥典均收載有此方法。該方法分為一劑量法，二劑量和三劑量法，其原理是將已知濃度的標(biāo)準(zhǔn)溶液與未知濃度的樣品溶液在含有敏感性試驗(yàn)菌的瓊脂表面進(jìn)行擴(kuò)散，形成抑制試驗(yàn)菌生長(zhǎng)的透明抑菌圈，測(cè)出抑菌圈的直徑或面積大小，再利用抗生素濃度與抑菌圈直徑或面積的關(guān)系，求出樣品的效價(jià)[1]。

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，簡(jiǎn)稱ANN)是通過模擬生物體中神經(jīng)網(wǎng)絡(luò)的某些結(jié)構(gòu)和功能而構(gòu)成的一種新的信息處理系統(tǒng)。近年來廣泛應(yīng)用于藥學(xué)領(lǐng)域，如處方優(yōu)化、結(jié)構(gòu)設(shè)計(jì)、中藥含量測(cè)定及鑒別等方面。本文利用人工神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)自適應(yīng)能力，建立抗生素效價(jià)與抑菌圈直徑之間的模型，對(duì)枯草芽孢桿菌的抗生素效價(jià)進(jìn)行測(cè)定與預(yù)測(cè)，取得了較好的結(jié)果。

1 BP神經(jīng)網(wǎng)絡(luò)原理

BP神經(jīng)網(wǎng)絡(luò)（Back Propagation ，BP ) 是基于誤差反向傳播算法的多層前向神經(jīng)網(wǎng)絡(luò)，也是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)能模擬任意線性與非線性函數(shù)，因而具有良好的預(yù)測(cè)能力。BP神經(jīng)網(wǎng)絡(luò)一般為三層神經(jīng)網(wǎng)絡(luò)，即輸入層，隱含層，輸出層，其結(jié)構(gòu)如圖1所示，每層都有一些神經(jīng)元，與相鄰層的所有各單元均互相連接，兩個(gè)單元間的連接強(qiáng)度稱為“權(quán)值”。

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分為兩步：信息的正向傳遞和誤差的反向傳播。信息的正向傳遞是輸入信息從輸入層經(jīng)隱含層處理后傳向輸出層，誤差的反向傳播是將誤差逐層往回傳遞，以修正各層之間的權(quán)值和閾值。以上兩個(gè)過程反復(fù)交替，直到收斂為止。當(dāng)訓(xùn)練結(jié)束時(shí)，將學(xué)習(xí)得到的規(guī)則表達(dá)在網(wǎng)絡(luò)的權(quán)重中。根據(jù)未知樣本的輸入特性參數(shù)，網(wǎng)絡(luò)可進(jìn)行仿真預(yù)測(cè)，其預(yù)測(cè)模型見圖2。

2 數(shù)據(jù)處理

2.1 BP網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

測(cè)定抗生素效價(jià)時(shí)，通常只需測(cè)定抑菌圈的直徑或面積，然后根據(jù)直徑或面積與效價(jià)之間的關(guān)系計(jì)算其效價(jià)。因此輸入層和輸出層的節(jié)點(diǎn)數(shù)均設(shè)為1即可。隱含層的節(jié)點(diǎn)參照以下經(jīng)驗(yàn)公式進(jìn)行設(shè)計(jì)：n=+a

式中：n為隱層節(jié)點(diǎn)數(shù)；ni為輸入節(jié)點(diǎn)數(shù)；n0為輸出節(jié)點(diǎn)數(shù)；a為1～10之間的常數(shù)[2]。第一層傳遞函數(shù)選用tansig函數(shù)，第二層傳遞函數(shù)選用purelin函數(shù)，設(shè)計(jì)的網(wǎng)絡(luò)模型如圖3所示。

2.2 試驗(yàn)部分

菌種：枯草芽孢桿菌；檢定培養(yǎng)基（%）：牛肉膏 0.3蛋白胨 0.5K2HPO4 0.3瓊脂粉 1.5 ； 蒸餾水：pH 8.0～8.2；點(diǎn)樣量：標(biāo)準(zhǔn)品 1～5 μg；樣品：諾西肽發(fā)酵液 3μl；培養(yǎng)條件：37℃ 12-16個(gè)小時(shí)。

抑菌圈的直徑可通過董鴻曄等[3]設(shè)計(jì)的計(jì)算機(jī)可視化自動(dòng)測(cè)量系統(tǒng)獲得，先測(cè)得標(biāo)準(zhǔn)品抑菌圈的直徑均值，利用標(biāo)準(zhǔn)品抑菌圈直徑與效價(jià)的關(guān)系建立標(biāo)準(zhǔn)曲線，數(shù)據(jù)見表1；再測(cè)得待測(cè)品抑菌圈的直徑均值，利用標(biāo)準(zhǔn)曲線計(jì)算出待測(cè)品抑菌圈直徑所對(duì)應(yīng)的抗生素效價(jià)，其數(shù)據(jù)見表2。

2.3 網(wǎng)絡(luò)訓(xùn)練

以待測(cè)品直徑均值為輸入，抗生素效價(jià)為輸出，訓(xùn)練BP網(wǎng)絡(luò)，網(wǎng)絡(luò)學(xué)習(xí)參數(shù)為trainlm函數(shù)，最大訓(xùn)練次數(shù)為3000次，訓(xùn)練步長(zhǎng)100，期望誤差為0.001。表2中數(shù)據(jù)分為兩部分，一部分用于網(wǎng)絡(luò)訓(xùn)練，隱層節(jié)點(diǎn)數(shù)初值設(shè)為8，經(jīng)優(yōu)化當(dāng)隱含層節(jié)點(diǎn)數(shù)為15時(shí)，網(wǎng)絡(luò)收斂達(dá)到期望誤差。

2.4 網(wǎng)絡(luò)預(yù)測(cè)

為了驗(yàn)證網(wǎng)絡(luò)的泛化能力，選擇部分待測(cè)樣品作為輸入值，進(jìn)行網(wǎng)絡(luò)預(yù)測(cè)。網(wǎng)絡(luò)預(yù)測(cè)效價(jià)與利用一劑量法計(jì)算的實(shí)際效價(jià)見表3。

2.5 模型檢驗(yàn)

為驗(yàn)證網(wǎng)絡(luò)預(yù)測(cè)模型精度，，利用統(tǒng)計(jì)軟件SPSS表3中兩種方法得到的抗生素效價(jià)進(jìn)行方差檢驗(yàn)，見表4。F檢驗(yàn)Sig=0.467>0.05，說明兩組數(shù)據(jù)的測(cè)量方法無顯著性差異。由此可見BP網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果是可靠的。 3 討論

本文通過BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型對(duì)抗生素效價(jià)進(jìn)行測(cè)定，結(jié)果表明，采用BP人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效價(jià)方法簡(jiǎn)便快捷，其預(yù)測(cè)結(jié)果可靠，為抗生素效價(jià)的測(cè)定建立了新的分析方法。本網(wǎng)絡(luò)中采用的學(xué)習(xí)算法為L(zhǎng)M算法，是目前收斂速度最快的算法之一[4]。BP網(wǎng)絡(luò)的非線性映射能力不僅表現(xiàn)在處理多因素影響問題上，在本試驗(yàn)中處理單因素問題時(shí)亦表現(xiàn)出優(yōu)勢(shì)。在測(cè)定抗生素效價(jià)中，只考慮到直徑一個(gè)因素，實(shí)際中抗生素微生物效價(jià)檢定法影響因素很多，如培養(yǎng)溫度、培養(yǎng)基成分、酸堿度、實(shí)驗(yàn)菌種的老化、菌層厚度、藥液的稀釋、鋼管等[5]，這些因素對(duì)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的影響還有待考慮和研究。

參考文獻(xiàn)：

[1] 抗何文.蔡先東.生素效價(jià)測(cè)定方法的改進(jìn)[J].廣東藥學(xué),2003,13(2).

[2] 周開利.康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計(jì)[M].清華大學(xué)出版社,2005.

[3] 董鴻曄,金杰,趙青.計(jì)算機(jī)可視化技術(shù)在抗生素效價(jià)測(cè)定中的應(yīng)用[J].生物技術(shù),2002,12(2).

第9篇：神經(jīng)網(wǎng)絡(luò)反向傳播公式范文

關(guān)鍵字:灰色神經(jīng)網(wǎng)絡(luò);電力建設(shè)工程;模型

0 引言

隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展、社會(huì)的進(jìn)步、科技和多層信息化水平的提高以及全球資源和環(huán)境問題的日益突出與電力建設(shè)發(fā)展面臨著新的挑戰(zhàn).在電力行業(yè)在各國經(jīng)濟(jì)發(fā)展中占據(jù)優(yōu)先發(fā)展的地位,電力建設(shè)工程造價(jià)與其他電力建設(shè)工程造價(jià)相比,具有電力建設(shè)工程造價(jià)規(guī)模大、周期長(zhǎng)的特點(diǎn).基于眾多的電力建設(shè)工程造價(jià)方案中選擇較優(yōu)方案是電力建設(shè)工程造價(jià)決策的關(guān)鍵技術(shù).在電力建設(shè)工程造價(jià)方案比選過程中的評(píng)價(jià)指標(biāo)有工程造價(jià)凈現(xiàn)值、電力建設(shè)工程造價(jià)回收期、財(cái)務(wù)內(nèi)部收益率等,使決策變得復(fù)雜且很難做出.基于灰色系統(tǒng)理論、模糊理論進(jìn)行有機(jī)的結(jié)合,用灰色神經(jīng)網(wǎng)絡(luò)度分析方法來計(jì)算決策矩陣和建立模型[1],并應(yīng)用到實(shí)際電力建設(shè)工程造價(jià)決策中,可為決策者提供一種有效的決策途徑,根據(jù)灰色系統(tǒng)理論,研究和分析決策系統(tǒng)影響因素間的相互關(guān)系及對(duì)系統(tǒng)主要目標(biāo)的貢獻(xiàn),該研究方法考慮了傳統(tǒng)因素分析方法并避免了模糊理論處理方法的種種弊端。

1 基于灰色神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用

基于灰色神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ)的預(yù)測(cè),運(yùn)用灰色系統(tǒng)的數(shù)據(jù)信息預(yù)處理方式搭建電力建設(shè)工程造價(jià)即灰色生成來優(yōu)化神經(jīng)網(wǎng)絡(luò)的建模應(yīng)用于智能電力建設(shè)工程造價(jià)中的問題預(yù)測(cè)。

2 基于電力建設(shè)工程造價(jià)與灰色神經(jīng)網(wǎng)絡(luò)模型研究

基于灰色神經(jīng)網(wǎng)絡(luò)是以訓(xùn)練樣本算法即誤差反向傳播算法即灰色神經(jīng)算法的學(xué)習(xí)過程分為信息的正向傳播和誤差的反向傳播[2],其通過訓(xùn)練樣本前一次迭代的權(quán)值和閾值來應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)的第一層向后計(jì)算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計(jì)算各層權(quán)值和閾值對(duì)總誤差的梯度進(jìn)而對(duì)前面各層的權(quán)值和閾值進(jìn)行修改運(yùn)算反復(fù)直到神經(jīng)網(wǎng)絡(luò)樣本收斂。

2.1 基于電力建設(shè)工程造價(jià)灰色神經(jīng)網(wǎng)絡(luò)模型

基于灰色神經(jīng)網(wǎng)絡(luò)輸入向量為X=()T;隱含層輸出向量為Y=()T;輸出層的輸出向量為O=)T;期望輸出向量為;輸入層到隱含層之間的權(quán)值矩陣,其中列向量為隱含層第j個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣,其中列向量為輸出層第k個(gè)大規(guī)模自組織神經(jīng)元對(duì)應(yīng)的權(quán)向量.各層信號(hào)之間的算法結(jié)構(gòu)為:

⑴⑵

⑶⑷

以上式中的均為S類型函數(shù),的導(dǎo)數(shù)方程為:⑸

以下是基于電力建設(shè)工程造價(jià)灰色神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的均方誤差為:⑹

則電力建設(shè)工程造價(jià)訓(xùn)練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:⑺⑻

⑼

式中:為比例系數(shù),在電力建設(shè)網(wǎng)絡(luò)模型訓(xùn)練中代表學(xué)習(xí)速率.如果灰色自組織神經(jīng)網(wǎng)絡(luò)有個(gè)隱含層,各隱含層節(jié)點(diǎn)分別記為,各隱含層輸出分別記為,則各層權(quán)值調(diào)整灰色神經(jīng)網(wǎng)絡(luò)模型運(yùn)算計(jì)算公式分別如下:

輸出層⑽

第隱含層

⑾

第一隱含層 ⑿

綜合上述預(yù)測(cè)分析在灰色神經(jīng)在電力建設(shè)工程造價(jià)中學(xué)習(xí)算法運(yùn)用各層權(quán)值調(diào)整公式均由學(xué)習(xí)速率、本層輸出的誤差信號(hào)和本層輸入數(shù)字離散信號(hào)處理決定在網(wǎng)絡(luò)訓(xùn)練樣本學(xué)習(xí)的過程受決策環(huán)境復(fù)雜程度和訓(xùn)練樣本的收斂性即需要增大樣本量來提高電力建設(shè)工程造價(jià)所學(xué)知識(shí)的代表性應(yīng)注意在收集某個(gè)問題領(lǐng)域的樣本時(shí),注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓(xùn)練樣本數(shù)據(jù)。

3 結(jié)束語

基于電力建設(shè)工程造價(jià)方案的選擇問題是一個(gè)復(fù)雜的系統(tǒng)多屬性決策問題,評(píng)價(jià)因素多而且相互之間的關(guān)系比較復(fù)雜.通過構(gòu)建灰色神經(jīng)網(wǎng)絡(luò)決策模型,綜合考慮到電力建設(shè)工程方案選擇過程中的多方案、多因素、多目標(biāo)特點(diǎn),避免了單指標(biāo)方案選擇過程中存在的決策偏離問題.通過該模型優(yōu)化全面分析多層目標(biāo)指標(biāo)間的相互關(guān)系,較好地解決單指標(biāo)無法全面反映工程方案多目標(biāo)的問題,為電力建設(shè)工程方案優(yōu)選提供了一種可靠的途徑數(shù)據(jù)。

參考文獻(xiàn):