如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò)；模擬電路；故障智能診斷

Applications of Neural network in analog circuit fault intelligent diagnosis

Huang Qian1 ，Lu Li2

Nanchang institute of technology JiangXi NanChang 330029

Abstract： The article mainly describe development course of neural network simulation circuit and the common method of fault diagnosis of simulation power based on neural network at this stage， the focus analysised BP neural network fault dictionary method and the SOM neural network fault dictionary method and respective of calculation method， and basic thought， and technology difficulties analysis， discussed application problem of neural network method in in analog circuit fault intelligent diagnosis， last talk about development trend of simulation circuit neural network diagnosis method.

Keyword： Neural network；Analog circuits；Intelligent fault diagnosis

引 言

隨著神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)的發(fā)展， 模擬電路故障診斷的研究又開(kāi)辟了一條新路， 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法已經(jīng)成為新的研究熱點(diǎn)。20世紀(jì)80年代末期起有學(xué)者研究將人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到模擬電路的故障診斷中，現(xiàn)階段已經(jīng)提出多種基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法，有些方法如BP（ Error Back Propagation Network）神經(jīng)網(wǎng)絡(luò)故障字典法已經(jīng)能有效應(yīng)用于濾波電路、模擬放大電路等非線性容差電路的故障診斷， 效果優(yōu)于傳統(tǒng)的故障字典法。

1神經(jīng)網(wǎng)絡(luò)故障字典法

神經(jīng)網(wǎng)絡(luò)故障字典法把模擬電路的故障診斷看成是一個(gè)分類問(wèn)題， 利用神經(jīng)網(wǎng)絡(luò)的分類功能來(lái)診斷故障。在測(cè)前把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成一部故障字典， 字典的信息蘊(yùn)含在網(wǎng)絡(luò)的連接權(quán)值中， 只要輸入電路的測(cè)量特征， 就可以從其輸出查出故障。

1.1 BP 神經(jīng)網(wǎng)絡(luò)故障字典法

BP 是一種多層網(wǎng)絡(luò)誤差反傳學(xué)習(xí)算法。

1）初始化，隨機(jī)給定各連接權(quán)[w]，[v]及閥值θi，rt。

（2）由給定的輸入輸出模式對(duì)計(jì)算隱層、輸出層各單元輸出

式中：bj為隱層第j個(gè)神經(jīng)元實(shí)際輸出；ct為輸出層第t個(gè)神經(jīng)元的實(shí)際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)。

式中：dtk為輸出層的校正誤差；ejk為隱層的校正誤差。

（3）計(jì)算新的連接權(quán)及閥值，計(jì)算公式如下：

（4）選取下一個(gè)輸入模式對(duì)返回第2步反復(fù)訓(xùn)練直到網(wǎng)絡(luò)設(shè)輸出誤差達(dá)到要求結(jié)束訓(xùn)練。

應(yīng)用BP 神經(jīng)網(wǎng)絡(luò)故障字典法進(jìn)行模擬電路故障診斷步驟如下：

（1）確定待測(cè)電路的故障集和狀態(tài)特征參量， 采用電路仿真或?qū)嶒?yàn)的方法獲取電路每一故障狀態(tài)下的狀態(tài)特征數(shù)據(jù)， 經(jīng)篩選和歸一化處理后構(gòu)造訓(xùn)練樣本集。設(shè)計(jì)BP 神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練。

（2）用訓(xùn)練樣本集中的樣本訓(xùn)練好網(wǎng)絡(luò)， 即完成學(xué)習(xí)的過(guò)程。一般采用3 層BP 神經(jīng)網(wǎng)絡(luò)， 輸入層節(jié)點(diǎn)數(shù)與電路狀態(tài)特征參量的維數(shù)相同， 輸出層節(jié)點(diǎn)數(shù)可與電路待測(cè)故障類別數(shù)相同，也可小于待測(cè)故障類別數(shù)， 隱層節(jié)點(diǎn)數(shù)則需按經(jīng)驗(yàn)公式試湊。實(shí)際診斷時(shí)給被測(cè)電路加相同的測(cè)試激勵(lì)， 將測(cè)得的實(shí)際狀態(tài)特征參量輸入到訓(xùn)練好的BP 神經(jīng)網(wǎng)絡(luò)， 則其輸出即可指示相應(yīng)的故障狀態(tài)。

1.2 SOM神經(jīng)網(wǎng)絡(luò)故障字典法

SOM （Self - organizing Feature Map）神經(jīng)網(wǎng)絡(luò)是芬蘭教授Kohonen于1981 年提出的一種自組織特征映射神經(jīng)網(wǎng)絡(luò)。這種自組織特征映射神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)輸入模式的反復(fù)學(xué)習(xí)，使連接權(quán)矢量空間分布密度與輸入模式的概率分布趨于一致， 即連接權(quán)矢量的空間分布密度能反映輸入模式的統(tǒng)計(jì)特性。

SOM二維網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖

SOM 網(wǎng)絡(luò)能對(duì)輸入模式自動(dòng)分類，通過(guò)輸入模式的自組織學(xué)習(xí)， 在競(jìng)爭(zhēng)層將分類結(jié)果表示出來(lái)。應(yīng)用SOM 神經(jīng)網(wǎng)絡(luò)建立模擬電路故障診斷字典的具體步驟如下：

（1）確定電路的故障集和激勵(lì)信號(hào)。通過(guò)仿真獲取電路在每一故障狀態(tài)下的狀態(tài)特征向量， 并進(jìn)行預(yù)處理得到訓(xùn)練樣本數(shù)據(jù)。

（2） 確定SOM 網(wǎng)絡(luò)結(jié)構(gòu)。 SOM 網(wǎng)絡(luò)只有輸入層和輸出層兩層， 沒(méi)有隱層，輸入層的形式與BP 網(wǎng)絡(luò)相同， 其結(jié)點(diǎn)數(shù)應(yīng)與電路狀態(tài)特征向量的維數(shù)相同。輸出層即競(jìng)爭(zhēng)層的神經(jīng)元一般采用二維平面陣結(jié)構(gòu)排列， 也可采用一維線陣或三維柵格陣的結(jié)構(gòu)排列。采用一維線陣時(shí)， 輸出層結(jié)點(diǎn)數(shù)可與電路的故障類別數(shù)相同。

（3）經(jīng)過(guò)SOM 訓(xùn)練形成具有容差的故障字典。SOM 網(wǎng)絡(luò)的學(xué)習(xí)算法可采用標(biāo)準(zhǔn)的Kohonen 算法。可以看出， SOM 網(wǎng)絡(luò)法與BP 網(wǎng)絡(luò)法構(gòu)建故障字典的方法步驟完全相似，SOM 網(wǎng)絡(luò)法一般適用于交流電路， 以電路響應(yīng)的頻域參量為狀態(tài)特征，它能更有效地克服容差因素對(duì)故障定位的影響，SOM 網(wǎng)絡(luò)法實(shí)際診斷時(shí)容易出現(xiàn)模糊故障集， 診斷過(guò)程要比BP網(wǎng)絡(luò)法復(fù)雜。

1.2神經(jīng)網(wǎng)絡(luò)故障字典法難點(diǎn)

同經(jīng)典的故障字典法相比， 神經(jīng)網(wǎng)絡(luò)故障字典法突出的優(yōu)點(diǎn)是測(cè)后診斷速度快，實(shí)時(shí)性強(qiáng)，其原因是該方法利用了神經(jīng)網(wǎng)絡(luò)高度并行的信息處理能力。經(jīng)典的故障字典法需要進(jìn)行繁瑣的模糊集分割處理， 且一般只能診斷硬故障。而神經(jīng)網(wǎng)絡(luò)故障字典法由于神經(jīng)網(wǎng)絡(luò)的泛化能力，可以診斷容差模擬電路， 而且對(duì)軟故障情況也有很好的應(yīng)用前景。應(yīng)用該方法難點(diǎn)包括以下幾個(gè)方面：

（1）神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)等只能依據(jù)經(jīng)驗(yàn)反復(fù)調(diào)試， 難以確定所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)是最優(yōu)的。

（2）數(shù)據(jù)預(yù)處理技術(shù)和訓(xùn)練樣本集的篩選至關(guān)重要，神經(jīng)網(wǎng)絡(luò)故障字典法的診斷效果主要依賴于此。如何根據(jù)實(shí)際電路對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理以突出故障特征信息及如何優(yōu)選訓(xùn)練樣本。

2 神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法

傳統(tǒng)的優(yōu)化診斷法依據(jù)被測(cè)電路的解析關(guān)系， 按照一定的判據(jù)（目標(biāo)函數(shù)） ， 估計(jì)出最有可能出現(xiàn)故障的元件。優(yōu)化診斷法是一種測(cè)后模擬的逼近法， 可在較少的測(cè)量數(shù)據(jù)下診斷故障，避免元件的容差問(wèn)題， 可以診斷軟故障和多故障但傳統(tǒng)優(yōu)化診斷法存在一個(gè)復(fù)雜的重復(fù)過(guò)程， 需要多個(gè)優(yōu)化過(guò)程和多次電路模擬， 測(cè)后計(jì)算量很大。

神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法對(duì)傳統(tǒng)方法進(jìn)行改進(jìn)， 利用Hopfield 神經(jīng)網(wǎng)絡(luò)的優(yōu)化計(jì)算功能尋優(yōu)， 克服了傳統(tǒng)的優(yōu)化診斷方法測(cè)后計(jì)算量大、實(shí)時(shí)性差的缺點(diǎn)。由于該方法最終是通過(guò)求解元件參數(shù)或參數(shù)增量來(lái)判定故障元件的。

神經(jīng)網(wǎng)絡(luò)優(yōu)化診斷法的基本思想是將模擬電路的故障診斷方程轉(zhuǎn)換為帶約束條件的優(yōu)化問(wèn)題， 然后利用Hopfield 神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化問(wèn)題的求解。將優(yōu)化問(wèn)題映射到一種神經(jīng)網(wǎng)絡(luò)的特定組態(tài)上， 此組態(tài)相應(yīng)于優(yōu)化問(wèn)題的可能解， 然后再構(gòu)造一個(gè)適合于待優(yōu)化問(wèn)題的能量函數(shù)（對(duì)應(yīng)于目標(biāo)函數(shù)）， 當(dāng)Hopfield 神經(jīng)網(wǎng)絡(luò)從某一初始狀態(tài)沿著能量函數(shù)減小的方向運(yùn)動(dòng)， 其穩(wěn)定平衡解即對(duì)應(yīng)于優(yōu)化問(wèn)題的解。對(duì)于線性電阻電路， 可以以元件參數(shù)增量和可測(cè)節(jié)點(diǎn)電壓變化量建立故障診斷方程， 該診斷方程通常為一組欠定方程。

應(yīng)用Hopfield 神經(jīng)網(wǎng)絡(luò)求解此類帶約束條件的優(yōu)化問(wèn)題的步驟如下：

（1）分析問(wèn)題： 分析網(wǎng)絡(luò)輸出與問(wèn)題的解相對(duì)應(yīng)。

（2）構(gòu)造網(wǎng)絡(luò)能量函數(shù)： 將實(shí)際待解決優(yōu)化問(wèn)題的目標(biāo)函數(shù)表達(dá)成能量函數(shù)的相應(yīng)形式， 能量函數(shù)最小值對(duì)應(yīng)問(wèn)題最佳解。

（3）設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)： 將能量函數(shù)與目標(biāo)函數(shù)相比較， 求出能量函數(shù)中的權(quán)值和偏流。

（4）運(yùn)行網(wǎng)絡(luò)求出穩(wěn)定平衡態(tài)： 由網(wǎng)絡(luò)結(jié)構(gòu)建立網(wǎng)絡(luò)的電子線路， 運(yùn)行該電子線路直至穩(wěn)定， 所得穩(wěn)態(tài)解即為優(yōu)化問(wèn)題所希望的解。

3 其它神經(jīng)網(wǎng)絡(luò)故障診斷法

ART （Adaptive Resonance Theory）神經(jīng)網(wǎng)絡(luò)故障診斷法。ART 神經(jīng)網(wǎng)絡(luò)是一種基于自適應(yīng)共振理論ART的學(xué)習(xí)算法， 包括ART1 型、ART2 型和ART3 型三種結(jié)構(gòu)形式。文獻(xiàn)三中的作者探討了一種采用ART1 型神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬電路故障診斷的方法，將電路的各種故障分出層次，并按一定特征給故障類型進(jìn)行編碼形成故障數(shù)據(jù)樣本，將故障數(shù)據(jù)樣本輸入ART1型神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練， 訓(xùn)練完成后該ART 網(wǎng)絡(luò)即可用于診斷。ART最大的特點(diǎn)是既能識(shí)別已有的故障模式， 又能較好地診斷新發(fā)故障。基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)撕裂法。網(wǎng)絡(luò)撕裂法是一種大規(guī)模模擬電路分層診斷的方法， 將網(wǎng)絡(luò)撕裂法與神經(jīng)網(wǎng)絡(luò)故障字典法相結(jié)合就形成基于神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)撕裂法。

ART的基本思路是， 當(dāng)電路網(wǎng)絡(luò)分解到一定程度后， 電路子網(wǎng)絡(luò)繼續(xù)分解往往越來(lái)越困難， 這時(shí)可以引入神經(jīng)網(wǎng)絡(luò)故障字典法， 分別為每一電路子網(wǎng)絡(luò)構(gòu)建一個(gè)神經(jīng)網(wǎng)絡(luò)， 則電路子網(wǎng)絡(luò)級(jí)的診斷采用神經(jīng)網(wǎng)絡(luò)故障字典實(shí)現(xiàn)。

與傳統(tǒng)的網(wǎng)絡(luò)撕裂法相比， 該方法測(cè)后工作量小， 診斷過(guò)程更加簡(jiǎn)單，診斷速度加快。基于神經(jīng)網(wǎng)絡(luò)求解非線性方程的模擬電路故障診斷方法。

4 模擬電路神經(jīng)網(wǎng)絡(luò)診斷法發(fā)展趨勢(shì)

近年來(lái)， 一個(gè)值得重視的現(xiàn)象是神經(jīng)網(wǎng)絡(luò)與專家系統(tǒng)、模糊控制、遺傳算法和小波分析等技術(shù)相結(jié)合應(yīng)用于模擬電路的故障診斷領(lǐng)域的研究。如神經(jīng)網(wǎng)絡(luò)與模糊邏輯理論相結(jié)合， 即所謂的“模糊神經(jīng)網(wǎng)絡(luò)”用于模擬電路的故障診斷， 其基本思想是在BP 神經(jīng)網(wǎng)絡(luò)的輸入層與輸出層中間增加1到2 層模糊層構(gòu)造模糊神經(jīng)網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)處理低層感知數(shù)據(jù)， 利用模糊邏輯描述高層的邏輯框架，其對(duì)模擬電路軟故障的診斷效果優(yōu)于單一的神經(jīng)網(wǎng)絡(luò)分類器。又如小波分析與神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于模擬電路的故障診斷。

小波與神經(jīng)網(wǎng)絡(luò)的結(jié)合有以下兩個(gè)途徑：

（1） 輔助式結(jié)合， 比較典型的是利用小波分析對(duì)信號(hào)進(jìn)行預(yù)處理， 然后用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)與判別。

（2）嵌套式結(jié)合， 即把小波變換的運(yùn)算融入到神經(jīng)網(wǎng)絡(luò)中去， 其基本思想是用小波元代替了神經(jīng)元，即激活函數(shù)為已定位的小波函數(shù)基， 通過(guò)仿射變換建立小波變換與神經(jīng)網(wǎng)絡(luò)的聯(lián)接，小波神經(jīng)網(wǎng)絡(luò)由于把神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)特性和小波的局部特性結(jié)合起來(lái)，具有自適應(yīng)分辨性和良好的容錯(cuò)性。

參考文獻(xiàn)

[1] 王顯強(qiáng).談?wù)勆窠?jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的應(yīng)用問(wèn)題[J]

電路技術(shù).2012（06）

[2] 劉華.基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方法研究[J]微電子學(xué)報(bào).2010（03）

[3]董偉.談ART1 型神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬電路故障診斷方式分析. [J]電路科技. 2012（05）

[4]王承. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]電路科技. 2013（06）

[5]張宇. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]計(jì)算機(jī)測(cè)量與控制. 2012（07）

[6]王承. 基于神經(jīng)網(wǎng)絡(luò)的模擬電路故障診斷方案探究.[J]電路故障. 2013（02）

[7]劉盛燦. 神經(jīng)網(wǎng)絡(luò)的模擬電路故障的應(yīng)用.[J]電路科技. 2013（06）

[8] 萬(wàn)磊.神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的應(yīng)用若干問(wèn)題探討[J]

電路技術(shù).2011（08）

[9] 郭明強(qiáng).神經(jīng)網(wǎng)絡(luò)在模擬電路故障診斷中的發(fā)展歷程分析[J]電路技術(shù).2013（08）

第2篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：Matlab；BP神經(jīng)網(wǎng)絡(luò)；預(yù)測(cè)

中圖分類號(hào)：TP183文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2008)19-30124-02

Based on Matlab BP Neural Network Application

YANG Bao-hua

(Institute of Information and Computer, Anhui Agricultural University, Hefei 230036, China)

Abstract: BP learning algorithm is a one-way transmission of multi-layer to the network, Matlab toolbox is based on the theory of artificial neural network, based on Matlab toolbox, with watermelon-heavy forecasts, BP neural network forecast the feasibility of re-watermelon is verified, and fast convergence, small error, should be promoted in the forecast crop growth.

Key words: Matlab; BP Neural Networks; Forecast

1 引言

人工神經(jīng)網(wǎng)絡(luò)是人工構(gòu)造的模擬人腦功能而構(gòu)建的一種網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)是結(jié)構(gòu)較簡(jiǎn)單、應(yīng)用最廣泛的一種模型，BP神經(jīng)網(wǎng)絡(luò)是Rumelhart等在1986年提出的。它是一種單向傳播的多層前向網(wǎng)絡(luò)，一般具有三層或三層以上的神經(jīng)網(wǎng)絡(luò)，包括輸入層、中間層（隱層）和輸出層[1]，其模型見(jiàn)圖1所示。

■

圖1 BP網(wǎng)絡(luò)模型

Matlab中的神經(jīng)網(wǎng)絡(luò)工具箱是以人工神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ)，利用Matlab語(yǔ)言構(gòu)造出許多典型神經(jīng)網(wǎng)絡(luò)的傳遞函數(shù)、網(wǎng)絡(luò)權(quán)值修正規(guī)則和網(wǎng)絡(luò)訓(xùn)練方法。網(wǎng)絡(luò)的設(shè)計(jì)者可根據(jù)自己的需要調(diào)用工具箱中有關(guān)神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與訓(xùn)練的程序，免去了繁瑣的編程過(guò)程。

紅籽瓜(Red-seed Watermelon)種子即瓜子富含有蛋白質(zhì)、脂肪、鈣、磷及多種維生素，含油率達(dá)55%左右，營(yíng)養(yǎng)頗為豐富，經(jīng)過(guò)精細(xì)加工，味道鮮美，市場(chǎng)十分暢銷[4]。為了提高瓜子的產(chǎn)量，需要關(guān)注很多因素，這些因素的改變會(huì)影響瓜子的產(chǎn)量，所以確定哪些因素能預(yù)測(cè)產(chǎn)量，如何預(yù)測(cè)是本文研究的內(nèi)容。本文利用紅籽西瓜的測(cè)量數(shù)據(jù)，以單果重，種子數(shù)，千粒重，種子重作為輸入因子，仁重為輸出因子，選擇合適的隱層，構(gòu)建影響紅籽西瓜種仁重量的BP網(wǎng)絡(luò)模型，運(yùn)用Matlab軟件進(jìn)行預(yù)測(cè)。

2 BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本方法

Matlab的NNbox提供了建立神經(jīng)網(wǎng)絡(luò)的專用函數(shù)newff()[5]。用newff函數(shù)來(lái)確定網(wǎng)絡(luò)層數(shù)、每層中的神經(jīng)元數(shù)和傳遞函數(shù)，其語(yǔ)法為：

net=newff(PR,[S1,S2,…,SN],{TF1,TF2,…,TFN},BTF,BLF,PF)

式中：PR表示由每個(gè)輸入向量的最大最小值構(gòu)成的R×2矩陣；Si表示第i層網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)；TF表示第i層網(wǎng)絡(luò)的傳遞函數(shù)，缺省為tansig，可選用的傳遞函數(shù)有tansig，logsig或purelin；BTF表示字符串變量，為網(wǎng)絡(luò)的訓(xùn)練函數(shù)名，可在如下函數(shù)中選擇：traingd、traingdm、traingdx、trainbfg、trainlm等，缺省為trainlm；BLF表示字符串變量，為網(wǎng)絡(luò)的學(xué)習(xí)函數(shù)名，缺省為learngdm；BF表示字符串變量，為網(wǎng)絡(luò)的性能函數(shù)，缺省為均方差“mse”。

2.1 網(wǎng)絡(luò)層數(shù)

BP網(wǎng)絡(luò)可以包含不同的隱層，但理論上已經(jīng)證明，在不限制隱層節(jié)點(diǎn)數(shù)的情況下，兩層（只有一個(gè)隱層）的BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意非線性映射。

2.2 輸入層節(jié)點(diǎn)數(shù)

輸入層起緩沖存儲(chǔ)器的作用，它接受外部的輸入數(shù)據(jù)，因此其節(jié)點(diǎn)數(shù)取決于輸入矢量的維數(shù)。

2.3 輸出層節(jié)點(diǎn)數(shù)

輸出層節(jié)點(diǎn)數(shù)取決于兩個(gè)方面，輸出數(shù)據(jù)類型和表示該類型所需的數(shù)據(jù)大小。在設(shè)計(jì)輸人層和輸出層時(shí)，應(yīng)該盡可能的減小系統(tǒng)規(guī)模，使系統(tǒng)的學(xué)習(xí)時(shí)間和復(fù)雜性減小。

2.4 隱層節(jié)點(diǎn)數(shù)

一個(gè)具有無(wú)限隱層節(jié)點(diǎn)的兩層BP網(wǎng)絡(luò)可以實(shí)現(xiàn)任意從輸入到輸出的非線性映射。但對(duì)于有限個(gè)輸入模式到輸出模式的映射，并不需要無(wú)限個(gè)隱層節(jié)點(diǎn)，這就涉及到如何選擇隱層節(jié)點(diǎn)數(shù)的問(wèn)題，至今為止，尚未找到一個(gè)很好的解析式，隱層節(jié)點(diǎn)數(shù)往往根據(jù)前人設(shè)計(jì)所得的經(jīng)驗(yàn)和自己進(jìn)行試驗(yàn)來(lái)確定。一般認(rèn)為，隱層節(jié)點(diǎn)數(shù)與求解問(wèn)題的要求、輸入輸出單元數(shù)多少都有直接的關(guān)系。另外，隱層節(jié)點(diǎn)數(shù)太多會(huì)導(dǎo)致學(xué)習(xí)時(shí)間過(guò)長(zhǎng)；而隱層節(jié)點(diǎn)數(shù)太少，容錯(cuò)性差，識(shí)別未經(jīng)學(xué)習(xí)的樣本能力低，所以必須綜合多方面的因素進(jìn)行設(shè)計(jì)。

隱層節(jié)點(diǎn)數(shù)的初始值可先由以下兩個(gè)公式中的其中之一來(lái)確定[2,3]。

1=■+a (1)

或 1=■(2)

式中，m、n分別為輸入結(jié)點(diǎn)數(shù)目與輸出結(jié)點(diǎn)數(shù)目，a為1～10之間的常數(shù)。

2.5 數(shù)據(jù)歸一化

因?yàn)樵紨?shù)據(jù)幅值大小不一，有時(shí)候還相差比較懸殊。如果直接投人使用，測(cè)量值大的波動(dòng)就壟斷了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，使其不能反映小的測(cè)量值的變化。所以，在網(wǎng)絡(luò)訓(xùn)練之前，輸人數(shù)據(jù)和目標(biāo)矢量都要經(jīng)過(guò)歸一化處理。

根據(jù)公式可將數(shù)據(jù)“歸一化”，即限定在[0,1]區(qū)間內(nèi)。歸一化公式為：

■ (3)

也可以使用歸一化函數(shù)Premnmx，及反歸一化函數(shù)Postmnmx。

3 BP學(xué)習(xí)算法及實(shí)例

3.1 BP學(xué)習(xí)算法

1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)；

2) 從訓(xùn)練樣本集合中取一個(gè)樣本，并作為輸入向量送入網(wǎng)絡(luò)；

3) 正向傳播過(guò)程，對(duì)給定的輸入樣本，通過(guò)網(wǎng)絡(luò)計(jì)算得到輸出樣本，并把得到的輸出樣本與期望的樣本比較，如有誤差超出限定范圍，則執(zhí)行第4步；否則返回第2步，輸入下一個(gè)樣本；

4) 反向傳播過(guò)程，即從輸出層反向計(jì)算到第一隱層，修正各神經(jīng)元的連接權(quán)值，使用誤差減小。

3.2 實(shí)例

為了提高瓜籽產(chǎn)量，需要關(guān)注很多因素，濾去相關(guān)度過(guò)低的因子，根據(jù)經(jīng)驗(yàn)確定輸入因子為單果重，種子數(shù)，千粒重，種子重，輸出因子為仁重。現(xiàn)以表1所示的2000~2002年測(cè)量數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行訓(xùn)練，對(duì)2003年的數(shù)據(jù)進(jìn)行預(yù)測(cè)。輸出層結(jié)點(diǎn)代表仁重量，神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型采用4-4-1，即輸入層4個(gè)神經(jīng)元，根據(jù)公式(2)計(jì)算隱層神經(jīng)元數(shù)確定為4，1個(gè)輸出神經(jīng)元。設(shè)定最大的迭代次數(shù)為500次，系統(tǒng)全局誤差小于0.001。傳遞函數(shù)為tansig，訓(xùn)練函數(shù)為trainlm。

根據(jù)經(jīng)典的BP算法，采用Matlab編程，樣本訓(xùn)練結(jié)果見(jiàn)圖2，2003的數(shù)據(jù)作為預(yù)測(cè)樣本，預(yù)測(cè)結(jié)果如下：

TRAINLM, Epoch 0/500, MSE 0.316381/0.001, Gradient 2.8461/1e-010

TRAINLM, Epoch 4/500, MSE 0.00056622/0.001, Gradient 0.0830661/1e-010

TRAINLM, Performance goal met.

SSE = 0.0102

y = 0.269 0.267 0.27 0.269 0.2679 0.2679

表1 紅籽西瓜數(shù)量性狀表

瓜籽仁重實(shí)際值為0.265，0.282，0.264，0.269，0.265，0.287，誤差為0.0102，當(dāng)樣本較少時(shí)可以接受的誤差范圍內(nèi)。并且收斂速度快。

■

圖2訓(xùn)練函數(shù)為trainlm的訓(xùn)練結(jié)果

采用traingd函數(shù)進(jìn)行訓(xùn)練，則5000次仍未達(dá)到要求的目標(biāo)誤差0.001，說(shuō)明該函數(shù)訓(xùn)練的收斂速度很慢。見(jiàn)圖3所示。所以訓(xùn)練函數(shù)的選擇也非常關(guān)鍵。

■

圖3 訓(xùn)練函數(shù)為traingd的訓(xùn)練結(jié)果

4 結(jié)論

用Matlab編編寫的基于BP網(wǎng)絡(luò)的仁重預(yù)測(cè)程序，計(jì)算結(jié)果表明，誤差較小，預(yù)測(cè)值與實(shí)測(cè)值吻合較好，所建立的模型具有較好的實(shí)用性，說(shuō)明單果重，種子數(shù)，千粒重，種子重的數(shù)據(jù)影響瓜子的產(chǎn)量，同時(shí)驗(yàn)證BP算法可以用于瓜仁產(chǎn)量的預(yù)測(cè)。

目前所進(jìn)行的預(yù)測(cè)試驗(yàn)中數(shù)據(jù)的樣本較少，且生長(zhǎng)動(dòng)態(tài)變化，今后擬建立一個(gè)動(dòng)態(tài)預(yù)測(cè)系統(tǒng)，為紅籽瓜品種培育、提高產(chǎn)量提供新的方法，值得在預(yù)測(cè)作物生長(zhǎng)中推廣。

參考文獻(xiàn)：

[1] 飛思科技產(chǎn)品研發(fā)中心.神經(jīng)網(wǎng)絡(luò)理論與Matlab 7實(shí)現(xiàn)[M].北京：電子工業(yè)出版社.2006:100-105.

[2] 徐廬生.微機(jī)神經(jīng)網(wǎng)絡(luò)[M].北京：中國(guó)醫(yī)藥科技出版社,1995．

[3] 高大啟.有教師的線性基本函數(shù)前向三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)研究[J].計(jì)算機(jī)學(xué)報(bào),1998,21(1):80-85．

[4] 欽州農(nóng)業(yè)信息網(wǎng)：.

第3篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：RBF神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)挖掘；遺傳算法

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）07-0151-03

Research on Data Mining Method Based on RBF Neural Network

CAO Jia-jie， YANG Meng， XU Xin-yu

（Beijing Satellite Manufacturing Plant， Beijing 100000， China）

Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.

Key words： RBF neural network； data mining； genetic algorithm

數(shù)據(jù)挖掘是從大量數(shù)據(jù)中挖掘有價(jià)值的信息和知識(shí)，以便為管理決策和戰(zhàn)略部署提供數(shù)據(jù)支撐。數(shù)據(jù)挖掘作為信息技術(shù)發(fā)展的結(jié)果，其應(yīng)用前景相當(dāng)廣泛。數(shù)據(jù)庫(kù)技術(shù)主要研究數(shù)據(jù)的組織、存儲(chǔ)、獲取和處理，而信息技術(shù)主要經(jīng)歷以下發(fā)展歷程：數(shù)據(jù)的簡(jiǎn)單收集和數(shù)據(jù)庫(kù)的初期建設(shè)數(shù)據(jù)的存儲(chǔ)與檢索、數(shù)據(jù)庫(kù)的事務(wù)處理數(shù)據(jù)的分析與理解，此時(shí)便出現(xiàn)數(shù)據(jù)挖掘技術(shù)。基于上述研究背景，下文首先分別介紹數(shù)據(jù)挖掘與RBF神經(jīng)網(wǎng)絡(luò)的相關(guān)理論知識(shí)，并在此基礎(chǔ)上，討論基于RBF神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘方法，目的是為了研究數(shù)據(jù)挖掘所用到的分類算法。關(guān)于神經(jīng)網(wǎng)絡(luò)，作為一種人工智能技術(shù)，其一方面可以省去繁瑣的數(shù)學(xué)建模和數(shù)學(xué)推理，另一方面在處理含噪聲的非線性數(shù)據(jù)時(shí)表現(xiàn)出無(wú)與倫比的優(yōu)越性。

1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是非平凡的數(shù)據(jù)處理過(guò)程，即識(shí)別數(shù)據(jù)集中具有潛在價(jià)值、新穎有效且最終可被理解的模式，其中潛在價(jià)值指的是挖掘出的知識(shí)具有實(shí)際效用；新穎是指識(shí)別出的模式新穎；有效是指識(shí)別出的模式在一定程度上是正確的；最終可被理解是指識(shí)別出的數(shù)據(jù)可被用戶理解。圖1所示為數(shù)據(jù)挖掘的工作流程。

如圖1所示，數(shù)據(jù)挖掘主要經(jīng)歷數(shù)據(jù)準(zhǔn)備、模式提取、結(jié)果解釋與評(píng)估等階段，其中數(shù)據(jù)準(zhǔn)備的步驟為：數(shù)據(jù)清洗數(shù)據(jù)選取數(shù)據(jù)預(yù)處理數(shù)據(jù)表示；數(shù)據(jù)提取階段又稱數(shù)據(jù)挖掘階段，其實(shí)現(xiàn)步驟為：確定數(shù)據(jù)挖掘的目標(biāo)或任務(wù)選取適宜的數(shù)據(jù)挖掘工具或算法進(jìn)行數(shù)據(jù)挖掘操作；結(jié)果解釋與評(píng)估階段主要對(duì)所識(shí)別的數(shù)據(jù)進(jìn)行評(píng)估、篩除。一般來(lái)講，數(shù)據(jù)挖掘質(zhì)量主要與以下影響因素有關(guān)：數(shù)據(jù)挖掘技術(shù)的可靠性與有效性；目標(biāo)數(shù)據(jù)的數(shù)量與質(zhì)量。總之，數(shù)據(jù)挖掘是一個(gè)反復(fù)反饋的過(guò)程，而可視化貫穿在數(shù)據(jù)挖掘的全過(guò)程。

數(shù)據(jù)挖掘的方法一般分為統(tǒng)計(jì)型、機(jī)械學(xué)習(xí)型兩大類，而較為常用的算法包括遺傳算法、神經(jīng)網(wǎng)絡(luò)等。遺傳算法是一種以生物進(jìn)化理論為基礎(chǔ)的優(yōu)化空間搜尋法，其在數(shù)據(jù)挖掘中，通常以搜索問(wèn)題的形式來(lái)表述具體的任務(wù)，并通過(guò)選擇、交叉、變異遺傳等操作尋得最優(yōu)解。神經(jīng)網(wǎng)絡(luò)是一種與人類大腦重復(fù)學(xué)習(xí)類似的方法，即通過(guò)學(xué)習(xí)和訓(xùn)練一些事先給出的樣本，產(chǎn)生與樣品有所區(qū)別的特征和模式，其中樣本集應(yīng)具有代表性。研究表明，神經(jīng)網(wǎng)絡(luò)具有準(zhǔn)確預(yù)測(cè)復(fù)雜的問(wèn)題、有效處理存在噪聲的數(shù)據(jù)等優(yōu)點(diǎn)。神經(jīng)網(wǎng)絡(luò)一般分為自組織、反饋式和前饋式神經(jīng)網(wǎng)絡(luò)，目前正被廣泛應(yīng)用于商業(yè)領(lǐng)域。

2 RBF神經(jīng)網(wǎng)絡(luò)

RBF網(wǎng)絡(luò)結(jié)構(gòu)是一種由輸入層、隱含層和輸出層組成的三層前向網(wǎng)絡(luò)，其中輸入層包含信號(hào)源結(jié)點(diǎn)；隱含層主要由節(jié)點(diǎn)數(shù)目描述的具體問(wèn)題而定；輸出層主要響應(yīng)輸入模式的具體作用。圖2所示為RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)模型。

如圖2所示，RBF網(wǎng)絡(luò)由輸入層向隱含層變換的過(guò)程具有非線性的特征，而由隱含層向輸入層變化的過(guò)程具有線性的特征。據(jù)此可知，RBF神經(jīng)網(wǎng)絡(luò)是一種基于前饋網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。研究發(fā)現(xiàn)，RBF神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)會(huì)對(duì)自身的性能產(chǎn)生影響，而以下因素又會(huì)對(duì)RBF網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)產(chǎn)生影響：RBF的隱節(jié)點(diǎn)數(shù)目、中心矢量、徑向基函數(shù)寬度和隱含層與輸出層的權(quán)值矩陣。

RBF網(wǎng)絡(luò)具有較強(qiáng)的非線性逼近性能。得益于此，其目前主要用來(lái)實(shí)現(xiàn)非線性系統(tǒng)的建模與數(shù)據(jù)挖掘、貝葉斯規(guī)則和連續(xù)輸入/出數(shù)據(jù)對(duì)的映射建模。與其他前向神經(jīng)網(wǎng)絡(luò)相比，RBF神經(jīng)網(wǎng)絡(luò)具有以下優(yōu)點(diǎn)：

1）RBF神經(jīng)網(wǎng)絡(luò)能逼近任意非線性映射，也能處理系統(tǒng)內(nèi)部的規(guī)律性問(wèn)題。就無(wú)噪聲數(shù)據(jù)而言，RBF神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度高且擬合能力強(qiáng)；而就存在噪聲的數(shù)據(jù)來(lái)講，RBF神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)誤差和擬合誤差均偏低，且收斂速度相當(dāng)快。得益于此，RBF神經(jīng)網(wǎng)絡(luò)在時(shí)序建模和分析中的應(yīng)用十分廣泛。

2）RBF神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)加快了學(xué)習(xí)速度和規(guī)避了局部極小的問(wèn)題。RBF神經(jīng)網(wǎng)絡(luò)采用核函數(shù)，特別是高斯函數(shù)的使用使得核函數(shù)的優(yōu)點(diǎn)更為突出：表示簡(jiǎn)單、光滑性好和解釋性好等。

3）RBF神經(jīng)網(wǎng)絡(luò)的可解釋性好。目前，以下理論均可用于RBF網(wǎng)絡(luò)參數(shù)和拓?fù)浣Y(jié)構(gòu)的解釋中：RBF網(wǎng)絡(luò)能夠?qū)斎雽愚D(zhuǎn)向輸出層進(jìn)行映射；核回歸能夠逼近存在噪聲的函數(shù)噪聲數(shù)據(jù)插值能夠逼近輸入缺少函數(shù)；規(guī)則化可以通過(guò)在一般化與精確匹配中尋求平衡；貝葉斯規(guī)則可以根據(jù)前概率計(jì)算出后概率。

3 基于RBF神經(jīng)網(wǎng)絡(luò)的分類數(shù)據(jù)挖掘

關(guān)于RBF神經(jīng)網(wǎng)絡(luò)的研究，其主要表現(xiàn)在以下兩個(gè)方面： RBF網(wǎng)絡(luò)結(jié)構(gòu)模型； RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。

3.1 RBF網(wǎng)絡(luò)結(jié)構(gòu)模型

在實(shí)際應(yīng)用中，RBF模型的應(yīng)用范圍更廣，其核函數(shù)使用的是高斯函數(shù)。但研究發(fā)現(xiàn)，在上述結(jié)構(gòu)模型中，訓(xùn)練算法的優(yōu)劣會(huì)對(duì)模型的應(yīng)用效果和RBF網(wǎng)絡(luò)性能的高低產(chǎn)生決定作用。鑒于此，研究人員提出一些具有新特點(diǎn)和新性能的網(wǎng)絡(luò)模型，具體包括：

1）高斯型核函數(shù)一般化。當(dāng)隱含層RBF采用以下高斯條函數(shù)時(shí)，將大大改善RBFN的綜合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。對(duì)于普通高斯函數(shù)，其擁有半徑相同的變量軸和超球面狀的函數(shù)曲面。但與此相比，高斯條核函數(shù)擁有超橢球面狀的函數(shù)曲面和半徑不同的變量軸，因此它具有更強(qiáng)的樣本點(diǎn)逼近能力和更大的網(wǎng)絡(luò)訓(xùn)練工作量。

2）WNN（小波神經(jīng)網(wǎng)絡(luò)）。WNN是一種基于小波函數(shù)的函數(shù)連接型網(wǎng)絡(luò)，因此在一定程度上應(yīng)被看作RBFN的推廣形式。WNN的激活函數(shù)為小波函數(shù)，具體以仿射變換的方式創(chuàng)建網(wǎng)絡(luò)參數(shù)與小波變換之間的聯(lián)系，因此所表現(xiàn)出的特點(diǎn)與RBFN有所差異。此外，WNN具有極佳的時(shí)頻特征，因此被廣泛應(yīng)用于圖像處理和模式識(shí)別等領(lǐng)域。

3）RBPNN（徑向基概率神經(jīng)網(wǎng)絡(luò)）。RBPNN作為RBFNN與PNN綜合發(fā)展的結(jié)果，其學(xué)習(xí)收斂速度比RBFN更快，同時(shí)也將模式之間的交錯(cuò)影響考慮其中。關(guān)于RBPNN，其結(jié)構(gòu)主要由2個(gè)隱含層、1個(gè)輸入層、2個(gè)輸出層組成，其中第一個(gè)隱含層為非線處理層，具體包括隱中心矢量，此乃網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的核心對(duì)象；在輸出層得出輸入樣本概率密度的估算值，可降低計(jì)算的復(fù)雜度。

4）GRNN（廣義回歸網(wǎng)絡(luò)）。GRNN使用的也是高斯型徑向基函數(shù)，一般被看作RBFN的變換形式。GRNN的結(jié)構(gòu)主要由模式層、輸入層、加和層、輸出層組成，其中核函數(shù)所包含的平滑因子需采用優(yōu)化或經(jīng)驗(yàn)方法來(lái)選定。

3.2 RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

在RBF網(wǎng)絡(luò)設(shè)計(jì)中，最為核心的問(wèn)題是如何合理確定中心點(diǎn)的位置、數(shù)目和訓(xùn)練網(wǎng)絡(luò)權(quán)值。通常情況下，中心點(diǎn)的確定與權(quán)值的訓(xùn)練既可分開(kāi)實(shí)現(xiàn)，又可同時(shí)進(jìn)行。鑒于此，RBF網(wǎng)絡(luò)可以采用以下兩類學(xué)習(xí)算法：

3.2.1 靜態(tài)學(xué)習(xí)算法

靜態(tài)學(xué)習(xí)算法是一種離線學(xué)習(xí)算法，即在離線設(shè)計(jì)RBF網(wǎng)絡(luò)時(shí)，中心點(diǎn)的確定與權(quán)值的訓(xùn)練分開(kāi)進(jìn)行。

1）隨機(jī)確定RBF中心點(diǎn)，即隨機(jī)從訓(xùn)練數(shù)據(jù)集中選取RBF中心點(diǎn)。當(dāng)RBF選取以下高斯函數(shù)：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心點(diǎn)；[m]――中心數(shù)；[dmax]――相鄰中心點(diǎn)最大的間隔距離，因此高斯徑向基函數(shù)的寬度[σ=dmax/2m]。利用上述算法，可以避免RBF的形狀出現(xiàn)過(guò)平或過(guò)陡兩種極端現(xiàn)象。如此一來(lái)，便可通過(guò)計(jì)算線性方程組的方式來(lái)確定輸出層與隱含層的連接權(quán)值。

2）自組織學(xué)習(xí)確定RBF中心點(diǎn)。混合學(xué)習(xí)過(guò)程主要包括自組織學(xué)習(xí)階段、監(jiān)督學(xué)習(xí)階段，其中自組織學(xué)習(xí)階段的任務(wù)是采用聚類算法來(lái)估計(jì)隱含層RBF的中心點(diǎn)；監(jiān)督學(xué)習(xí)階段主要通過(guò)對(duì)輸出層線性權(quán)重進(jìn)行估計(jì)來(lái)設(shè)計(jì)網(wǎng)絡(luò)，具體采用最小二乘法。輸出層節(jié)點(diǎn)的LMS算法與隱含層節(jié)點(diǎn)的K-均值聚類同時(shí)進(jìn)行，以加速學(xué)習(xí)過(guò)程。

3）有監(jiān)督學(xué)習(xí)確定RBF中心點(diǎn)，即通過(guò)有監(jiān)督學(xué)習(xí)解得RBF的中心點(diǎn)和自有參數(shù)，具體使用牛頓法或梯度下降法等。如果使用梯度下降法，則應(yīng)從參數(shù)空間的某一有效區(qū)域開(kāi)始進(jìn)行搜索，即先利用RBF網(wǎng)絡(luò)得到高斯分類算法，再以分類結(jié)果為搜索點(diǎn)，以免學(xué)習(xí)程收斂至局部極小。

3.2.2 動(dòng)態(tài)學(xué)習(xí)算法

動(dòng)態(tài)學(xué)習(xí)算法是一種在線學(xué)習(xí)算法，其主要在在線數(shù)據(jù)挖掘環(huán)境中使用。由于在在線數(shù)據(jù)挖掘環(huán)境中，通常不會(huì)全部給定訓(xùn)練樣本，因此如果隱含層中心點(diǎn)與單元數(shù)目的確定采用靜態(tài)學(xué)習(xí)算法，則解算結(jié)果不一定最優(yōu)，而在線學(xué)習(xí)算法支持動(dòng)態(tài)刪除或加入隱含層節(jié)點(diǎn)，且隱含層中心點(diǎn)的確定和權(quán)值的訓(xùn)練同時(shí)進(jìn)行，因此可以動(dòng)態(tài)構(gòu)造網(wǎng)絡(luò)。

1）以分組優(yōu)化策略為基礎(chǔ)的在線學(xué)習(xí)法。訓(xùn)練神經(jīng)網(wǎng)絡(luò)是約束優(yōu)化的過(guò)程，則需對(duì)特定的神經(jīng)網(wǎng)絡(luò)類型進(jìn)行深入探討。以下內(nèi)容為在線隱含層單元的確定策略：當(dāng)輸入的訓(xùn)練樣本同時(shí)滿足以下條件時(shí)，則為之分配相應(yīng)的隱含層但愿你：網(wǎng)絡(luò)輸出誤差比誤差的設(shè)定閥值大；輸入樣本與隱層中心點(diǎn)之間的距離比距離的設(shè)計(jì)閥值大。如果在RBF神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練方式中引入分組優(yōu)化策略，則網(wǎng)絡(luò)輸出與網(wǎng)絡(luò)權(quán)值之間存在線性關(guān)系，同時(shí)與隱含層單元的寬度、中心點(diǎn)之間存在非線性關(guān)系，表明盡量采取不同的優(yōu)化方法來(lái)處理兩部分的參數(shù)。

2）最近鄰聚類算法。最近鄰居類算法作為動(dòng)態(tài)自適應(yīng)聚類學(xué)習(xí)算法，由其聚類得出的RBF網(wǎng)絡(luò)不僅最優(yōu)，且支持在線學(xué)習(xí)。最近鄰聚類算法的實(shí)現(xiàn)過(guò)程為：

① 設(shè)定高斯函數(shù)寬度為r，定義矢量A（l）存放輸出矢量的總和，定義計(jì)數(shù)器B（l）統(tǒng)計(jì)樣本數(shù)量，其中類別數(shù)目為l。

② 對(duì)于數(shù)據(jù)對(duì)[（x1，y1）]，于[x1]上創(chuàng)建1個(gè)聚類中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF網(wǎng)絡(luò)中便僅存在1個(gè)中心為[c1]的隱含層單元，且隱含層單元與輸出層的權(quán)矢量[w1=A（1）/B（1）]。

③ 對(duì)于數(shù)據(jù)對(duì)[（x2，y2）]，解得[x2]與[c1]之間的距離[x2-c1]。假設(shè)[x2-c1≤r]，那么[x2]的最近鄰聚類為[c1]，假設(shè)[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假設(shè)[x2-c1>r]，那么以[x2]為新的聚類中心，同時(shí)假設(shè)[c2=x2]，[A（2）=y2]，[B（2）=1]。根據(jù)上述要求創(chuàng)建的RBF網(wǎng)絡(luò)，再在其中加入一個(gè)隱含層單元，其與輸出層之間的權(quán)矢量[w2=A（2）/B（2）]。

④ 假設(shè)第k個(gè)數(shù)據(jù)對(duì)[（xk，yk）（k=3，4，...，n）]的聚類中心數(shù)為M，相應(yīng)的中心點(diǎn)為[c1，c2，...，cm]，則由此創(chuàng)建的RBF網(wǎng)絡(luò)中便存在M個(gè)隱含層單元。據(jù)此，解得[xk]與M個(gè)聚類中心的間距為[xk-ci，i=1，2，...，M]，假設(shè)兩者的減小間距為[xk-ci]，那么[xk]的最近鄰聚類為[ci]。根據(jù)第一、二數(shù)據(jù)對(duì)的計(jì)算步驟，解得當(dāng)[xk-ci>r]時(shí)，第M個(gè)隱含層單元與輸出層之間的權(quán)矢量[wM=A（M）/B（M）]；當(dāng)[xk-ci≤r]時(shí)，隱含層單元與輸出層之間的權(quán)矢量[wi=A（i）/B（i），i=1，2，...，M]。研究發(fā)現(xiàn)，動(dòng)態(tài)自適應(yīng)RBF網(wǎng)絡(luò)的難易程度由r所決定，即聚類數(shù)目與r呈負(fù)相關(guān)，即r越小，聚類數(shù)目越多，則計(jì)算量越大和精度越高，反之亦然。總之，最近鄰聚類法具有性能優(yōu)點(diǎn)、計(jì)算量小河學(xué)習(xí)時(shí)間短等優(yōu)點(diǎn)，不僅可以通過(guò)確定隱含層來(lái)建立RBF神經(jīng)網(wǎng)絡(luò)，還可以在動(dòng)態(tài)輸入模式在線學(xué)習(xí)中得到有效應(yīng)用。

綜上，RBF網(wǎng)絡(luò)是一種具有最佳擬合和全局逼近性能的前向型神經(jīng)網(wǎng)絡(luò)，其無(wú)疑具有廣闊的應(yīng)用前景，但在實(shí)際應(yīng)用中，應(yīng)當(dāng)考慮到局部極小問(wèn)題的存在，進(jìn)而保障其應(yīng)用效果。

參考文獻(xiàn)：

[1] 儲(chǔ)兵，吳陳，楊習(xí)貝，等.基于RBF神經(jīng)網(wǎng)絡(luò)與粗糙集的數(shù)據(jù)挖掘算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013，23（7）：87-91.

[2] 宮曉曼，滕榮華.基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘在煤礦選煤中的應(yīng)用[J].煤炭技術(shù)，2013（9）：127-128.

[3] 魏文軒.改進(jìn)型RBF神經(jīng)網(wǎng)絡(luò)在股票市場(chǎng)預(yù)測(cè)中的應(yīng)用[J].統(tǒng)計(jì)與決策，2013（15）：70-72.

[4] 曹東方，王玉恒.數(shù)據(jù)挖掘在員工考評(píng)管理信息系統(tǒng)中的應(yīng)用[J].河北工業(yè)科技，2012，29（5）：323-326.

[5] 姚應(yīng)水，葉明全.RBF神經(jīng)網(wǎng)絡(luò)與logistic回歸模型的對(duì)比研究[J].中國(guó)衛(wèi)生統(tǒng)計(jì)，2011，28（4）：397-399.

[6] 張會(huì)敏，葉明全，羅永錢等.基于RBF神經(jīng)網(wǎng)絡(luò)的老年癡呆癥智能診斷研究[J].中國(guó)數(shù)字醫(yī)學(xué)，2015（6）：38-41.

[7] 習(xí)勤，米帥軍.指標(biāo)篩選技術(shù)在神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)挖掘模型中的應(yīng)用[J].統(tǒng)計(jì)與決策，2011（10）：163-165.

[8] 林濤，葛玉敏，安玳寧等.基于 RBF 神經(jīng)網(wǎng)絡(luò)的鋼構(gòu)件質(zhì)量追溯系統(tǒng)研究[J].計(jì)算技術(shù)與自動(dòng)化，2015（1）：20-24.

第4篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；教學(xué)實(shí)踐；教學(xué)方法；生物信息學(xué)

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2014）17-0208-03

人工神經(jīng)網(wǎng)絡(luò)是在神經(jīng)生理學(xué)、生物學(xué)、數(shù)學(xué)、計(jì)算機(jī)學(xué)等學(xué)科發(fā)展的基礎(chǔ)上提出的，模擬人類大腦的結(jié)構(gòu)和思維方式處理、記憶信息的一門學(xué)科。具體來(lái)說(shuō)，早在20世紀(jì)40年代，隨著醫(yī)學(xué)、生物學(xué)家們對(duì)人腦神經(jīng)的結(jié)構(gòu)、組成以及信息處理的工作原理的認(rèn)識(shí)越來(lái)越充分，有學(xué)者提出以數(shù)學(xué)和物理方法對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立簡(jiǎn)化的模型，用以進(jìn)行信息處理，這種應(yīng)用類似于大腦神經(jīng)突觸聯(lián)接的結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，稱之為人工神經(jīng)網(wǎng)絡(luò)ANN（Artificial Neural Network）[1]。

在人工神經(jīng)網(wǎng)絡(luò)中，各種待處理的對(duì)象（數(shù)據(jù)、特征、字符、抽象的模式等等）都可用神經(jīng)元處理單元表示。這些神經(jīng)元主要可以分為輸入神經(jīng)元、隱含神經(jīng)元和輸出神經(jīng)元三大類。其作用各不相同，作為輸入神經(jīng)元的處理單元用來(lái)與外界產(chǎn)生連接，接收外界的信號(hào)輸入；隱含神經(jīng)元處于中間層，為信息處理的不可見(jiàn)層；輸出神經(jīng)元主要實(shí)現(xiàn)結(jié)果的輸出。神經(jīng)元之間相互連接，連接的權(quán)重反映了各神經(jīng)元之間的連接強(qiáng)度，神經(jīng)元之間的連接關(guān)系中蘊(yùn)含著信息的表示和處理。人工神經(jīng)網(wǎng)絡(luò)主要是在不同程度、不同層次上模擬大腦處理信息的風(fēng)格，具有非程序化、較強(qiáng)的適應(yīng)性、自組織性、并行分布式等特點(diǎn)，其實(shí)現(xiàn)主要是通過(guò)網(wǎng)絡(luò)的變換和動(dòng)力學(xué)行為，涉及數(shù)學(xué)、生物學(xué)、人工智能、計(jì)算機(jī)科學(xué)、非線性動(dòng)力學(xué)等多個(gè)學(xué)科[1]。作為一門活躍的邊緣叉學(xué)科，在處理信息方面，相比于傳統(tǒng)人工智能方法具有非線性適應(yīng)性，成功地應(yīng)用于神經(jīng)專家系統(tǒng)、模式識(shí)別、組合優(yōu)化、預(yù)測(cè)等多個(gè)領(lǐng)域，尤其在生物信息學(xué)領(lǐng)域得到了廣泛的應(yīng)用。生物信息學(xué)是20世紀(jì)末發(fā)展起來(lái)的一極具發(fā)展?jié)摿Φ男滦蛯W(xué)科。人類的基因中蘊(yùn)含著大量有用信息，利用神經(jīng)網(wǎng)絡(luò)可以對(duì)這些海量的信息進(jìn)行識(shí)別與分類，進(jìn)而進(jìn)行相關(guān)的生物信息學(xué)分析。如利用神經(jīng)網(wǎng)絡(luò)分析疾病與基因序列的關(guān)系，基于神經(jīng)網(wǎng)絡(luò)對(duì)蛋白質(zhì)結(jié)構(gòu)的預(yù)測(cè)，基因表達(dá)譜數(shù)據(jù)的分析，蛋白質(zhì)互作位點(diǎn)的預(yù)測(cè)等等，都取得了很好的效果[2]。

因此，在生物信息相關(guān)專業(yè)的本科生中開(kāi)設(shè)人工神經(jīng)網(wǎng)絡(luò)課程尤為重要。經(jīng)過(guò)多年的研究發(fā)展，已經(jīng)提出上百種的人工神經(jīng)網(wǎng)絡(luò)模型，這就需要教師針對(duì)不同的專業(yè)背景，不同層次的學(xué)生，講授不同模型的核心思想、推導(dǎo)過(guò)程、實(shí)際應(yīng)用等等。本文主要根據(jù)人工神經(jīng)網(wǎng)絡(luò)在生物信息學(xué)相關(guān)專業(yè)的教學(xué)實(shí)踐，從以下幾個(gè)方面進(jìn)行探討。

一、引導(dǎo)式教學(xué)，激發(fā)學(xué)生的學(xué)習(xí)積極性

神經(jīng)網(wǎng)絡(luò)作為一門偏于理論分析的學(xué)科，傳統(tǒng)的教學(xué)模式，即首先講解模型的起源，接下來(lái)介紹模型的核心思想，然后就是一連串的數(shù)學(xué)公式推導(dǎo)，面對(duì)滿黑板的公式，學(xué)生很難提起興趣去認(rèn)真學(xué)習(xí)相應(yīng)的模型。所以，如何激發(fā)起學(xué)生的學(xué)習(xí)積極性，讓學(xué)生重視這門課程，更好地掌握課程內(nèi)容，掌握相關(guān)的模型理論基礎(chǔ)、核心思想，更好地服務(wù)于本專業(yè)，是人工神經(jīng)網(wǎng)絡(luò)教學(xué)者亟待解決的問(wèn)題。

首先，在導(dǎo)課的時(shí)候要生動(dòng)，以引起學(xué)生對(duì)將要學(xué)習(xí)的內(nèi)容的好奇心，讓學(xué)生有興趣投入到課堂學(xué)習(xí)內(nèi)容中去。布盧姆說(shuō)過(guò)：“最大的學(xué)習(xí)動(dòng)機(jī)莫過(guò)于學(xué)生對(duì)所學(xué)知識(shí)有求知的興趣。”只有在這種動(dòng)機(jī)下的學(xué)習(xí)，才會(huì)提高自身的主動(dòng)性與自覺(jué)性，達(dá)到提高教學(xué)質(zhì)量的目的[3]。例如，在講解hopfield神經(jīng)網(wǎng)絡(luò)的時(shí)候，通過(guò)舉例對(duì)蘋果、橘子的質(zhì)地、形狀、重量等特征的描述，運(yùn)用“0，1”進(jìn)行量化描述，然后應(yīng)用神經(jīng)網(wǎng)絡(luò)就可以進(jìn)行有效地分類；對(duì)于旅行商TSP問(wèn)題，也可以通過(guò)hopfield神經(jīng)網(wǎng)絡(luò)尋找到最優(yōu)路徑。那么，這些問(wèn)題是如何解決的呢？就需要大家來(lái)一起揭開(kāi)hopfield神經(jīng)網(wǎng)絡(luò)的神秘面紗。其次，由于神經(jīng)網(wǎng)絡(luò)涉及大量的數(shù)學(xué)公式與數(shù)學(xué)方法，學(xué)生往往會(huì)有畏懼的心理，這就需要教師幫學(xué)生澄清思想誤區(qū)，現(xiàn)在很多用于數(shù)據(jù)分析與計(jì)算的軟件，如matlab工具箱、R軟件里面都有很成熟的人工神經(jīng)網(wǎng)絡(luò)軟件包，所以，學(xué)生只需要理解其工作原理、核心思想，學(xué)會(huì)使用現(xiàn)成的人工神經(jīng)網(wǎng)絡(luò)軟件包處理數(shù)據(jù)，在熟練應(yīng)用程序包的基礎(chǔ)上，對(duì)相應(yīng)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化，改進(jìn)，并且與其他的人工智能算法相結(jié)合，更好地為本專業(yè)服務(wù)。第三，在講授人工神經(jīng)網(wǎng)絡(luò)理論內(nèi)容的時(shí)候，要摒棄傳統(tǒng)的呆板式的推導(dǎo)過(guò)程，以往的神經(jīng)網(wǎng)絡(luò)教學(xué)方法注重理論分析，通常是一連串的公式推導(dǎo)，公式中又涉及大量的符號(hào)，計(jì)算起來(lái)復(fù)雜又煩瑣，學(xué)生會(huì)覺(jué)得索然無(wú)趣，厭學(xué)情緒嚴(yán)重。在教學(xué)過(guò)程中，教師要精心設(shè)計(jì)，創(chuàng)設(shè)出特定的問(wèn)題環(huán)境，將所學(xué)內(nèi)容與本專業(yè)相結(jié)合起來(lái)，多講應(yīng)用，啟發(fā)和誘導(dǎo)學(xué)生選取合適的神經(jīng)網(wǎng)絡(luò)模型來(lái)解決本專業(yè)的實(shí)驗(yàn)數(shù)據(jù)分析與處理等問(wèn)題。

二、理論教學(xué)與實(shí)驗(yàn)教學(xué)相結(jié)合

除了在理論課堂上將基本的理論知識(shí)傳輸給學(xué)生，教師還應(yīng)該安排若干實(shí)驗(yàn)教學(xué)內(nèi)容，讓學(xué)生以實(shí)驗(yàn)為主，將理論課上所學(xué)的知識(shí)運(yùn)用到解決實(shí)際問(wèn)題中來(lái)，理論聯(lián)系實(shí)際，主動(dòng)操作思考，觀察，分析，討論，以培養(yǎng)學(xué)生解決問(wèn)題的能力。一旦學(xué)生自己動(dòng)手處理一些問(wèn)題后，很自然地就會(huì)對(duì)人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生一種親切感，并能強(qiáng)烈激發(fā)起學(xué)生繼續(xù)探究下去的興趣。對(duì)于同一問(wèn)題，可以讓學(xué)生選取不同的網(wǎng)絡(luò)模型，設(shè)置不同的參數(shù)，甚至可以讓學(xué)生自己動(dòng)手編寫相應(yīng)的網(wǎng)絡(luò)模型程序，并且給予改進(jìn)，根據(jù)得出的結(jié)果來(lái)評(píng)價(jià)模型在解決實(shí)際問(wèn)題時(shí)的好壞，以及模型改進(jìn)的效果。作為授課教師，需要不斷優(yōu)化實(shí)驗(yàn)教學(xué)內(nèi)容，在生物信息學(xué)專業(yè)開(kāi)設(shè)人工神經(jīng)網(wǎng)絡(luò)課程，實(shí)驗(yàn)教學(xué)主要是針對(duì)生物信息專業(yè)的海量生物數(shù)據(jù)處理與分析的實(shí)際需要，培養(yǎng)學(xué)生綜合運(yùn)用人工神經(jīng)網(wǎng)絡(luò)方法和生物信息學(xué)知識(shí)，進(jìn)行信息的分析與處理。除了在實(shí)驗(yàn)課堂上給學(xué)生最大的自由發(fā)揮空間外，課后作業(yè)也盡量以開(kāi)放式問(wèn)題的形式給出，比如，可以讓學(xué)生選取相應(yīng)的網(wǎng)絡(luò)模型處理本專業(yè)的一些實(shí)際問(wèn)題，例如，數(shù)據(jù)的分類、聚類等等，其中，數(shù)據(jù)來(lái)源可以不同，類型也可自由選取，最后給出相應(yīng)的模型參數(shù)設(shè)置、方法的改進(jìn)、實(shí)驗(yàn)結(jié)果，也可以安排學(xué)生自己查詢文獻(xiàn)進(jìn)行學(xué)習(xí)，并安排學(xué)生作報(bào)告。這樣，學(xué)生可以在世界范圍內(nèi)了解神經(jīng)網(wǎng)絡(luò)的在本專業(yè)的應(yīng)用情況，又能提高英語(yǔ)的讀寫能力，還能鍛煉學(xué)生做科研報(bào)告的能力。

三、加強(qiáng)師資隊(duì)伍建設(shè)以及其他基本條件的建設(shè)

由于生物信息學(xué)是一門新興的交叉學(xué)科[4]，這就要求人工神經(jīng)網(wǎng)絡(luò)的授課教師要熟練掌握生物信息相關(guān)專業(yè)的知識(shí)，教師的業(yè)務(wù)水平必須得到充分保證，才能給學(xué)生以全面透徹的指導(dǎo)。學(xué)院應(yīng)該本著自主培養(yǎng)與重點(diǎn)引進(jìn)的原則，優(yōu)化教師隊(duì)伍的專業(yè)結(jié)構(gòu)和學(xué)歷結(jié)構(gòu)，提高教師的自身修養(yǎng)。授課教師要將課堂的理論知識(shí)聯(lián)系實(shí)際生物問(wèn)題進(jìn)行講授，讓學(xué)生感受到人工神經(jīng)網(wǎng)絡(luò)在本專業(yè)的應(yīng)用，提高學(xué)生的學(xué)習(xí)效率，同時(shí)也需要閱讀大量的專業(yè)文獻(xiàn)，提高編程技巧和數(shù)據(jù)庫(kù)應(yīng)用能力，讓自己成為一名合格的復(fù)合型教師。同時(shí)，人工神經(jīng)網(wǎng)絡(luò)課程的實(shí)驗(yàn)，高度依賴于計(jì)算機(jī)網(wǎng)絡(luò)等設(shè)備，因此，相關(guān)的軟硬件設(shè)施的建設(shè)也必不可少，由于，基因組測(cè)序技術(shù)的發(fā)展，目前生物信息學(xué)研究所用的數(shù)據(jù)都是海量的，神經(jīng)網(wǎng)絡(luò)訓(xùn)練起來(lái)所需時(shí)間太長(zhǎng)，不能用普通的電腦完成，需要專門的服務(wù)器來(lái)處理，學(xué)校有關(guān)部門應(yīng)在條件允許的情況下，配備機(jī)房，購(gòu)買服務(wù)器，以及相關(guān)的軟件，為學(xué)生創(chuàng)造良好的環(huán)境，讓學(xué)生完成課程內(nèi)容。

最后，人工神經(jīng)網(wǎng)絡(luò)涉及數(shù)學(xué)、計(jì)算機(jī)、人工智能和神經(jīng)學(xué)等專業(yè)知識(shí)，因此，需要授課教師加強(qiáng)與其他相關(guān)專業(yè)教師的交流與合作，并滲透到授課過(guò)程中去，讓學(xué)生在學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)時(shí)能將各專業(yè)聯(lián)系起來(lái)，更好地解決生物信息學(xué)中的問(wèn)題，要想成為一名合格的人工神經(jīng)網(wǎng)絡(luò)課程教師，首先要成為一名復(fù)合型的教師，不僅要具備教學(xué)和科研能力，同時(shí)也要具備計(jì)算機(jī)、生物學(xué)、信息學(xué)等多學(xué)科的知識(shí)。

參考文獻(xiàn)：

[1]朱大奇，史慧.人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[M].北京：科學(xué)出版社，2006.

[2]朱偉，史定華，王翼飛.人工神經(jīng)網(wǎng)絡(luò)在蛋白質(zhì)二級(jí)結(jié)構(gòu)預(yù)測(cè)中的應(yīng)用[J].自然雜志，2003，（3）：167-171.

[3]趙俊，李曉紅.趣味教學(xué)法在預(yù)防醫(yī)學(xué)教學(xué)中的運(yùn)用[J].現(xiàn)代醫(yī)藥衛(wèi)生，2005，21（15）：2089-2090.

第5篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

（一）BrainCell

神經(jīng)網(wǎng)絡(luò)基本原理本文主要應(yīng)用了BrainCell神經(jīng)網(wǎng)絡(luò)軟件來(lái)實(shí)現(xiàn)B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效評(píng)價(jià)模型的計(jì)算與分析。BrainCell神經(jīng)網(wǎng)絡(luò)采用誤差反向傳播學(xué)習(xí)算法，算法從兩個(gè)方面（信號(hào)的前向傳播和誤差的反向傳播）反復(fù)進(jìn)行迭代學(xué)習(xí)。其基本原理是輸入層各神經(jīng)元在接收外接的信息后，傳遞給隱含層的神經(jīng)元，根據(jù)減少目標(biāo)輸出與實(shí)際輸出誤差的方向，從輸入層經(jīng)過(guò)隱含層逐層修正各連接的權(quán)值，直到將誤差調(diào)整到能夠接受的程度，這不僅是各層權(quán)值不斷修正的過(guò)程，也是學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程，若學(xué)習(xí)樣本的計(jì)算輸出提前達(dá)到預(yù)期的結(jié)果，則訓(xùn)練過(guò)程結(jié)束，否則將學(xué)習(xí)到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止，最后由輸出層輸出信息處理的結(jié)果，如上圖所示。

（二）BrainCell神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)步驟

1.網(wǎng)絡(luò)層數(shù)的確定根據(jù)Kolmogrov理論可知，含有一個(gè)隱含層的三層神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近一個(gè)從輸入到輸出的映射關(guān)系。因此，在BrainCell神經(jīng)網(wǎng)絡(luò)中采用含有單隱層的三層神經(jīng)網(wǎng)絡(luò)。2.網(wǎng)絡(luò)節(jié)點(diǎn)的確定輸入層節(jié)點(diǎn)的多少與評(píng)價(jià)指標(biāo)個(gè)數(shù)是相對(duì)應(yīng)的。因此，根據(jù)構(gòu)建好的B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效評(píng)價(jià)指標(biāo)體系，可以將一級(jí)指標(biāo)與二級(jí)指標(biāo)進(jìn)行合并，作為輸入層的節(jié)點(diǎn)數(shù)，其指標(biāo)數(shù)如表1所示，因此輸入層節(jié)點(diǎn)數(shù)為19個(gè)。輸出層節(jié)點(diǎn)則為1個(gè)，在此以B2B電子商務(wù)供應(yīng)鏈協(xié)同績(jī)效等級(jí)結(jié)果作為輸出值。3.網(wǎng)絡(luò)訓(xùn)練本文采用的訓(xùn)練函數(shù)為trainscg，將網(wǎng)絡(luò)訓(xùn)練的精度設(shè)置為10-4并初始化權(quán)值和閾值后，從15個(gè)樣本中選取12個(gè)作為訓(xùn)練樣本進(jìn)行批處理訓(xùn)練，開(kāi)啟網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練。其具體步驟如下。假設(shè)訓(xùn)練樣例是形式（a，b），其中a為輸入向量，b為輸出值。N為輸入節(jié)點(diǎn)數(shù)，M為輸出層節(jié)點(diǎn)數(shù)。從單位i到單位j的輸入表示aij，單位i到單位j的權(quán)值表示W(wǎng)ij。（1）創(chuàng)建具有N個(gè)輸入單位，M個(gè)輸出單位的BrainCell神經(jīng)網(wǎng)絡(luò)。（2）用隨機(jī)數(shù)（0或1）初始化某些數(shù)字變量網(wǎng)絡(luò)權(quán)值Wij。（3）對(duì)于第k個(gè)訓(xùn)練樣例（a，b），把輸入跟著網(wǎng)絡(luò)前向傳播，并計(jì)算網(wǎng)絡(luò)中每個(gè)單元x的輸出Qx，使誤差沿著反向傳播。（4）對(duì)于每個(gè)輸出單元u，計(jì)算它的誤差項(xiàng)。（5）對(duì)于每個(gè)隱含單元h，計(jì)算它的誤差項(xiàng)。（6）利用誤差項(xiàng)更新調(diào)整每個(gè)網(wǎng)絡(luò)權(quán)值。（7）重復(fù)（3）到（6），直到完成指定的迭代次數(shù)或者是其誤差值達(dá)到可接受的范圍。4.網(wǎng)絡(luò)檢驗(yàn)將剩下的3個(gè)驗(yàn)證樣本數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)中，將其訓(xùn)練結(jié)果與實(shí)際結(jié)果相比較，檢驗(yàn)BrainCell神經(jīng)網(wǎng)絡(luò)得到的輸入與輸出間的關(guān)系是否正確，從而反映出該績(jī)效評(píng)價(jià)體系的準(zhǔn)確性和可靠性。

二、實(shí)證研究與分析

（一）確定績(jī)效評(píng)價(jià)等級(jí)

由于各個(gè)企業(yè)供應(yīng)鏈自身發(fā)展的情況不同，各具特點(diǎn)，其形式、結(jié)構(gòu)各異，因此如何劃分績(jī)效評(píng)價(jià)等級(jí)，如何更好地反映績(jī)效評(píng)價(jià)等級(jí)至關(guān)重要。本文以績(jī)效考核成績(jī)最好為1，最低為0為臨界值，由高到低劃分5個(gè)等級(jí)，并通過(guò)績(jī)效等級(jí)系數(shù)來(lái)體現(xiàn)，見(jiàn)表2所示。

（二）指標(biāo)數(shù)據(jù)獲取和處理

本文以天貓商城中某珠寶飾品有限責(zé)任公司為例，該公司有比較穩(wěn)定的供應(yīng)商，且與多家企業(yè)都有長(zhǎng)期合作關(guān)系。根據(jù)公司的實(shí)際管理情況，整理出該公司供應(yīng)鏈協(xié)同管理的績(jī)效指標(biāo)評(píng)價(jià)體系研究的基礎(chǔ)數(shù)據(jù)，應(yīng)用BrainCell軟件對(duì)這些基本數(shù)據(jù)進(jìn)行計(jì)算。為使各指標(biāo)在整個(gè)系統(tǒng)中具有可比性，本文利用效應(yīng)系數(shù)將指標(biāo)在閉區(qū)間[0，1]上進(jìn)行同趨勢(shì)化無(wú)量綱化和定性指標(biāo)定量化處理。結(jié)果表明，該公司的供應(yīng)鏈整體績(jī)效基本良好，其績(jī)效評(píng)價(jià)等級(jí)系數(shù)主要都集中在[0.5,0.8]這部分區(qū)間內(nèi)，與該公司所處供應(yīng)鏈實(shí)際情況相符。該公司運(yùn)作情況基本令人滿意。

三、結(jié)語(yǔ)及展望

第6篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：地形面 自由曲面 神經(jīng)網(wǎng)絡(luò) BP算法 模擬退火

1 引言

在水利及土木工程中經(jīng)常會(huì)遇到地形面，地形面是典型的空間自由曲面，地形面在給出時(shí)，往往只給出一些反映地形、地貌特征的離散點(diǎn)，而無(wú)法給出描述地形面的曲面方程。然而有時(shí)需要對(duì)地形面進(jìn)行描述，或者當(dāng)給出的地形面的點(diǎn)不完整時(shí)，需要插補(bǔ)出合理的點(diǎn)。以往大多用最小二乘法或其它曲面擬合方法如三次參數(shù)樣條曲面、Bezier曲面或非均勻有理B樣條曲面等，這些擬合方法的缺點(diǎn)是：型值點(diǎn)一旦給定，就不能更改，否則必須重新構(gòu)造表達(dá)函數(shù)；在構(gòu)造曲線曲率變化較大或型值點(diǎn)奇異時(shí)，容易產(chǎn)生畸變，有時(shí)需要人為干預(yù)；此外，這些方法對(duì)數(shù)據(jù)格式都有要求。

神經(jīng)網(wǎng)絡(luò)技術(shù)借用基于人類智能（如學(xué)習(xí)和自適應(yīng)）的模型、模糊技術(shù)方法，利用人類的模糊思想來(lái)求解問(wèn)題，在許多領(lǐng)域優(yōu)于傳統(tǒng)技術(shù)。用神經(jīng)網(wǎng)絡(luò)進(jìn)行地形面構(gòu)造，只要測(cè)量有限個(gè)點(diǎn)（可以是無(wú)序的），不需要其它更多的地形面信息和曲面知識(shí)，當(dāng)?shù)匦蚊鎻?fù)雜或者是測(cè)量數(shù)據(jù)不完整時(shí)，用神經(jīng)網(wǎng)絡(luò)方法更具優(yōu)勢(shì)，而且還可以自動(dòng)處理型值點(diǎn)奇異情況。

本文提出用BP神經(jīng)網(wǎng)絡(luò)結(jié)合模擬退火算法進(jìn)行地形面的曲面構(gòu)造。

2 模型與算法的選擇

為了對(duì)地形面進(jìn)行曲面構(gòu)造，首先要有一些用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的初始樣本點(diǎn)，對(duì)所建立的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，學(xué)習(xí)訓(xùn)練的本質(zhì)就是通過(guò)改變網(wǎng)絡(luò)神經(jīng)元之間的連接權(quán)值，使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以聯(lián)結(jié)權(quán)矩陣的方式存儲(chǔ)起來(lái)，從而具有完成某些特殊任務(wù)的能力。權(quán)值的改變依據(jù)是樣本點(diǎn)訓(xùn)練時(shí)產(chǎn)生的實(shí)際輸出和期望輸出間的誤差，按一定方式來(lái)調(diào)整網(wǎng)絡(luò)權(quán)值，使誤差逐漸減少，當(dāng)誤差降到給定的范圍內(nèi)，就可認(rèn)為學(xué)習(xí)結(jié)束，學(xué)習(xí)結(jié)束后，神經(jīng)網(wǎng)絡(luò)模型就可用于地形面的構(gòu)造。

BP網(wǎng)是一種單向傳播的多層前向網(wǎng)絡(luò)。網(wǎng)絡(luò)除輸入輸出節(jié)點(diǎn)外，還有一層或多層的隱層節(jié)點(diǎn)，同層節(jié)點(diǎn)中沒(méi)有任何耦合。輸入信號(hào)從輸入層節(jié)點(diǎn)依次傳過(guò)各隱層節(jié)點(diǎn)，然后傳到輸出節(jié)點(diǎn)，每一層節(jié)點(diǎn)的輸出只影響下一層節(jié)點(diǎn)的輸出。其節(jié)點(diǎn)單元傳遞函數(shù)通常為Sigmoid型。BP算法使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中一種廣泛采用的學(xué)習(xí)算法，具有簡(jiǎn)單、有效、易于實(shí)現(xiàn)等優(yōu)點(diǎn)。但因?yàn)锽P算法是一種非線性優(yōu)化方法，因此有可能會(huì)陷入局部極小點(diǎn)，無(wú)法得到預(yù)期結(jié)果，為解決BP算法的這一缺點(diǎn)，本文將模擬退火算法結(jié)合到BP算法中。

模擬退火算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一種被廣泛采用的一種學(xué)習(xí)算法。它的基本出發(fā)點(diǎn)就是金屬的退火過(guò)程和一般組合優(yōu)化問(wèn)題之間的相似性。在金屬熱加工過(guò)程中，要想使固體金屬達(dá)到低能態(tài)的晶格，需要將金屬升溫熔化，使其達(dá)到高能態(tài)，然后逐步降溫，使其凝固。若在凝固點(diǎn)附近，溫度降速足夠慢，則金屬一定可以形成最低能態(tài)。對(duì)優(yōu)化問(wèn)題來(lái)說(shuō)，它也有類似的過(guò)程，它的解空間中的每一個(gè)點(diǎn)都代表一個(gè)解，每個(gè)解都有自己的目標(biāo)函數(shù)，優(yōu)化實(shí)際上就是在解空間中尋找目標(biāo)函數(shù)使其達(dá)到最小或最大解。

（如果將網(wǎng)絡(luò)的訓(xùn)練看成是讓網(wǎng)絡(luò)尋找最低能量狀態(tài)的過(guò)程，取網(wǎng)絡(luò)的目標(biāo)函數(shù)為它的能量函數(shù)，再定義一個(gè)初值較大的數(shù)為人工溫度T。同時(shí)，在網(wǎng)絡(luò)的這個(gè)訓(xùn)練過(guò)程中，依據(jù)網(wǎng)絡(luò)的能量和溫度來(lái)決定聯(lián)結(jié)權(quán)的調(diào)整量（稱為步長(zhǎng)）。這種做法與金屬的退火過(guò)程非常相似，所以被稱為模擬退火算法。）

模擬退火算法用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本思想是，神經(jīng)網(wǎng)絡(luò)的連接權(quán)值W可看作物體體系內(nèi)的微觀狀態(tài)，網(wǎng)絡(luò)實(shí)際輸出和期望輸出的誤差e可看作物體的內(nèi)能，對(duì)網(wǎng)絡(luò)訓(xùn)練的目的就是找到恰當(dāng)?shù)臓顟B(tài)W使其內(nèi)能e 最小，因此設(shè)置一個(gè)參數(shù)T來(lái)類比退火溫度，然后在溫度T下計(jì)算當(dāng)前神經(jīng)網(wǎng)絡(luò)的e與上次訓(xùn)練的e的差e，按概率exp(-e/T)來(lái)接受訓(xùn)練權(quán)值，減小溫度T，這樣重復(fù)多次，只要T下降足夠慢，且T0，則網(wǎng)絡(luò)一定會(huì)穩(wěn)定在最小的狀態(tài)。

模擬退火算法雖然可以達(dá)到全局最優(yōu)，但需要較長(zhǎng)時(shí)間，BP算法采用梯度下降方式使收斂速度相對(duì)較快。為取長(zhǎng)補(bǔ)短，我們將兩種算法結(jié)合起來(lái)，采用BP算法的梯度快速下降方式，同時(shí)利用模擬退火算法技術(shù)按概率隨機(jī)接受一個(gè)不成功的訓(xùn)練結(jié)果，使梯度快速下降過(guò)程產(chǎn)生一些隨機(jī)噪聲擾動(dòng)，從而既保證了網(wǎng)絡(luò)訓(xùn)練的快速度下降，又保證了訓(xùn)練結(jié)果的最優(yōu)性。 　3網(wǎng)絡(luò)結(jié)構(gòu)與學(xué)習(xí)算法

3.1網(wǎng)絡(luò)結(jié)構(gòu)

如何選擇網(wǎng)絡(luò)的隱層數(shù)和節(jié)點(diǎn)數(shù)，還沒(méi)有確切的方法和理論，通常憑經(jīng)驗(yàn)和實(shí)驗(yàn)選取。本文采用的BP網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，輸入層兩個(gè)節(jié)點(diǎn)，分別輸入點(diǎn)的x坐標(biāo)和y坐標(biāo)；兩層隱層，每層10個(gè)節(jié)點(diǎn)，輸出層一個(gè)節(jié)點(diǎn)，輸出點(diǎn)的z坐標(biāo)。

3.2 學(xué)習(xí)算法

學(xué)習(xí)算法的具體過(guò)程如下：

其中Out_node為輸出神經(jīng)元集合.

4計(jì)算實(shí)例

為了檢驗(yàn)本文算法的有效性， 我們用本文算法對(duì)黃河下游河灘地形面進(jìn)行曲面構(gòu)造， 地形面數(shù)據(jù)按截面給出， 我們用奇數(shù)截面上的點(diǎn)為學(xué)習(xí)樣本， 偶數(shù)截面上的點(diǎn)用于檢驗(yàn)本算法的精度. 表1給出了測(cè)量值z(mì)1與本文算法計(jì)算結(jié)果z2， z2為本算法經(jīng)過(guò)大約3500次迭代的結(jié)果. 由這些數(shù)據(jù)可以看出，本文算法計(jì)算出的值與測(cè)量值的誤差大約在0.02左右. 完全可以滿足實(shí)際工程要求的精度.

5 結(jié)語(yǔ)

用神經(jīng)網(wǎng)絡(luò)進(jìn)行地形面的曲面構(gòu)造， 不必求出曲面的方程， 只需知道有限個(gè)點(diǎn)即可， 而且這些點(diǎn)可以是散亂點(diǎn). 與傳統(tǒng)方法相比， 神經(jīng)網(wǎng)絡(luò)方法具有很強(qiáng)的靈活性.

本文將BP算法和模擬退火算法結(jié)合起來(lái)， 解決了BP算法容易陷入局部極小的致命缺點(diǎn). 但仍然沒(méi)有解決BP算法收斂速度慢的缺點(diǎn).

NEURAL NETWORK METHOD TO CONSTRUCT TERRAIN SURFACE

Abstract

This paper presents an artificial neural network approach to solve the problem of terrain surface construction. This method takes advantage of the global minimum property of Simulated Procedure on the basis of BP algorithm， thus can jump out of the local minimum and converge to the global minimum..This method were validated by simulating bottomland terrain of Yellow River.

Key words: terrain surface; freeform surface; neural network; BP algorithm; simulated annealing

參考文獻(xiàn)

[1] 王鎧，張彩明. 重建自由曲面的神經(jīng)網(wǎng)絡(luò)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，1998，10（3）：193-199

第7篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；感興趣區(qū)域；自動(dòng)分割；自組織特征映射；多模態(tài)上下文關(guān)聯(lián)

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044(2011)25-6209-03

An Automatic Segmentation Approach for CT Image Based on Neural Network

CHU Jian, YU Wen-xue

(The Image Technology Laboratory, Southeast University, Nanjing 210096, China)

Abstract: Neural network is hot in pattern recognition theory, and useful for image segment. The way to extracting the region of interest (ROI) from medical images and automatically identifying is difficult. With the in-depth analysis of neural network algorithm, it’s proposed that self-organizing map (SOM) and multi-module contextual (MMC) combined neural network method to achieve automatic segmentation in CT images. Using the prior knowledge of anatomy combined with the image, it sets the feature descriptors and evaluation of criteria, to automatically identify the image region of interest, tissues and organs.

Key words: neural network; region of interest; automatic segmentation; self-organizing map; multi-module contextual

圖像分割是指根據(jù)區(qū)域內(nèi)的相似性及區(qū)域間的不同，將圖像分成各具特性的區(qū)域，并提取出感興趣區(qū)域的技術(shù)和過(guò)程。而醫(yī)學(xué)圖像分割在醫(yī)學(xué)和解剖上更具有明確的意義，是當(dāng)前醫(yī)學(xué)圖像領(lǐng)域的熱點(diǎn)和前沿課題，也是醫(yī)學(xué)圖像處理和分析過(guò)程中的關(guān)鍵技術(shù)，更是進(jìn)行圖像識(shí)別、圖譜匹配、可視化、定量分析和計(jì)算機(jī)輔助診斷等處理的必要前提[1]。目前，醫(yī)學(xué)圖像分割主要以各種細(xì)胞、組織與器官的圖像作為處理的對(duì)象。例如磁共振顱腦圖像的分割，其目的就在于清晰地描繪出顱腦各個(gè)解剖結(jié)構(gòu)的邊界，如灰質(zhì)、白質(zhì)、腦脊液以及MR圖像中的其它組織。如何從醫(yī)學(xué)圖像中將感興趣區(qū)域（病灶、組織器官等）提取出來(lái)，是圖像分析和識(shí)別首要解決的問(wèn)題，也是制約醫(yī)學(xué)圖像處理中其它技術(shù)發(fā)展和應(yīng)用的瓶頸。傳統(tǒng)的醫(yī)學(xué)圖像分割停留在人機(jī)交互水平，處理時(shí)間較長(zhǎng)且受人為因素影響，而自動(dòng)分割正是解決此問(wèn)題的方法，也是近年來(lái)的研究熱點(diǎn)，代表著醫(yī)學(xué)圖像分割未來(lái)的發(fā)展方向[2]。

結(jié)合目前熱點(diǎn)研究神經(jīng)網(wǎng)絡(luò)理論，利用其可學(xué)習(xí)訓(xùn)練和反饋特性，對(duì)醫(yī)學(xué)圖像像素進(jìn)行分類，并提取感興趣區(qū)域（Region of Interest，ROI）輪廓。而神經(jīng)網(wǎng)絡(luò)方法分割圖像的思想是用訓(xùn)練樣本集對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練以確定節(jié)點(diǎn)間的連接和權(quán)值，再用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)分割新的圖像數(shù)據(jù)。本文給出一種結(jié)合多模態(tài)上下文關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)(Mutimodule Contextual Neural Network，MMC)算法和Kohonen自組織映射神經(jīng)網(wǎng)絡(luò)（Self-organizing Map，SOM）算法的方法，對(duì)目標(biāo)醫(yī)學(xué)圖像進(jìn)行分割，得到可能的組織輪廓。再依據(jù)圖像解剖結(jié)構(gòu)的先驗(yàn)知識(shí)，設(shè)定判定準(zhǔn)則和特征描述子計(jì)算，提取出感興趣區(qū)域輪廓。本文提出的神經(jīng)網(wǎng)絡(luò)自動(dòng)分割方法，實(shí)現(xiàn)對(duì)腹部CT的自動(dòng)分割，并自動(dòng)提取感興趣區(qū)域組織輪廓。

1 神經(jīng)網(wǎng)絡(luò)自動(dòng)分割

根據(jù)文獻(xiàn)[3-5]中所提出的多模態(tài)上下文關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)(MMC)算法所描述，可以結(jié)合Kohonen自組織映射神經(jīng)網(wǎng)絡(luò)（SOM）方法[6-7]，再利用圖像灰度信息和鄰域相關(guān)信息，將圖像像素分類，從而實(shí)現(xiàn)感興趣區(qū)域分割的方法。下面就這個(gè)方法過(guò)程進(jìn)行闡述，并加以改進(jìn)和實(shí)現(xiàn)。

1.1 MMC神經(jīng)網(wǎng)絡(luò)分割

首先，將圖像像素大小設(shè)為n，并將其劃分為m個(gè)分類。假設(shè)n個(gè)像素概率向量集合P={P1,P2,…,Pi,…Pn}，其中1≤i≤n，Pi=[pi1,pi2,…,pik,…pim]T。則集合P中向量元素Pi表示為像素i隸屬于m個(gè)分類的概率向量，而向量Pi中的元素pik表示像素i隸屬于第k類的概率。根據(jù)概率向量歸一性，Pi滿足下式：

（1）

對(duì)應(yīng)于神經(jīng)網(wǎng)絡(luò)，每個(gè)神經(jīng)元即代表某個(gè)唯一像素。對(duì)于第i個(gè)神經(jīng)元的分類模型k概率值pik(t+1) ，由其當(dāng)前概率值pik(t)和相鄰神經(jīng)元的影響值vik(t)所決定，則pik(t+1)的迭代公式可表示如下式：

（2）

其中模型輸出函數(shù)f(x)定義成：

（3）

公式（2）中分母滿足歸一化條件，使得結(jié)果pik(t+1)在式（1）成立。

同時(shí)公式（2）中的vik(t)可由下式獲取：

（4）

其中，表示當(dāng)前神經(jīng)元（像素）i的鄰域，l則表示i鄰域神經(jīng)元的個(gè)數(shù)。同時(shí)，權(quán)重矩陣W=[W1,W2,…,Wi,…Wm]T=[wi,j]，1≤i, j≤m ，wi,j即為兩個(gè)神經(jīng)元之間的權(quán)重系數(shù)。

由公式（4）分析可知，若Wk(1≤k≤m)具有較大的兼容性，則結(jié)果會(huì)是正值，同時(shí)概率向量Pi+δ中的元素 Pi+δ，k的值比較大，那么vik的值將是較大的正數(shù)；若Wk只有較小的兼容性，則結(jié)果為負(fù)，同時(shí)概率向量Pi+δ中元素 Pi+δ，k比較大，那么vik的值將是較小的負(fù)數(shù)。但如果Pi+δ，k偏小，則可以它忽略其對(duì)vik的影響。此外，可以簡(jiǎn)單的定義權(quán)重矩陣為：

（5）

由迭代式2可知，第 k 類的神經(jīng)元 i 重復(fù)迭代，不停接收鄰域神經(jīng)元的響應(yīng)，并產(chǎn)生新的輸出pik(t+1)。運(yùn)用此方法之前，每個(gè)像素分類隸屬度應(yīng)該明確，即初始概率向量Pi(0)在迭代開(kāi)始之前，就應(yīng)該計(jì)算出來(lái)。而下一小節(jié)闡述的自組織映射（SOM）神經(jīng)網(wǎng)絡(luò)算法，則可以分析圖像像素灰度的分布情況，并且計(jì)算出每個(gè)像素隸屬分類的初始概率向量Pi(0)，即作了預(yù)分割處理。

1.2 SOM神經(jīng)網(wǎng)絡(luò)分割

經(jīng)典的SOM算法包含訓(xùn)練和回調(diào)兩個(gè)部分，下面給予算法公式和分析。

1）訓(xùn)練過(guò)程。首先，設(shè)圖像的灰度值集合A={I1, I2,…,Ii,…In}，其中Ii就是像素i的灰度值，n仍然表示圖像像素大小，即訓(xùn)練的樣本容量。再將灰度Ii與SOM神經(jīng)網(wǎng)絡(luò)第k個(gè)神經(jīng)元的權(quán)重系數(shù)表示為L(zhǎng)k (1≤k≤m)，其中m仍為分類數(shù)。權(quán)重系數(shù)Lk也是圖像的模糊聚類中心。則在對(duì)圖像進(jìn)行聚類分析時(shí)，SOM神經(jīng)網(wǎng)絡(luò)依據(jù)下式進(jìn)行訓(xùn)練：

（6）

其中下表索引c即為獲勝神經(jīng)元（最優(yōu)匹配）。而獲勝神經(jīng)元相鄰的權(quán)系數(shù)由下式進(jìn)行迭代：

（7）

其中α(t)為訓(xùn)練學(xué)習(xí)效率，Nc(t)為獲勝神經(jīng)元c在當(dāng)前t時(shí)刻的鄰域函數(shù)。訓(xùn)練過(guò)程中，α(t) 和Nc(t) 一直在衰減，且0

2）回調(diào)過(guò)程。由式（6）可知，像素i 對(duì)應(yīng)的獲勝神經(jīng)元c通過(guò)訓(xùn)練學(xué)習(xí)可以確定下來(lái)。其隸屬于每個(gè)分類的初始概率向量Pi(0)，也可以通過(guò)高斯分布N(c,σ)進(jìn)行初始化。Pi(0)的初始化式為：

（8）

其中標(biāo)準(zhǔn)方差σ即是控制初始概率的擴(kuò)散因子。式中分母則起到歸一化作用，使得pik滿足式（1）。

由式（8）的結(jié)果可知，在Pi(0)初始概率向量中，獲勝神經(jīng)元所代表元素pic的值很大，而其它元素較小，這是由變量σ和|k-c| 的大小所決定。

通過(guò)初始概率向量Pi(0)和神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣W設(shè)置，代入式（2）迭代運(yùn)算，直到Pi=[pi1, pi2, …, pik,…pim]T滿足如下收斂條件：

（9）

其中ε取值很小，以保證迭代能夠中止。

1.3 圖像解剖結(jié)構(gòu)的先驗(yàn)知識(shí)判定

醫(yī)學(xué)圖像通過(guò)上述神經(jīng)網(wǎng)絡(luò)算法進(jìn)行輪廓分割后，得到可能的組織輪廓結(jié)果。此時(shí)利用組織區(qū)域的判定特性和相關(guān)特征條件，可以從所有輪廓中對(duì)比識(shí)別感興趣器官或組織。而這些組織器官區(qū)域的特征，是由圖像解剖結(jié)構(gòu)的先驗(yàn)知識(shí)所確定的。本文處理圖像是腹部CT，其中重要組織器官特征如下所示[8]：

1) 脊椎：一般位于圖像中底部，且離圖像中心點(diǎn)較近。最突出的是，脊椎屬于骨骼高密度組織，其灰度值最大。故很容易定位和作參考，一般可以用作固定標(biāo)記點(diǎn)，即切片中描述感興趣區(qū)域相對(duì)位置的參考點(diǎn)。

2) 脊髓：通常在脊椎內(nèi)，屬于密度偏小的軟組織，在CT圖像中其灰度值相對(duì)脊椎小很多，黑白對(duì)比明顯，很容易區(qū)分。但部分切片中，脊椎被分成上下兩塊，上一塊較圓，下一塊倒三角形，而脊髓處于條縫里。此時(shí)脊髓的分割輪廓分散，通過(guò)特殊條件處理才能識(shí)別。

3) 腎臟：兩個(gè)腎臟恰好分布在脊椎兩側(cè)，對(duì)應(yīng)于左腎和右腎。腎臟形狀相對(duì)規(guī)則，組織區(qū)域的緊密度也較大，輪廓邊界清晰。

4) 肝臟：位于右腎的右上方。若切片沒(méi)有右腎，則定位于脊椎右上方，且距離脊椎較遠(yuǎn)。肝臟的面積和緊密度都比較大，部分切片中肝臟還可能分成數(shù)個(gè)區(qū)域，故位置和組織范圍變化較大，必要時(shí)給予區(qū)域合并。

上述解剖結(jié)構(gòu)位置和大小，及圖像中的灰度分布情況，可以轉(zhuǎn)換成組織器官識(shí)別的判定準(zhǔn)則。針對(duì)腹部CT圖像，組織器官識(shí)別順序是脊椎，脊髓，腎臟（左腎和右腎），肝臟。

有了組織解剖結(jié)構(gòu)條件做先驗(yàn)知識(shí)判定，再定義一組相關(guān)特征描述子來(lái)對(duì)ROI進(jìn)行量化分析，常用描述子有相對(duì)距離、周長(zhǎng)、面積、相對(duì)位置、組織密度、緊密度等，這里不再細(xì)述。

2 實(shí)驗(yàn)結(jié)果及分析

依據(jù)上節(jié)的理論算法分析，可以給出相應(yīng)的神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)過(guò)程，如圖1。

由上述算法公式和圖1流程圖，通過(guò)程序?qū)崿F(xiàn)單張CT切片神經(jīng)網(wǎng)絡(luò)自動(dòng)分割。首先，關(guān)注實(shí)驗(yàn)過(guò)程中的重要參數(shù)設(shè)置：

a）窗口調(diào)節(jié)參數(shù)：窗寬 W=380，窗位 L=10；

b）圖像像素隸屬分類數(shù)：m=7；

c）SOM神經(jīng)網(wǎng)絡(luò)參數(shù)（公式6）：Nc(t)神經(jīng)元作用半徑r=1，學(xué)習(xí)效率α(t)=0.2，SOM學(xué)習(xí)迭代次數(shù)（最長(zhǎng)時(shí)間）Epoch=500；

d）MMC神經(jīng)網(wǎng)絡(luò)參數(shù)（公式2，6）：高斯分布擴(kuò)散因子σ=1.5，MMC學(xué)習(xí)迭代次數(shù)nIter=3。

通過(guò)上述參數(shù)設(shè)置，針對(duì)單張腹部CT切片進(jìn)行自動(dòng)分割識(shí)別。先將16位原圖調(diào)整窗寬窗位，并壓縮至8位灰度圖，提高學(xué)習(xí)效率。輸入到神經(jīng)網(wǎng)絡(luò)，先SOM算法進(jìn)行初始分割，通過(guò)訓(xùn)練回調(diào)確定分類中心初始值，再通過(guò)MMC算法訓(xùn)練迭代確定分類概率向量，并由此提取組織輪廓。最后由先驗(yàn)知識(shí)判定規(guī)則，實(shí)現(xiàn)ROI的自動(dòng)識(shí)別，并對(duì)識(shí)別組織器官輪廓進(jìn)行平滑處理。圖2給出完整的單張切片分割識(shí)別處理圖（a-d），由圖2（c）可見(jiàn)神經(jīng)網(wǎng)絡(luò)分割所得可能的分類組織輪廓清晰，且邊界光滑，所有分割輪廓數(shù)是64；再由圖2（d）所示，顯示輪廓數(shù)是5，且成功識(shí)別腹部重要器官，并提取組織輪廓。實(shí)驗(yàn)條件在CPU2.40GHZ，內(nèi)存2G的PC機(jī)上執(zhí)行，算法所耗用時(shí)間為10S，適用于臨床使用和輔助治療。

（a）原始16位圖 （b）壓縮8位圖(W=380,L=10)（c）分類組織輪廓 （d）組織器官識(shí)別

圖2CT圖像神經(jīng)網(wǎng)絡(luò)自動(dòng)分割

（W=380,L=10,m=7，r=1，α(t)=0.2，Epoch=500，σ=1.5，nIter=3）

3 結(jié)論

本文通過(guò)多模態(tài)上下文關(guān)聯(lián)和自組織映射神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，實(shí)現(xiàn)對(duì)CT圖像的自動(dòng)分割，并利用解剖先驗(yàn)知識(shí)對(duì)分割結(jié)果進(jìn)行組織識(shí)別，最終提取感興趣區(qū)域組織輪廓。該方法實(shí)驗(yàn)成功，下一步研究將針對(duì)神經(jīng)網(wǎng)絡(luò)樣本可學(xué)習(xí)性，實(shí)現(xiàn)序列切片的有效率自動(dòng)分割。

參考文獻(xiàn)：

[1] 章毓晉. 圖象分割[M].北京:科學(xué)出版,2001:1-4.

[2] 姜曉彤,羅立民,汪家旺,等.一種肺部腫瘤CT圖象序列的自動(dòng)分割方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2003,8(9):1028-1033.

[3] Lin W C, Tsao E C K, Chen C T. Constraint satisfaction neural networks for image segmentation[J].Pattern Recognit., 1992,25(7):679-693.

[4] Haring S, Viergever M A, Kok J N. Kohonen networks for multiscale image segmentation[J].Image Vision Comput.,1994,12(6):339-344.

[5] Rosenfeld A, Hummel R A, Zucker S W. Scene labeling by relaxation operations[J].IEEE Trans. Syst., Man, Cybern.,1976,(SMC-6):420-433.

[6] Valli G. Artificial neural networks for t he segmentation of medical images [R].Technical Report No.940702,1994.

第8篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞：瓦斯突出；微粒群算法；RBF神經(jīng)網(wǎng)絡(luò)；MATLAB

中國(guó)分類號(hào): TP183；文獻(xiàn)標(biāo)識(shí)碼: A

前言

瓦斯突出的產(chǎn)生機(jī)理和預(yù)測(cè)過(guò)程比較復(fù)雜， RBF神經(jīng)網(wǎng)絡(luò)在瓦斯突出預(yù)測(cè)中起到了很重要的作用。煤礦瓦斯突出的影響指標(biāo)很多，并且各個(gè)指標(biāo)與瓦斯突出之間的關(guān)系為非線性的關(guān)系，因此要求RBF神經(jīng)網(wǎng)絡(luò)具有很好的非線性逼近能力。

RBF神經(jīng)網(wǎng)絡(luò)是以函數(shù)逼近理論為基礎(chǔ)構(gòu)造的一類前向網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)自適應(yīng)確定，輸入與初始值無(wú)關(guān)，結(jié)構(gòu)簡(jiǎn)單，訓(xùn)練簡(jiǎn)潔，能夠逼近任意非線性函數(shù)，而且在逼近能力、分類能力和學(xué)習(xí)速度方面均優(yōu)于BP網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)的設(shè)計(jì)包括三部分：神經(jīng)元功能函數(shù)的設(shè)計(jì)，神經(jīng)元之間的連接形式的確定以及網(wǎng)絡(luò)訓(xùn)練方式的確定。在這三部分中隱單元RBF的設(shè)計(jì)是比較重要的。RBF函數(shù)是一種局部分布的對(duì)中心點(diǎn)徑向?qū)ΨQ的非負(fù)非線性函數(shù)。但是在神經(jīng)元功能函數(shù)的設(shè)計(jì)中，RBF功能函數(shù)的中心ci的確定有很大的難度。

通常使用隨機(jī)選取固定中心法，中心的自組織選擇法等，但是由于這些學(xué)習(xí)訓(xùn)練方法的局限性，通過(guò)這些方法得到的神經(jīng)網(wǎng)絡(luò)適用性和泛化能力比較差，不能滿足瓦斯突出預(yù)測(cè)的要求。本文利用微粒群算法來(lái)計(jì)算出通過(guò)學(xué)習(xí)訓(xùn)練得到的RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的適應(yīng)度的方法來(lái)確定最后的隱單元RBF的中心ci，并且不斷的在以后的實(shí)踐應(yīng)用中更新學(xué)習(xí)訓(xùn)練所用的數(shù)據(jù)庫(kù)，系統(tǒng)根據(jù)數(shù)據(jù)庫(kù)的變化，可以優(yōu)化原有的隱單元RBF的中心ci ，提高了神經(jīng)網(wǎng)絡(luò)的逼近能力，有效的客服了RBF神經(jīng)網(wǎng)絡(luò)局部最優(yōu)的缺點(diǎn)。

1、微粒群算法

1.1基本微粒群算法

微粒群算法（particle swarm optimization，PSO）是1995年由美國(guó)社會(huì)心理學(xué)家J.Kennedy和電氣工程師R.Heppner共同提出的，其基本思想是受鳥類群體行為研究結(jié)果的啟發(fā)，并利用了生物學(xué)家F.Heppner的生物群體模型[2]。算法原理如下：

微粒群算法主要是使用微粒的適應(yīng)度大小進(jìn)行尋找全局最優(yōu)和優(yōu)化參數(shù)。他將種群中的每個(gè)個(gè)體看作是N維空間的一個(gè)沒(méi)有質(zhì)量和體積的微粒，并且在搜索空間以一定的速度飛行，在飛行過(guò)程中不斷根據(jù)環(huán)境的改變來(lái)改變自身的速度和方向，直到找到適應(yīng)度最好的位置。假設(shè)Xi=（xa1，xa2，xa3，……xan為微粒i的當(dāng)前位置，Vi=（va1，va2，va3，…… van）代表微粒當(dāng)前的飛行速度，Pi=（pa1，pa2，pa3，……pan）表示微粒經(jīng)歷的適應(yīng)度最好的位置，這是局部最優(yōu)位置。

當(dāng)f(xi(a+1))≥f(Pi(a)) 時(shí)Pi(a+1)= Pi(a)

當(dāng)f(xi(a+1) ＜f(P(a)) 時(shí)Pi(a+1)= Xi(a+1) 所以全局最優(yōu)位置P（a）=min{f(P0(a) ，P1(a)……Pn(a)}。同時(shí)可以得出進(jìn)化方程為：vij (t+1)=vij (t)+c1v1j(t)[pij (t)-xij (t)]+c2r2j(t)[pgj (t)-xij (t)]

為了更好的確定和優(yōu)化RBF的中心ci，計(jì)算每個(gè)數(shù)據(jù)庫(kù)得到的中心ci的均方誤差，計(jì)算出每個(gè)中心ci的適應(yīng)度：

E（Xp）=[Yk,p(Xp)-tk,p]

有適應(yīng)度來(lái)確定的適應(yīng)度函數(shù)如下：

f(x)=

1.2帶慣性權(quán)重的微粒群算法

在全局搜索過(guò)程中，搜索能力和收斂速度是相對(duì)立的，如果搜索能力高了，收斂速度就會(huì)相對(duì)變慢，為了解決這一問(wèn)題，在速度進(jìn)化方程中引用了慣性權(quán)重，具體公式如下：

vij(t+1)=wvij(t)+c1v1j(t)[pij(t)-xij(t)]+c2r2j(t)[pgj(t)-xij(t)] 式中w稱為慣性權(quán)重。

在全局搜索利過(guò)程中，慣性權(quán)重w可以根據(jù)要求按照一定趨勢(shì)改變，這樣就既能保證搜索能力又能加快收斂速度。

2、RBF神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類大腦系統(tǒng)一階特性的一種描述，有類似人的神經(jīng)元的處理單元通過(guò)各種連接方式連接起來(lái)構(gòu)成，整個(gè)網(wǎng)絡(luò)同時(shí)具有一個(gè)或是多個(gè)的輸入和輸出，能夠?qū)π畔⑦M(jìn)行并行和分布處理。人工神經(jīng)網(wǎng)絡(luò)主要包括三方面的內(nèi)容：激活函數(shù)，神經(jīng)元之間的連接形式，網(wǎng)絡(luò)的學(xué)習(xí)或者是訓(xùn)練。

激活函數(shù)為徑向基函數(shù)（RBF）的神經(jīng)網(wǎng)絡(luò)為RBF神經(jīng)網(wǎng)絡(luò)，RBF神經(jīng)網(wǎng)絡(luò)是一個(gè)單隱層的三層前饋網(wǎng)絡(luò)，分別為輸入層，隱含層，輸出層。隱含層的傳遞函數(shù)為radbas。徑向基網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。實(shí)驗(yàn)已經(jīng)證明：徑向基網(wǎng)絡(luò)能夠以任意精度逼近任意連續(xù)函數(shù)。每個(gè)RBF的節(jié)點(diǎn)有一個(gè)“參考”輸入x*i,f是輸入與“參考”輸入的距離d(x*i,xi )的函數(shù)，函數(shù)中的距離有節(jié)點(diǎn)輸出y =f(d(x*i,xi ))來(lái)計(jì)算。

RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要有兩種：中心自組織選擇法和中心的監(jiān)督選擇發(fā)。中心的自組織選擇法是一種無(wú)導(dǎo)師，也稱非監(jiān)督學(xué)習(xí)，是對(duì)所有的輸入進(jìn)行聚類，求得各隱單元RBF的中心ci。中心的監(jiān)督選擇法是一種有導(dǎo)師的學(xué)習(xí)，也稱為監(jiān)督學(xué)習(xí)算法。主要是通過(guò)一個(gè)有導(dǎo)師或是有監(jiān)督的學(xué)習(xí)過(guò)程來(lái)確定隱單元RBF的中心ci。

3、RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci 的確定和優(yōu)化的過(guò)程

本文利用普通的學(xué)習(xí)訓(xùn)練法和帶慣性權(quán)重的微粒群算法相結(jié)合的方法來(lái)進(jìn)行RBF神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的確定和優(yōu)化。具體過(guò)程如圖1所示。

（1）用一定數(shù)量的與瓦斯突出有關(guān)信息組成一個(gè)數(shù)據(jù)庫(kù)，并且將這個(gè)數(shù)據(jù)庫(kù)分為若干個(gè)子數(shù)據(jù)庫(kù).使用這些子數(shù)據(jù)庫(kù)分別對(duì)RBF神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到隱單元RBF的中心c1,c2,c3……。

（2）將上面得到的若干個(gè)隱單元RBF的中心作為一個(gè)個(gè)體（微粒），有這些個(gè)體組成一個(gè)種群，其中每個(gè)個(gè)體代表先前計(jì)算出的一個(gè)隱單元RBF的中心。初始化Gbest和Lbest。

（3）使用帶慣性權(quán)重的微粒群算法來(lái)確定最后的隱單元中心，通過(guò)計(jì)算每個(gè)微粒適應(yīng)度來(lái)確定中心ci，然后通過(guò)適應(yīng)度函數(shù)來(lái)優(yōu)化中心ci，最后形成RBF神經(jīng)網(wǎng)絡(luò)。

（4）把井下測(cè)得的數(shù)據(jù)作為輸入，來(lái)進(jìn)行瓦斯突出預(yù)測(cè)，并且把井下的信息和預(yù)測(cè)結(jié)果，作為下次更新數(shù)據(jù)庫(kù)和優(yōu)化隱單元中心的依據(jù)。

（5）每進(jìn)行一次預(yù)測(cè)，數(shù)據(jù)庫(kù)的信息就根據(jù)實(shí)際情況和預(yù)測(cè)結(jié)果進(jìn)行一次更新，根據(jù)更新的數(shù)據(jù)庫(kù)，對(duì)得到的隱單元中心進(jìn)行優(yōu)化，提高了系統(tǒng)的適應(yīng)能力和自學(xué)習(xí)能力。

4、帶慣性權(quán)重的微粒群算法的Matlab程序設(shè)計(jì)和瓦斯突出預(yù)測(cè)

使用Matlab進(jìn)行程序時(shí)所用到的函數(shù)如下：

PSO：主函數(shù)，用于調(diào)用微粒群算法。

DrawSwarm：繪圖函數(shù)，主要用來(lái)反映每個(gè)微粒的進(jìn)化過(guò)程。

psoOption：參數(shù)顯示函數(shù)，主要用于顯示帶慣性權(quán)重的微粒群算法的參數(shù)設(shè)置情況。

使用多個(gè)函數(shù)形成函數(shù)模塊，實(shí)現(xiàn)對(duì)隱單元RBF的中心ci的確定和優(yōu)化。帶慣性權(quán)重的微粒群算法進(jìn)行確定和優(yōu)化神經(jīng)網(wǎng)絡(luò)隱單元RBF的中心ci的函數(shù)模塊為：[fxmin,xmin,Swarm,history]=pso(input,psoOptions);

選取一定量的信息形成數(shù)據(jù)庫(kù)，然后隨機(jī)的劃分為若干個(gè)子數(shù)據(jù)庫(kù)，通過(guò)學(xué)習(xí)訓(xùn)練來(lái)產(chǎn)生一些中心c1,c2,c3……，然后再組成種群，利用函數(shù)模塊來(lái)確定和優(yōu)化RBF的中心。具體實(shí)驗(yàn)數(shù)據(jù)如下表1所示：

利用Matlab運(yùn)行該函數(shù)模塊來(lái)確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)時(shí)，算法程序運(yùn)行時(shí)出現(xiàn)的最優(yōu)適應(yīng)度值隨著迭代次數(shù)的變化如圖2所示。

當(dāng)函數(shù)模塊算法程序運(yùn)行時(shí)出現(xiàn)的適應(yīng)度值滿足要求時(shí)，說(shuō)明此時(shí)的ci的最優(yōu)化完成，可以來(lái)確定RBF神經(jīng)網(wǎng)絡(luò)。

把上面經(jīng)過(guò)優(yōu)化神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行瓦斯突出預(yù)測(cè)，需要預(yù)測(cè)的樣本數(shù)據(jù)如下表2所示：

其中運(yùn)行結(jié)果用1表示安全，-1表示突出。

運(yùn)用MATLAB對(duì)樣本數(shù)據(jù)進(jìn)行測(cè)試，測(cè)試代碼如下：

pl=[0.809.011.530.2 ]；

p2=[0.153.51.27.3]：

y1=sim(net，p1) ；

y2=sim(net，p2) ；

最后預(yù)測(cè)結(jié)果是y1=-0.9908，y2=1.005；

可見(jiàn)該系統(tǒng)能夠準(zhǔn)確的預(yù)測(cè)出瓦斯突出。

總結(jié)

使用RBF神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行瓦斯突出預(yù)測(cè)比其他方式的預(yù)測(cè)具有很好的效果，但是由于煤礦的環(huán)境比較特殊，瓦斯突出產(chǎn)生的機(jī)理比較復(fù)雜，并且不同煤礦的影響瓦斯突出的因素也不相同，所以要求神經(jīng)網(wǎng)絡(luò)具有很好的適應(yīng)性和自學(xué)習(xí)能力。但是RBF神經(jīng)網(wǎng)絡(luò)的隱單元RBF的中心ci的確定是基于數(shù)據(jù)空間局部的信息，很難都到全局最優(yōu)，嚴(yán)重影響了RBF神經(jīng)網(wǎng)絡(luò)的適應(yīng)性和自學(xué)習(xí)能力。本文利用帶慣性權(quán)重的微粒群算法來(lái)確定和優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)，慣性權(quán)重w能起到保證全局最優(yōu)和局部搜索能力的平衡的作用，能夠在保證全局最優(yōu)的前提下，提高搜索全局最優(yōu)的速度，提高了預(yù)測(cè)的準(zhǔn)確度。

參考文獻(xiàn)

第9篇：如何學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)范文

關(guān)鍵詞 交直流輸電；阻尼調(diào)制；神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)TM7 文獻(xiàn)標(biāo)識(shí)碼A 文章編號(hào) 1674-6708（2011）49-0186-02

0 引言

電力系統(tǒng)是一個(gè)復(fù)雜而龐大的非線性動(dòng)力學(xué)系統(tǒng)，它對(duì)運(yùn)行安全、穩(wěn)定、經(jīng)濟(jì)性要求極高。由于電力系統(tǒng)的龐大與復(fù)雜，參數(shù)的不確定，頻繁的噪聲與干擾，網(wǎng)絡(luò)結(jié)構(gòu)的不斷調(diào)整與變化等種種不確定因素嚴(yán)重制約了各種確定型或自適應(yīng)控制的實(shí)際控制性能，使已有的控制器始終未能達(dá)到理想的效果。基于神經(jīng)網(wǎng)絡(luò)的控制可以根據(jù)在線樣本自動(dòng)調(diào)整自身行為，從原理上來(lái)本文利用說(shuō)應(yīng)具備在線自我調(diào)整和不斷自我完善的能力。

本文利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)電力系統(tǒng)逆動(dòng)態(tài)，設(shè)計(jì)出一種神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)直流阻尼控制器，并基于MATLAB仿真軟件對(duì)其在交直流混合輸電系統(tǒng)的控制效果進(jìn)行分析與驗(yàn)證。

1 神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)的意義

研究基于神經(jīng)網(wǎng)絡(luò)的交直流系統(tǒng)實(shí)時(shí)控制的在線自學(xué)習(xí)，具有以下重要意義：

1）對(duì)交直流混合輸電系統(tǒng)而言，模型仿真手段無(wú)論如何力求精確，也始終無(wú)法和實(shí)際系統(tǒng)動(dòng)態(tài)行為完全一致，因而離線訓(xùn)練設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)控制器在線運(yùn)行中性能總會(huì)有偏移。在線自學(xué)習(xí)使神經(jīng)網(wǎng)絡(luò)控制器可以根據(jù)控制目標(biāo)不斷調(diào)整自身控制行為，產(chǎn)生越來(lái)越好的控制效果；

2）在線自學(xué)習(xí)可使神經(jīng)網(wǎng)絡(luò)控制器產(chǎn)生不同于最初訓(xùn)練的控制性能，從而擺脫對(duì)于其它控制原理的依賴，擁有自己獨(dú)特的品質(zhì)；

3）在線自學(xué)習(xí)使基于神經(jīng)網(wǎng)絡(luò)的直流阻尼控制器擁有自我改進(jìn)，自我完善的能力，從而真正成為智能控制器。

2在線自學(xué)習(xí)方案的設(shè)計(jì)

2.1 獲取在線樣本的新思路

很多研究已經(jīng)表明，已有的在線自學(xué)習(xí)方案在如何獲取上已經(jīng)陷入了困境。因此，文獻(xiàn)[4]提出了一種解決該困境的新思路，設(shè)計(jì)出一種逆動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)控制器（），如圖1所示，取（y，u ）構(gòu)成訓(xùn)練樣本訓(xùn)練，可以得到相同的訓(xùn)練效果

2.2控制方案的實(shí)現(xiàn)

本文即采用圖2所示的方案來(lái)實(shí)現(xiàn)逆系統(tǒng)NNHVDC的設(shè)計(jì)并探討其在線自學(xué)習(xí)的實(shí)現(xiàn)及學(xué)習(xí)效果。該方案的輸入中包含了控制目標(biāo)，這樣控制行為將主要由yd的值決定。文獻(xiàn)[4]已經(jīng)提出了這種模型中控制的實(shí)現(xiàn)與在線自學(xué)習(xí)樣本的生成方案并給予了一定的理論證明。當(dāng)yd選取得當(dāng)時(shí)，經(jīng)過(guò)不斷的在訓(xùn)練，網(wǎng)絡(luò)的控制輸出將逐步逼近期望輸出yd。因而其控制最終應(yīng)該是穩(wěn)定的。

以往研究表明交直流系統(tǒng)逆動(dòng)態(tài)是存在的，而且可以由BP網(wǎng)絡(luò)以要求的精度逼近。具體實(shí)現(xiàn)如下：采用6-6-1三層BP網(wǎng)絡(luò)作為控制主體，選取NN輸入變量集為：

NN的輸出為t時(shí)刻的控制信號(hào)。如何確定和是獲取NN輸入的兩個(gè)關(guān)鍵。

本文選擇直流調(diào)制中最常用的以兩側(cè)交流系統(tǒng)發(fā)電機(jī)轉(zhuǎn)速差為調(diào)制信號(hào)的作為NN的初始訓(xùn)練器來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，控制器參數(shù)。應(yīng)此可得到直流調(diào)制控制規(guī)律為：

本文所采用的參考模型是由同步發(fā)電機(jī)轉(zhuǎn)子運(yùn)動(dòng)方程推算而得，描述如下：

式中為采樣/控制周期，單位為秒；為功率變化值，可由功率變送器獲得，D為期望的系統(tǒng)阻尼，由用戶根據(jù)控制性能的要求設(shè)定，取值越大，表明設(shè)計(jì)者希望有擾動(dòng)引起的系統(tǒng)振蕩衰減越快，本文取D=0.5。

具體仿真步驟如下：

1）選取任意一種可接受的控制器作為初始訓(xùn)練器，對(duì)IDNNHVDC進(jìn)行初步的離散訓(xùn)練，其目的是不至于一開(kāi)始就生成電力系統(tǒng)不能接受的控制輸出；

2）將離線訓(xùn)練后的NNHVDC（計(jì)為NNHVDC1）置入交直流系統(tǒng)，記錄其在各種擾動(dòng)的控制性能；

3）對(duì)于選定的擾動(dòng)，以NNHVDC1的控制響應(yīng)構(gòu)成在線訓(xùn)練樣本集，用以訓(xùn)練NNHVDC得到NNHVDC2；

4）對(duì)NNHVDC2重復(fù)[step2]～[step 3]的控制過(guò)程的NNHVDC3；5）重復(fù)（4）直到NNHVDCi的控制響應(yīng)令人滿意為止。

3 仿真模型的建立

本文基于軟件Matlab/Simulink/ SimPower Systems工具箱搭建一個(gè)交直流并聯(lián)輸電系統(tǒng)模型，示意圖如圖3所示。系統(tǒng)包括兩個(gè)區(qū)域，發(fā)電機(jī)M1區(qū)域由兩條交流輸電線路和一條直流線路向發(fā)電機(jī)M2區(qū)域輸電。發(fā)電機(jī)M1、M2包含有勵(lì)磁控制,機(jī)端電壓為13.8kV，通過(guò)升壓變壓器變成500kV，向系統(tǒng)供電。區(qū)域間的距離為500km，在M2區(qū)域包括一個(gè)5000mW的負(fù)載，由M1和M2供電。另外系統(tǒng)中還包含三相斷路器，可以模擬交流系統(tǒng)故障。

直流系統(tǒng)的額定傳輸容量為1000MW，兩側(cè)額定電壓為500kV，濾波電抗器為0.5H，直流線路長(zhǎng)為500km。在換流站設(shè)置的無(wú)功補(bǔ)償和濾波裝置包

括一個(gè)500 Mvar的電容器和150 Mvar的11 次濾波器、13次濾波器和高通濾波器。

4仿真結(jié)果與分析

根據(jù)第3節(jié)仿真步驟進(jìn)行仿真計(jì)算，系統(tǒng)模型如圖4所示，選取以下擾動(dòng)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)：整流側(cè)發(fā)電機(jī)機(jī)端發(fā)生2s時(shí)三相短路故障，2.3s后故障切除。以上小節(jié)介紹的作為初始訓(xùn)練器，用以上故障時(shí)的系統(tǒng)狀態(tài)變量根據(jù)式（1）構(gòu)成NN的輸入集，離線訓(xùn)練后得到IDNNHVDC1，仿真結(jié)果表明，按step1到step5的步驟經(jīng)過(guò)僅僅五次自學(xué)習(xí)之后，所得NNHVDC5的控制性能已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了常規(guī)直流調(diào)制CHVDC，達(dá)到了令人滿意的程度。

選取以下2個(gè)擾動(dòng)來(lái)測(cè)試所設(shè)計(jì)的IDNNHVDC的控制性能：

擾動(dòng)一：t=2s時(shí)一交流線路首端發(fā)生三相短路，0.1s后保護(hù)動(dòng)作切除該回路，0.2s后重合閘合并恢復(fù)到雙回線運(yùn)行。

擾動(dòng)二：t=2s時(shí)一條交流線路首端三相短路，0.3s后故障排除；t=6s時(shí)該回交流線路中端又發(fā)生三相短路，0.1s后故障排除。

通過(guò)IDNNHVDC和CHVDC作用下發(fā)電機(jī)功角的變化過(guò)程的對(duì)比，結(jié)果表明，經(jīng)過(guò)五次訓(xùn)練后IDNNHVDC的控制效果已遠(yuǎn)遠(yuǎn)優(yōu)于常規(guī)CHVDC控制，從而進(jìn)一步證實(shí)了IDNNHVDC的優(yōu)越性能，通過(guò)以上仿真結(jié)果可得出以下幾個(gè)結(jié)論：

1）隨著訓(xùn)練次數(shù)的增加，該NN控制器控制性能不斷改善，由此表明，該控制器具有很好的在線自學(xué)習(xí)能力;

2）IDNNHVDC控制器能有效增強(qiáng)直流系統(tǒng)兩側(cè)交流系統(tǒng)的阻尼，很好的抑制直流兩側(cè)交流系統(tǒng)振蕩。對(duì)各種大、小擾動(dòng)均表現(xiàn)出明顯的抑制作用，具有很強(qiáng)的魯棒性;

3）通過(guò)在線訓(xùn)練后的IDNNHVDC在各擾動(dòng)下的控制性能表明，圖2所示以逼近受控系統(tǒng)逆動(dòng)態(tài)為目標(biāo)的神經(jīng)網(wǎng)絡(luò)控制方案在交直流混合輸電系統(tǒng)實(shí)時(shí)控制中是可行的。

5 結(jié)論

本文利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)電力系統(tǒng)逆動(dòng)態(tài)，由參考模型產(chǎn)生期望控制響應(yīng)，實(shí)時(shí)采樣值構(gòu)成在線訓(xùn)練樣本的在線訓(xùn)練方案。由于在純交流系統(tǒng)電力系統(tǒng)穩(wěn)定器的運(yùn)用中，該方案的的控制效果已經(jīng)得到很好的驗(yàn)證，而其在直流阻尼調(diào)制的運(yùn)用與研究中尚屬空白。因此，筆者把該方案運(yùn)用于交直流系統(tǒng)直流阻尼調(diào)制之中，設(shè)計(jì)出雙CPU神經(jīng)網(wǎng)絡(luò)在線自學(xué)習(xí)直流阻尼控制器。不僅從理論上分析證明了該方案的有效性，而且仿真結(jié)果表明，所設(shè)計(jì)的IDNNHVDC控制器能有效增強(qiáng)直流系統(tǒng)兩側(cè)交流系統(tǒng)的阻尼，很好的抑制直流兩兩側(cè)交流系統(tǒng)振蕩。在在線自學(xué)習(xí)調(diào)整過(guò)程中，該NN控制器控制性能不斷改善，對(duì)各種大、小擾動(dòng)均表現(xiàn)出明顯的抑制作用

參考文獻(xiàn)

[1]管霖，程時(shí)杰，陳德樹(shù).神經(jīng)網(wǎng)絡(luò)電力系統(tǒng)穩(wěn)定器的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)電機(jī)工程學(xué)報(bào)，1996，16(6)：384-387.