神經網絡學習方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡學習方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡學習方法范文

（黑龍江民族職業學院，黑龍江 哈爾濱 150066）

摘　要：盈余預測具有引導投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內對公司未來盈利進行預測的研究還相當少。提出了以決策樹作為基分類器，采用集成學習方法，利用上市某公司2001至2005年的財務數據對該上市公司在2006年的盈利狀況進行預測研究。首先，采用有放回的隨機抽樣技術分別從訓練樣本和測試樣本中產生50個訓練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓練子集分別進行訓練，得到50個基決策樹分類器；通過采用Bagging方法，構建決策樹集成模型。所得到的集成模型在測試集上的分類準確率達到96%以上，通過比較由不同數目的基分類器構成的集成模 型和單個分類器的預測準確率，證明了該集成模型的預測準確率高且穩定。

關鍵詞 ：神經網絡；集成學習；盈利預測

中圖分類號：F275文獻標志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數據挖掘與決策支持。

1 引言

公司的財務狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務報表數據和其它一些宏觀經濟數據（如GDP、CPI、利率等）及早準確預測公司未來的盈利狀況的話，那么就可以更有效地對公司進行管理和指導投資者的投資行為。但是，一個公司的財務報表往往只反映了公司在過去的財政年度內的經營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務狀況與其未來盈利之間的關系并沒有那么明顯，它受到很多因素的影響，要構建一個精確的模型反映它們之間的關系是很困難的。針對此情況，本文提出采用決策樹集成方法，構建模型來刻畫公司財務狀況與其未來盈利之間的關系，利用上市公司已有的財務數據，并結合主要的宏觀經濟變量來預測公司未來的盈利狀況，這必將是公司財務處理的一個新發展。

數據挖掘技術越來越多地被用于預測研究。集成學習方法作為數據挖掘技術中一種較新的方法，由于其在提高預測的準確性上的優點，正被越來越多的研究者使用。

盡管許多領域都應用集成學習方法來進行研究，但在對公司未來盈利的預測研究上還很少，在國內尚未見到任何報導。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進行了研究，但是他們只是將盈利狀況分為兩種情況來進行研究。本文通過利用集成學習方法，考慮宏觀經濟對公司盈利可能造成的影響，提出將宏觀經濟變量納入變量體系，同時，為了使結果更有指導意義，將上市公司的每股收益（EPS）指標將公司盈利的情況劃分為三類，即EPS為負，EPS大于均值及EPS介于二者之間，對其進行預測研究。

2 研究方法

2.1神經網絡

人工神經網絡是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經網絡具有非線性，自學習能力、自適應性強和容錯性高等優點，因而被廣泛用于各種非線性預測問題。

所有神經網絡都有一個輸入層和輸出層，一個網絡結構可以包含一個或多個隱含層。神經網絡的學習是通過調整連接權重和偏差實現的。Cybenko等人證明了如果神經網絡利用一個有界的，連續的，非遞減的激活函數時，只要不對隱含層的神經元數進行限制，一個三層網絡（包含一個隱含層）就能夠學習任意一個在輸入和輸出空間的連續映射[2]。在實際應用中用的最多的是BP神經網絡。

BP神經網絡是一種基于誤差后向傳播算法（BP算法）的多層感知器網絡。BP神經網絡的激活函數一般采用Log-Sigmoid或Tangent Sigmoid等可微函數。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據此修正各層權重，直到輸出結果滿足預先設定的精度要求或達到算法設定的最大循環次數。

2.2神經網絡集成

如何根據觀測數據學習得到精確估計是機器學習領域中人們非常關注的一個問題，機器學習的一個重要目標就是對新的測試樣本盡可能給出最精確的估計。構造一個高精度估計是一件相當困難的事情，然而產生多個只比隨機猜測好的粗糙估計卻很容易。傳統的機器學習方法是在一個由各種可能的函數構成的空間中尋找最接近實際分類函數的分類器。常用的單個分類器模型主要有決策樹、人工神經網絡等。

集成學習（ensemble learning）的基本思想是在對新的實例進行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結果按某種方式來進行組合，決定最終的分類，以取得比單個分類器更好的結果。如果把單個分類器比作一個決策者的話，集成學習方法就相當于多個決策者共同進行一項決策。

盡管單個神經網絡在處理非線性問題上表現良好，但是用單個神經網絡來進行預測，一個不足的地方就是結果的穩定性差。因為神經網絡的預測結果受網絡各層之間的初始權重影響很大。為了克服這一不足，本文利用集成學習的思想，采用以BP神經網絡作為基分類器的神經網絡集成方法來對公司未來盈利狀況進行預測。

以神經網絡作為基分類器構建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現，而且不容易產生過擬合現象。對一個已知的有n個數據元素的數據集，Bagging法的原理是[1]：對每次循環（=1，2，…，），采用有放回的隨機抽樣方法從數據集中抽取m個數據形成訓練集（mn），分類器模型從中學習。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數據樣本來自天軟數據庫。在剔除了財務變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經營能力，資本結構，盈利能力，現金流，每股指標等方面的29個財務變量作為初始變量。此外，為了研究宏觀經濟環境對公司未來盈利的影響，相應的選擇了2001年至2006年的三個宏觀經濟變量：國內生產總值增長率（GDP），居民消費價格指數增長率（CPI）及一年期金融機構貸款基準利率。這幾個變量都與公司的盈利狀況有著密切的關系。國內生產總值反映了整個國家的經濟狀況，而居民消費價格指數是反映居民購買并用于消費的商品和服務項目價格水平的變動趨勢和變動幅度的相對數，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機構貸款基準利率會影響公司的營運成本，會對公司的利潤產生直接的影響。所有變量見附表。

為了預測未來公司的盈利狀況，本文將數據樣本分為訓練樣本和測試樣本。其中，訓練樣本由2001年至2005年的公司樣本數據用有放回的隨機抽樣方法得到，每個訓練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數據樣本，包含400個觀測。

3.2指標選擇

對于初始變量表，變量之間存在著相關性。雖然神經網絡對變量間的相關性具有較強的容忍度，但是，變量太多會增加網絡的復雜度，還有可能使網絡過適應，從而使得網絡在測試樣本上的表現很差，而且并不是變量越多，神經網絡的預測精度就越大，所以適當選擇具有代表性的指標變量既可以達到與用所有變量相同的預測精度，又能降低網絡的復雜度，避免使網絡陷入過適應，提高網絡的訓練速度。

然而，運用神經網絡方法，對輸入變量的選取目前并沒有一個公認的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數據挖掘軟件包選項面板中的建模欄中的特征選擇節點來對變量進行篩選。通過構建一個帶有特征選擇節點的流，可以為每一訓練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓練樣本進行訓練，得到兩種神經網絡模型，分別對測試樣本進行分類，并分別構建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數據樣本進行訓練得到單個神經網絡模型，用該模型對測試樣本進行預測。如何產生不同的分類模型是影響集成模型準確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網絡結構，不同的訓練數據，不同的訓練算法常用來產生分類模型。本文采用不同的訓練數據和不同的網絡結構這兩種方式結合得到基神經網絡。

按照Bagging方法的要求，本文采用有放回隨機抽樣方法，從訓練樣本中隨機抽取了15個子訓練集，并用相同的方法從測試集中抽取了400個樣本數據組成測試集。每個子訓練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節點在每個訓練集上選出的變量分別在這15個子樣本上進行訓練得到子分類器，然后用這些子分類器對測試樣本進行分類。采用多數投票法對子分類器進行集成，得到集成方法在測試集上的預測結果。

3.4 結果分析

為了比較集成模型與單個神經網絡預測準確率的差異，按照單個神經網絡模型預測準確率按升序進行排序，分別計算了由7個、9個、11個、13個、15個基神經網絡模型構成的集成模型的預測準確率，集成模型，不論是由用全部變量進行訓練得到的基神經網絡構建還是由用篩選出的變量進行訓練得到的構建，都顯示出了很高的準確率，而且得到的預測準確率相當穩定。

4 結論

本文利用神經網絡集成的方法，以上市公司過去的財務數據和宏觀經濟數據為樣本，對上市公司的未來盈利狀況進行預測。研究結果表明，相比于單個神經網絡模型，盡管選用7個預測精度最差的單個神經網絡作為基神經網絡，其集成網絡的預測準確率仍然很高，因而集成方法得到的結果更穩定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰性的問題。本文的研究結果還表明，采用神經網絡集成方法來研究未來盈利狀況是可行的。進一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預測更為準確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關，因此，如何合理選取量化一些有關公司治理的指標變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產生集成神經網絡的方法。除了Bagging方法，還有其他產生集成神經網絡的方法，比如Boosting方法。不同的方法會得到不同的結果，從而通過比較不同的結果，可以得到一個用來研究此類問題的最好的方法。

參考文獻：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機械工業出版社，2006．

第2篇：神經網絡學習方法范文

【關鍵詞】雙目視覺;神經網絡;攝像機標定

1.引言

雙目測距技術在非接觸式測量，機器人視覺等領域都有廣泛引用。本文研究的是被動式遠距離目標的距離測量系統中系統的標定技術研究，雙目測距系統標定方法研究對計算機視覺技術發展有重要意義。攝像機標定的目的在于確定攝像機的位置，以確定物體在空間坐標系與成像平面之間相應的位置關系。

這些位置關系以及攝像機光學和幾何參數在一些場所并不需要一一解出，而只需要構建二維成像平面上像點坐標與三維空間坐標投影點之間的一種映射關系。而神經網絡有非常強的非線性映射能功能，因此我們可以通過采用神經網絡對攝像機進行標定。

2.基于神經網絡的攝像機的標定方法

2.1 神經網絡、雙目視覺神經網絡攝像機標定

人工神經網絡也稱神經網絡，是一門新興技術，用以處理一些難以用標準數學模型描述的系統，模擬人類大腦的一些機理，實現某些特定功能。它具有很強的自學習及自適應能力，而其中可自由設定隱層節點的多層前饋神經網絡，可以完成任意精度近似任意連續函數[1，2]。

由于網絡由相連的非線性單元組成，因此就具有了學習非線性過程的能力。與攝像機標定工作機制相似，神經網絡可以從一些已知數據通過計算得到未知參數。而神經網絡標定的畸變模型有任意性，可以避免傳統標定方法非線性標定可能無解、標定精度低等多種問題。本文通過運用神經網絡學維平面圖像像點與三維空間物點坐標之間的關系，提出了改進神經網絡雙目攝像機的標定方法。

本文雙目視覺神經網絡攝像機標定具有的優點是不用假設初始值，也不用建立精確的標定模型，只要輸入三維空間中物體在兩個圖像上的像點坐標，神經網絡便可輸出物體在的三維空間的世界坐標。進行多次的神經網絡學習、訓練，最后可得到相對理想的輸入、輸出非線性映射關系。

2.2 改進的RBF神經網絡

徑向基函數（Radial Basis Function， RBF）神經網絡是一種三層前向神經網絡，它結構簡單，訓練簡潔，學習收斂速度快，能夠以任意精度逼近任意連續函數，廣泛應用于眾多領域[3，4]。RBF網絡模擬了人腦中局部調整、相互覆蓋接收域的神經網絡結構，是一種局部逼近網絡。并且RBF神經網絡在逼近能力、分類能力及學習速度等多方面都優于BP神經網絡，

遺傳算法是模擬生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬生物在自然進化過程中形成的一種自適應全局優化搜索最優解的方法[5]。

本文提出了一種基于改進的RBF神經網絡的攝像機標定方法，引入了遺傳算法，優化了徑向基函數網絡的學習算法。

2.2.1 RBF網絡的結構

RBF網絡是一種三層前向網絡，三層分別是輸入層，隱藏層和輸出層。輸入層由信號源節點組成;輸出層是對輸入作出響應;隱藏層中節點數由需要而定，其中的徑向基函數是局部響應函數。

從輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間是線性的。RBF網絡是局部逼近網絡，三層組成（m個輸入、h個隱節點、n個輸出），常用的徑向基函數是高斯函數，因此徑向基神經網絡的激活函數可表示為：

（1）

式中：是歐式范數;X是輸入樣本，;是高斯函數的中心，也是網絡隱含層節點的中心;為高斯函數的方差;i是隱含層節點數。

RBF網絡的結構輸出為：

（2）

式中：wij是隱含層到輸出層的連接權值;yj是第j個輸出節點的實際輸出。

假設d是樣本的期望輸出值，則基函數的方差為：

（3）

式中：P是樣本總數。

RBF網絡學習方法求解需要的參數：基函數的中心、方差以及隱含層到輸出層的權值。RBF網絡的輸出是隱單元輸出的線性加權和。本文采用的是自組織選取中心法。

2.2.2 優化的RBF神經網絡

本文加入遺傳算法用以優化已有的神經網絡，用全局搜索找到最優網絡結構，確定較理想非線性映射關系，進而達到雙目視覺的標定。采用實數編碼、最佳保留（elitist model）選擇機制，交叉概率采用自適應方式，再對數據做歸一化處理。

2.3 整體算法步驟

用遺傳算法對神經網路的參數進行優化，得到權值與偏差值范圍。再用RBF網絡在局部搜索得出最優網絡結構標定系統。

1）將多組對應的雙目視覺系統圖像像點坐標作為輸入的訓練樣本，組成群體;

2）采用梯度下降法學習樣本網絡個體基函數的中心、方差;

3）采用最小二乘法學習隱含層到輸出層的線性權值;

4）采用遺傳算法優化隱含層中節點數;

5）通過循環交替學習、訓練，得到相對理想的RBF網絡標定系統。

3.實驗說明

分別采用線性標定、標準BP網絡、和改進的RBF網絡做雙目視覺標定，后兩種做非線性函數逼近，對測試結果進行比較。得出結果：較其他兩種，改進的RBF網絡測試誤差最小。

表1 測試結果比較

隱節點數 訓練誤差 測試誤差

線性標定 * * 0.2945

標準BP 26 0.0935 0.0356

改進RBF 13 0.0576 0.0123

4.結論

在不考慮鏡像畸變及環境等因素的形象下，將基于改進的RBF神經網絡應用于雙目視覺攝像機標定方法中，提高了測量精度，減少了因傳統標定方法建立的模型不完善而帶來的誤差，為雙目視覺測量應用于精密測量提供了一種新的有效方法。標定后的測量系統在雙目視覺空間具有很高的測量精度。

參考文獻

[1]閻平凡，張長水.人工神經網絡與模擬進化計算[M].清華大學出版社，2000：410-420.

[2]錢光耀，楊入超，趙光興.基于人工神經網絡的壓力傳感器三維數據融合[J].傳感器與微系統，2007，26（2）：79-81.

[3]Liu Hongmei，Ouyang Pingechao，Wang Shaoping.Fault detection based on RBF neural network in a hydraulic position servo system[A].The 6th World Congress on Control and Automation[C].Dalian， China，2006：5708-5712.

[4]楊耀華，李昕，江芳澤.基于OLS算法的RBF神經網絡高速公路事件探測[J].系統仿真學報，2003，15（5）：709-712.

第3篇：神經網絡學習方法范文

關鍵詞：超聲波測距，RBF網絡，非線行誤差校正

1、引言

超聲波測距具有信息處理簡單、快速和價格低，易于實時控制等許多優勢，它被廣泛的應用在各種距離測試的設備中。但超聲波傳感器在實際應用中也有一定的局限性。在超聲波測距中，由于超聲波傳感器本身的結構和受外界溫度等因素的干擾，其輸入輸出特性呈明顯的非線性，靠硬件或軟件補償修正的方法對提高其測距精度的效果不大。所以，本文提出了基于徑向基函數神經網絡實現超聲波傳感器的建模，對超聲波測距進行溫度補償和非線性誤差校正的方法。

2、用 RBF神經網絡改善超聲波測距的精度

2.1神經網絡實現非線性誤差校正的原理

設超聲波傳感器要測量的實際距離為 d，實際距離d決定t2-t1，環境溫度為T，超聲波傳感器測量輸出的結果為h，經RBF網絡校正后的距離為Dr，則超聲波傳感器測距系統可以表示為 h=f(d，T)，由于傳感器產生的非線性誤差和溫度的影響，使得 f(d，T)呈現非線性特性。校正的目的是根據測的 h求未知的 d，即 d＝g(h，T)，也就是需要建立超聲波傳感器的模型其原理可以表示為圖 1所示。

超聲波傳感器輸出 Dr通過一個補償模型，該模型的特性函數為Dr=g(h，T) ，其中Dr為非線性補償后的輸出， g(h，T)顯然是一個非線性函數。通常非線性函數的表達式很難準確求解，但可以利用神經網絡能很好地逼近非線性函數的特點，通過建立神經網絡模型來逼近該非線性函數。本文選取RBF神經網絡模型。

2.2 RBF 神經網絡

RBF網絡是一種局部逼近網絡。它對于每個輸入輸出數據對 , 只有少量的權值需要進行調整。它采用一組正交歸一化的基函數 ―― 徑向基函數的線性組合來逼近任意函數。

常用徑向基函數有高斯函數、多二次函數、薄板樣條函數等。由于輸入矢量直接映射到隱層空間 , RBF的中心確定后 , 這種非線性映射關系也就確定 ,因此 RBF的學習算法首先要確定徑向基函數的中心 ,本文徑向基函數的中心采用高斯函數（Radbas(n)=e-n2）,其隱含層的輸入輸出模型如圖2。

對于本文的超聲波傳感器逆模型的RBF網絡模型，輸入為h和T，訓練后的實際輸出為Dr，期望輸出為d。超聲波傳感器非線性校正逆模型采用RBF網絡，輸入層2個節點，輸出層1個節點，擴展系數為0.5（實驗結果表明擴展常數為 0.5 時對應隱含層神經元個數適中，故擴展常數選為 0.5），通過測量獲取了50組數據集作訓練樣本，將輸入量作歸一化處理后，按照上述的RBF神經網絡的學習方法學習。神經網絡的訓練和仿真是在Matlab 6.5環境下，通過神經網絡工具箱，編制相應的程序而實現。

在matlab上應用 RBF神經網絡進行仿真溫度補償和非線性誤差校正后，系統的測距精度大大提高，表 1所示為未經神經網絡處理和神經網絡處理后的測距比較。

比較結果表明，神經網絡處理后的結果與實際距離很接近，精度大大提高了。

3、結束語

實際應用中，超聲波測距易受溫度等多種因素的影響，利用RBF神經網絡良好的非線性逼近特性、自適應能力學習能力，可優化超聲波的輸出特性，而且網絡結構簡單，便于單片機實現或固化在硬件中。仿真結果表明，利用RBF 神經網絡能很好地逼近非線性函數，實現了超聲波傳感器建模，對傳感器進行非線性誤差校正，效果相當明顯，大大提高了超聲波測距的精度，使其測距誤差控制在毫米級以內，這是采用其它校正方法是無法達到的。

參考文獻：

[1]譚超，許澤宏，李維一，付小紅，王健．基于小波神經網絡建立虛擬儀器非線性較正型[J]．微計算機信息，2005．12（1）P157-159．

[2]田社平．基于神經網絡模型的傳感器非線性校正．（英文） 光學精密工程．2006

[3]Binchini M，Frasconi P，Gori M. Learning without local minima in radial basis function networks.IEEE Trans. on Neural Networks, 1995，6(3)：749～755）

[4] Xianzhong Dai， Ming Yin， Qin Wang． Artificial neural networks inversion based dynamic compensator of sensor.IEEE，2004，10：258－261

第4篇：神經網絡學習方法范文

[關鍵詞] 機器學習 遺傳算法 人工神經網絡 支持向量機

當前人工智能研究的主要障礙和發展方向之一就是機器學習。包括學習的計算理論和構造學習系統。機器學習與計算機科學、心理學、認知科學等都有著密切的聯系，涉獵的面比較廣，有許多理論及技術上的問題尚處于研究之中。

一、什么是機器學習

機器學習就是要使計算機能模擬人的學習行為，自動地通過學習獲取知識和技能，重新組織已有的知識結構，不斷改善自身的性能，實現自我完善。即機器學習研究的就是如何使機器通過識別和利用現有知識來獲取新知識和新技能。它是人工智能的核心，是使計算機具有智能的根本途徑。該門科學起源于心理學、生理學、生物學、醫學等科學，研究發展過程中涉及到數學、物理學、計算機科學等領域。機器學習主要圍繞學習機理、學習方法、面向任務這三個方面進行研究，其應用幾乎遍及自然科學的各個領域。其中最多的是模式識別、通訊、控制、信號處理等方面。

二、機器學習系統

學習是建立理論、形成假設和進行歸納推理的過程。為使計算機系統具有某種程度的學習能力，使它能夠通過學習獲取新知識，以改善性能，提高智能水平，需要建立相應的學習系統。學習系統一般由環境、學習環節、知識庫、執行與評價組成，整個過程包括信息的存儲、知識的處理兩大部分。機器學習系統模型如圖1所示。

圖1 機器學習模型

框架圖中的箭頭表示知識的流向；環境是指外部信息源；學習環節是指系統通過對環境的搜索獲取外部信息，然后經過分析、綜合、類比、歸納等思維過程獲得知識并將獲得知識存入知識庫；知識庫用于存儲由學習得到的知識，在存儲時要進行適當的組織，使它既便于應用又便于維護；執行部分用于處理系統面臨的現實問題，即應用學習到的知識求解問題。另外從執行到學習必須有反饋信息，學習將根據反饋信息決定是否要進一步從環境中搜索信息進行學習，以修改、完善知識庫中的知識。這是機器學習系統的一個重要特征。機器學習系統是對現有知識的擴展和改進。

三、機器學習的主要策略

學習是一項復雜的智能活動，學習過程與推理過程緊密相連。按照學習中使用的推理的多少，機器學習所采用的策略主要可分為機械學習、通過傳授學習、類比學習和通過實例學習等。學習中所用的推理越多，系統的能力越強。本文主要介紹以下三種機器學習方法，即遺傳算法、人工神經網絡模型及支持向量機。

1、遺傳算法

遺傳算法是一類借鑒生物界的進化規律（適者生存，優勝劣汰遺傳機制）演化而來的隨機化搜索方法。其主要特點是直接對結構對象進行操作，不存在求導和函數連續性的限定；具有隱并行性和更好的全局尋優能力；采用概率化的尋優方法，能自動獲取和指導優化的搜索空間，自適應的調整搜索方向，不需要確定的規則。

由于遺傳算法的整體搜索策略和優化搜索方法，在計算時是不依賴于梯度信息和其他輔助信息，而只需要影響搜索方向的目標函數和相應的適應度函數，所以遺傳算法提供了一種求解復雜問題的通用框架，它不依賴于問題的具體領域，對問題的種類有很強的魯棒性，所以廣泛應用于自動控制、計算科學、工程設計、智能故障診斷、管理科學和社會科學等領域，適用于解決復雜的非線性和多維空間尋優問題。

2、人工神經網絡模型

神經網絡基本模型是在現代神經科學的基礎上提出和發展起來的，旨在反映人腦結構及功能的一種抽象數學模型（見圖3）。

圖3 神經網絡基本模型

一個人工神經網絡是由大量神經元節點經廣泛互連而組成的復雜網絡拓撲，用于人類進行知識和信息表示、存儲和計算行為。神經元模型如圖4所示。

每一個細胞處于兩種狀態。突觸聯接有強度。多輸入單輸出。實質上傳播的是脈沖信號，信號的強弱與脈沖頻率成正比。

在神經網絡中，大量神經元的互連結構及各連接權值的分布就表示了學習所得到的特定要領和知識。在網絡的使用過程中，對于特定的輸入模式，神經網絡通過向前計算，產生一個輸出模式，并得到節點代表的邏輯概念， 通過對輸出信號的比較與分析可以得到特定解。神經元之間具有一定的冗余性，并且允許輸入模式偏離學習樣本，因此神經網絡的計算行為具有良好的并行分布、容錯和抗噪能力。

神經網絡模型包括前饋型網絡、反饋型網絡、自組織競爭人工神經網絡等。

圖4神經元模型

（1）前饋型網絡(BP)

前饋型網絡，最初稱之為感知器（包括單層感知器和多層感知器），是應用最廣泛的一種人工神經網絡模型。前饋網絡結構是分層的，信息只能從下一層單元傳遞到相應的上一層單元，上層單元與下層所有單元相聯接。轉移函數可以是線性閾值的。多層感知器也被稱為BP網絡。多層感知器的輸入輸出關系與單層感知器完全相同。前一層的輸出是下一層的輸入。

（2）反饋型網絡(Hopfield)

反饋型網絡,它是一種動態反饋系統，所有計算單元之間都有聯接。比前饋網絡具有更強的計算能力。

（3）自組織競爭人工神經網絡

在實際的神經網絡中，存在一種側抑制的現象。即一個細胞興奮后，通過它的分支會對周圍其他神經細胞產生抑制。這種側抑制在脊髓和海馬中存在，在人眼的視網膜中也存在。

自組織映射模型是由Kohonen提出來的。模型是以實際神經細胞中的一種特征敏感的細胞為模型的。各個細胞分別對各種輸入敏感，可以代表各種輸入，反映各種輸入樣本的特征。如果在二維空間上描述這些細胞，則，功能相近的細胞聚在一起，靠得比較近。功能不同的離得比較遠。開始是無序的，當輸入樣本出現后各個細胞反映不同，強者依照“勝者為王”的原則，加強自己的同時對周圍細胞進行壓抑。使其對該種樣本更加敏感，也同時對其他種類的樣本更加不敏感。此過程的反復過程中，各種不同輸入樣本將會分別映射到不同的細胞上。

人工神經網絡以其具有自學習、自組織、較好的容錯性和優良的非線性逼近能力，受到眾多領域學者的關注。在實際應用中，80%～90%的人工神經網絡模型是采用誤差反傳算法或其變化形式的網絡模型（簡稱BP網絡），目前主要應用于函數逼近、模式識別、分類和數據壓縮或數據挖掘。 但不適合高精度計算；學習問題沒有根本解決，慢；目前沒有完整的設計方法，經驗參數太多。

3、支持向量機（SVM）

支持向量機是一種基于統計的學習方法，它是對結構風險最小化歸納原則的近似。它的理論基礎是Vapnik創建的統計學習理論。

SVM就是首先通過用內積函數K(xi，xj)定義的非線性變換將輸入空間變換到一個高維空間，在這個空間中求（廣義）最優分類面。SVM分類函數形式上類似于一個神經網絡，輸出是中間節點的線性組合，每個中間節點對應一個支持向量。

由于統計學習理論和支持向量建立了一套較好的有限樣本下機器學習的理論框架和通用方法，既有嚴格的理論基礎，又能較好地解決小樣本、非線性、高維數和局部極小點等實際問題，因此成為20世紀90年代末發展最快的研究方向之一，其核心思想就是學習機器要與有限的訓練本相適應。

學習是人類智能的主要標志和獲得智慧的基本手段，機器學習的研究就是希望計算機能像人類那樣具有從現實世界獲取知識的能力，同時進一步發現人類學習的機理和揭示人腦的奧秘。機器學習涉及到連接理論、認知理論、行為科學、神經科學等多門科學。因此，對于機器學習的研究，只有采用計算機科學、控制論、人工智能、認知科學、神經科學、心理學等多學科交叉的方法，才可望取得機器學習研究的更大進展。

機器學習是一個十分活躍、充滿生命力的研究領域，同時也是一個比較困難、爭議頗多的研究領域，雖然取得了一些令人矚目的成就，但還存在許多尚未解決的問題。目前人工智能研究的主要障礙和發展方向之一就是機器學習，因此，機器學習有著廣闊的研究前景。

參考文獻:

[1] 張景繪，動力學系統建模［M］.北京：國防工業出版社，2000.

[2] 楊義勇等，機械系統動力學［M］.北京：清華大學出版社，2009.

第5篇：神經網絡學習方法范文

關鍵詞：自主學習；神經網絡；姿B識別；機器人

中圖分類號：TB

文獻標識碼：A

doi：10.19311/ki.16723198.2017.01.092

1引言

1.1機器人在現代社會中的重要性

隨著城鄉居民消費結構的持續升級，以及智慧中國戰略的不斷推進，智能機器人在家庭、農業、工業等生活的方方面面都有著極其廣泛的應用。隨著社會的不斷發展，社會分工越來越細，與此同時工作也變得越來越單調。另外，社會上有些工作風險較高，若讓人去做，不僅效率不高，而且更會產生生命危險。在這樣高風險的作業領域，對機器人的需求越來越高。在這一背景下，各種各樣的機器人被研制了出來，用它們代替人來完成枯燥、單調、高風險的工作。這極大的提高了勞動生產率和生產質量，創造出了更多的社會財富。

同時，社會服務也對機器人產生了大量的需求。從公共服務方面來說，目前我國老齡人口已超過總人口的10%，人口老齡化問題已成為中國需要面臨的重大課題。此外，我國殘疾人口占總人口的比重也位居世界較高國家之列。機器人的運用，可以為他們提供大量的護理服務，提高他們的生活質量。在醫療服務方面機器人也有很大的優勢，手術機器人憑借其操作的精度及可長期工作等特性廣泛應用于手術操作中。總而言之，機器人已成為我們的社會不可取代的一部分。

1.2當前機器人領域的現狀及弊端

目前機器人正處于快速發展的階段，但目前市場上的機器人仍存在著許多弊端。傳統機器人需要設計者針對具體的任務進行手工編程，為了使機器人在環境改變時也能完成任務，設計者就需要盡量將各種情況考慮在內。但是這樣的機器人存在一些問題：一方面程序員無法窮盡所有的可能情況，另一方面環境的復雜性也無形中加大了機器人可能出故障的概率，這使得機器人缺乏良好的環境自適應能力，給機器人的廣泛應用帶來了很大的限制。

基于無法動態適應具體任務目標這個問題，市場上出現了很多自主學習的機器人，比如有些作品使用了強化學習的算法，這種算法通過進行試錯來尋求最優行動策略，從而有效解決了基于行為控制的機器人缺乏對動態環境適應能力這一問題。但同時這些該作品也存在出現了一些弊端。這一技術需要執行一些分層檢索及優化的工作，因為機器人需要進行大量重復性實驗來獲得最優解，而任務變得復雜時該技術的性能就會變得很差，提高了學習的難度。

基于目前機器人存在的限制與不足，本文提出了基于神經網絡的學習方法，使機器人環境適應能力提高。

2多任務學習機器人介紹

2.1機械結構

本文所設計的多任務學習機器人的機械結構主要由攝像頭和仿生機械臂組成。為了使機器人能執行與人類一樣非常細膩的動作，并能在某些應用中代替人，本文設計的機械臂擁有與人相似的機械結構。

如圖1所示，該機械臂具有著與人體骨骼結構相似的關節，通過這些關節，機械臂可以完成人手臂的旋轉、升降等動作。為了方便控制機械臂的運動狀態，每一個關節都有相應的姿態參數。而根據不同關節的靈活程度不同，對應的參數數量也會存在差異。當機械手模仿人體動作時，可以通過設定對應機械手關節的姿態參數來完成，這樣，人體的姿態與機械手關節的姿態參數之間就存在著一一對應的關系。我們所搭建的神經網絡的目的，就是為了找到這樣的對應關系，為機器人學習人的動作奠定基礎。本文設計中的攝像頭主要用于捕捉人體手臂姿態，并對采集到的視頻流中的手臂姿態進行學習。通過將攝像頭固定到一定位置，作為機器人的“眼睛”，機器人便可將人的動作記錄下來，轉化為視頻信息。高速攝像頭將人的連貫動作存儲成一幀幀的圖片，作為神經網絡訓練的原始輸入信息。

2.2神經網絡

人工神經網絡，是人們利用仿生學觀點，模擬人腦的結構及智能行為所構建的網絡，它能模擬生物神經系統對真實世界做出交互反應。神經元的基本模型也叫“M-P神經元模型”。該模型中，神經元接收來自n個神經元的信號（x1，x2，…），通過帶權重（w1，w2，…）的連接傳遞，將獲得的總輸入值與閾值q比較，通過激活函數f（x）最終得到該單元的輸入y。

y=f（∑ni=1wixi-θ）

神經網絡就是一個個這樣的網絡單元按一定的結構次序排列而成的。兩層神經元形成的網絡可以容易地實現與、或、非這樣的基本邏輯運算，多層神經網絡可以處理更加復雜的運算。神經網絡的學習過程，就是根據獲得的訓練數據對自身的權重和閾值進行一定的調整，使神經網絡輸出的值與我們所給的輸出值相差達到最小的過程。

為了達到這樣的學習過程，就需要合適的算法。誤差逆傳播算法（簡稱“BP算法”）是目前最成功的算法之一。在訓練開始時，隨機產生權重值wi，輸入訓練集（xi，yi）和學習率η，神經網絡根據對應權重和輸入值計算出輸出y，。BP算法以y與y之間差值的差值作為反饋，調整各個神經元的閾值和權重，進而更新神經網絡，使網絡的誤差減小。其中，學習率η起著“控制神經網絡學習速度”的作用，若學習率過小，神經網絡變化相對遲緩，影響學習效率；而若學習率過大，則容易陷入局部最優解，影響最終結果。因此，給予足夠的訓練數據和適宜的學習率，神經網絡就會快速調整到穩定而準確的狀態。

利用神經網絡，我們可以對攝像機獲得的人體手臂各個關節的姿勢進行學習，所獲得的神經網絡便表征了人體姿態與機械臂關節參數的映射關系。

2.3學習機器人原理

本文所用神經網絡的作用是將輸入的動作信息轉化為機器人的姿態參數，以神經網絡作為核心算法，機器人就可以在一定的學習訓練后，具備識別人體關節姿態的能力，從而使機器人做出與人體輸入動作一致的動作，具體的學習過程如下：

為了獲得比較完備的訓練數據，選擇盡可能多的人采集手臂各關節姿態數據，提高神經網絡的魯棒性；使人于攝像頭采集姿態的最佳角度，做各種各樣的動作，以覆蓋盡可能多的關節姿態參數范圍；針對高速攝像頭采集獲得的圖像數據的某一幀，手工采用測量工具標定該圖像中人體每個關節的角度數據，以這些圖像數據和標定獲得的角度數據作為訓練原始數據。

以采集的數據作為神經網絡的輸入，選擇一定的學習速率，采用誤差逆傳播（BP）算法，完成訓練后，得到一個能夠根據圖像數據輸出關節姿態參數的神經網絡。神經網絡訓練完畢之后，為了檢測其準確性，需要對其進行測試。測試過程與實際使用過程類似。測試方法如下：使用攝像頭采集人體手臂的幾組圖像數據，將這幾組圖像數據分別作為神經網絡的輸入，觀察神經網絡能否正確輸出與人體手臂關節相對應的角度數據。如果機器人的動作有較大的偏差，則證明訓練失敗，需要重新檢查訓練數據，對攝像頭捕捉關節的位置進行調整，或提高攝像頭的性能，以便使攝像頭獲得更精確的信息。另外，根據神經網絡測試的結果，適當調節神經網絡模型學習過程中的參數如學習速率，樣本容量等。

神經網絡訓練與測試完畢后，我們就獲得了一個輸入為一系列包含手臂各個關節的圖像數據、能夠識別人體關節各個姿態，并輸出各個關節姿態角度的神經網絡。利用這個訓練并測試完成的神經W絡，多任務學習機器人即可以根據人演示的動作，準確地模仿人的姿態，完成特定的任務，具體過程如下：

（1）針對某一環境下的任務要求，人體做任務動作，攝像頭捕捉這個過程中的圖像信息。

（2）每一時刻的圖像信息輸入神經網絡，神經網絡輸出各個關節的角度值。

（3）各個關節角度值輸入到機械臂相關關節控制單元，實現對機器人姿態的控制。

（4）每個時刻分別重復這個過程，就實現了機器人控制參數流的輸出，機器人即可完成一系列動作。

由于神經網絡的可復用性，機器人可以隨時模仿各種各樣的動作，實現了多任務學習的設計要求。實際的應用過程中，可以通過設計多個存儲單元，分別存儲多個動作的控制參數流序列，實現常用動作的記憶與切換功能。

3總結

本文所設計的機器人主要由攝像頭及仿生機械臂組成，機器人以攝像頭接收使用者的動作，首先通過訓練過程，對神經網絡進行訓練。神經網絡訓練完畢后，在使用過程中，人體演示機器人做相應動作，機器人就可根據神經網絡識別的結果反饋來操控機器人，完成指定動作。應用這一方法，可以有效提高機器人的環境應變能力，通過對某一新動作的學習，可以高效提取新動作的參數信息，根據這些信息輸出對機器人的控制量，從而達到理想的效果。本作品解決了傳統機器人功能單一的缺點，可以使得機器人能執行多種動作，使機器人“身兼數職”，也提高了機器人的靈活性與便捷性。

參考文獻

[1]李揚.智能服務機器人引領智慧變革[J].高科技與產業化，2016，（5）：6971.

第6篇：神經網絡學習方法范文

doi:10.11772/j.issn.10019081.2013.07.1942

摘 要:

針對極限學習機(ELM)算法隨機選擇輸入層權值的問題，借鑒第2類型可拓神經網絡(ENN2)聚類的思想，提出了一種基于可拓聚類的ELM(ECELM)神經網絡。該神經網絡是以隱含層神經元的徑向基中心向量作為輸入層權值，采用可拓聚類算法動態調整隱含層節點數目和徑向基中心，并根據所確定的輸入層權值，利用MoorePenrose廣義逆快速完成輸出層權值的求解。同時，對標準的Friedman#1回歸數據集和Wine分類數據集進行測試，結果表明，ECELM提供了一種簡便的神經網絡結構和參數學習方法，并且比基于可拓理論的徑向基函數(ERBF)、ELM神經網絡具有更高的建模精度和更快的學習速度，為復雜過程的建模提供了新思路。

關鍵詞:可拓聚類；極限學習機；徑向基函數；回歸；分類

中圖分類號: TP18文獻標志碼:A

英文標題

Extension clusteringbased extreme learning machine neural network 

英文作者名

LUO Genghe*

英文地址(

Department of Mechanical Engineering, Xian Aeronautical University, Xian Shaanxi 710077, China英文摘要)

Abstract:

During the construction process of Extreme Learning Machine (ELM), its input weights are randomly generated, and these parameters are nonoptimized and contain no prior knowledge of the inputs. To solve these problems, combining the clustering method of Extension Neural Network type 2 (ENN2), an extension clustering based extreme learning machine (ECELM) neural network was proposed. In ECELM neural network, the radial basis function centers of hidden neurons were firstly taken as the input weights, then extension clustering method was used to adaptively adjust the hidden neurons number and center vectors, and this welladjusted information was trained by MoorePenrose generalized inverse to obtain the output weights. Meanwhile, the effectiveness of this network was tested by the Friedman#1 dataset and the Wine dataset. The results indicate that ECELM provides a simple and convenient way to train the structure and parameters of neural network, and it is of higher modeling accuracy and faster learning speed than Extension theory based Radial Basis Function (ERBF) or ELM, which will provide a new way to apply the ECELM to complex process modeling.

第7篇：神經網絡學習方法范文

關鍵詞：SOM神經網絡;負荷特性曲線;聚類分析

中圖分類號：TM7 文獻標識碼：A 文章編號：1007-0079（2014）33-0204-03

在國家提出建設堅強智能電網的背景下，提高電力營銷服務水平和智能用電技術已成為電網企業關注的焦點。電力營銷服務水平與智能用電技術的提升離不開在對電力用戶用電行為特征的準確、全面、及時地掌握，而從海量負荷數據中提取用戶日負荷特征曲線并進行深入分析成為研究用戶用電行為特征的一種有效方式。

從研究對象層面來看，以往相關研究側重專線用戶（負荷數據來源為SCADA系統）和專變用戶，并以傳統意義上的行業分類作為提取負荷特征曲線時聚類的依據。從研究方法層面來看，電力用戶日負荷特征曲線的提取多使用聚類算法，主要有統計方法、機器學習方法、人工神經網絡方法和面向數據庫的方法。人工神經網絡因具有大規模的并行協同處理能力、較強的容錯能力、聯想能力、學習能力和自適應能力，故能夠較好地適應海量數據背景下的數據挖掘。應用較多的典型的神經網絡模型包括BP網絡、Hopfield網絡、ART網絡和Kohonen網絡。[1-3]BP網絡屬于有監督學習的神經網絡，需要提供聚類對象類別數量的先驗知識，而公變用戶缺乏傳統意義上類似專變用戶的行業分類，故不適合采用BP網絡。Hopfield網絡、ART網絡和Kohonen網絡都屬于無監督學習的神經網絡，在解決聚類問題上有其各自的優缺點。

本文提出采用SOM神經網絡[4-6]聚類算法提取公變用戶日負荷特征曲線，用MATLAB軟件進行仿真，輸出可視化聚類結果，并對聚類結果進行分析，驗證了采用SOM神經網絡聚類算法提取出的公變用戶日負荷特征曲線能夠較好地顯示不同類型公變用戶用電行為特征上的差異，具備良好的聚類效果，同時為電網企業優化電力營銷服務提供參考和指導。

一、SOM神經網絡

SOM（Self-Organizing Map，自組織映射）神經網絡是較為廣泛應用于聚類的神經網絡。它是由Cohonen提出的一種無監督學習的競爭型神經網絡模型，通過不斷縮小獲勝神經元的鄰域來達到聚類的目的。主要功能是將輸入的高維空間數據映射到一個較低的維度，通常是一維或者二維輸出，同時保持數據原有的拓撲邏輯關系。

SOM神經網絡由輸入層和輸出層兩層組成，輸入層中的每一個神經元通過權與輸出層中的每一個神經元相連，如圖1所示。輸入層的神經元以一維的形式排列，輸入神經元的個數由輸入矢量中的分量個數決定，輸出層的神經元一般以一維或者二維的形式排列，計輸入層的神經元數量為m，輸出層神經元數量為c。輸入的樣本總數為n，第i個輸入樣本用矢量表示為，每個輸出神經元的輸出值記為，。與第j個輸出神經元相連的權用矢量表示為：。

Kohonen算法是無教師示教的聚類方法，它能將任意維輸入模式在輸入層映射成一維或二維離散圖形，并保持其拓撲結構不變，即在無教師示教的情況下，通過對輸入模式的自組織學習，在輸出層將聚類結果表示出來。此外，網絡通過對輸入模式的反復學習，可以使連接權矢量空間分布密度與輸入模式的概率分布趨于一致，即連接權矢量空間分布能反映輸入模式的統計特性。該算法往往在完成極高維數、超大量數據和高度非線性問題的聚類，模式表征和數據壓縮，分類等任務時是一個很有效、很簡便，且快速、穩健、泛化性好的算法。

Kohonen的學習算法如下：

（1）初始化：將整個輸入向量存儲在矩陣p中，對權值w進行初始化，權值向量的每一維的取值范圍同輸入向量每一維的取值范圍。

（2）選擇一個輸入向量，提供給網絡輸入層。

（3）按照下式計算輸出層每一個神經元 j 的權值與輸入向量之差：，其中，。

（4）按照“勝者為王”的原則，對每一個神經元j，以minDist中的最小值所對應的神經元 k作為勝者，對它和它的鄰域內的神經元的權值進行調整，假設當前處于學習的第l步，權值的修正按照下式進行：

其中，lr表示學習速率，br表示鄰域調整率;表示獲勝神經元的鄰域，即：。

（5）選擇另一個輸入向量，返回（3），直到所有的輸入向量全部提供給網絡。

（6）返回（2），直到達到最大訓練步數。

二、MATLAB仿真算例

1.MATLAB仿真實現

對于日負荷特征曲線的提取，負荷曲線的采樣點越多，曲線越精細，越容易進行分類，研究數據來自于電力用戶用電信息采集系統，從中提取公變用戶每15分鐘采集一次的有功功率構成其日負荷曲線，一天共96個采樣點。從某省電力用戶用電信息采集系統中隨機抽取1000臺公用變壓器，選取其2012年7月10日（工作日，該省全年負荷最高日）作為典型日進行日負荷特征曲線提取和分析。每臺公變日負荷曲線由96個有功采樣點組成。由于每臺公變額定容量大小不等，為了有效聚類，首先需要對負荷數據進行歸一化處理。

本文采用聚類SOM神經網絡，在MATLAB環境下，對這些數據進行聚類仿真。聚類SOM神經網絡的MATLAB實現步驟如下：（1）準備數據源。首先從原始數據庫讀取相關數據（輸入樣本總數70，每一個樣本有96個采集時點）作為輸入矢量，并將其以二維數組70×96形式輸入。（2）確定參數。輸入神經元個數為采集時點的個數96;輸出神經元以二維數組3×3形式呈現。（3）運用rand（ ）函數產生[0，1）之間的隨機數作為權值。（4）調用SOM創建函數newsom（ ），創建自組織映射網絡net=newsom（ ）。（5）對迭代次數net.trainParam.epochs賦值2000;對net.trainParam.show賦值20，表示每20次顯示一下誤差變化情況。（6）運用網絡訓練函數train（ ）訓練上述初始化后的網絡net=train（ ）。（7）調用plot（ ）畫輸入點; plotsom（ ）作訓練后的權值點及其與相鄰權值點的連線。

2.仿真結果分析

經MATLAB仿真運行后得到聚類結果圖2所示：

圖2所示為SOM神經網絡聚類結果，將樣本公變用戶分為7個類別，為便于后文描述，不妨按照行優先的順序為各激活的優勝神經元標識聚類編號，依次分別為為：公變用戶第一類（包含13個樣本用戶）、公變用戶第二類（包含12個樣本用戶）、公變用戶第三類（包含5個樣本用戶）、公變用戶第四類（包含10個樣本用戶）、公變用戶第五類（包含10個樣本用戶）、公變用戶第六類（包含10個樣本用戶）、公變用戶第七類（包含10個樣本用戶）。

每個競爭層神經元與各輸入神經元之間的連接權構成的向量代表了該優勝神經元所標識類別的聚類中心即日負荷特征曲線，競爭層神經元鄰域權值距離如圖3所示，顏色越深表示領域神經元間的權值距離越遠，即鄰域神經元的聚類中心距離越遠、提取的日負荷特征曲線差異越大。

圖4所示為通過SOM神經網絡聚類算法提取的七大類公變用戶日負荷特征曲線。日負荷特征曲線較為明顯地反映了不同類型公變用戶在該典型日的用電行為。

第一類公變日負荷特征曲線呈現出明顯的午高峰和晚高峰特征，且晚高峰明顯高于午高峰。推測此類為城鎮居民生活的典型日負荷特征曲線，可能由于部分居民上班因素造成晚高峰高于午高峰;第二類公變日負荷特征曲線走勢同全網負荷基本一致，呈現出明顯午高峰和晚高峰，但午高峰一枝獨秀，可能該公變下的用戶類型較多，包括居民用戶和一般工商業用戶，由于各類用電特征比例與全網比例類似，形成具有全網負荷特征的曲線;第七類公變日負荷特征曲線與前六種主要集中在白天用電不同，主要在天黑時間段內（晚上7點左右至第二天早上6點）用電，推測這類用戶主要集中在市政工程類。

三、總結與展望

本文將SOM神經網絡聚類算法應用到電力用戶日負荷特征曲線提取的研究中，選取某省公變用戶作為分析樣本，通過MATLAB仿真計算將樣本公變用戶分為七個類別，以優勝神經元與輸入神經元之間連接權向量作為聚類中心即該類別用戶的日負荷特征曲線。根據提取出的日負荷特征曲線，結合電力用戶用電信息采集系統中的營銷檔案分析了不同類別公變用戶的用電特征與習慣。分析表明，采用SOM神經網絡聚類算法提取日負荷特征曲線具有良好的效果，提取出的日負荷特征曲線能夠較好反映該類型用戶的用電行為與特征，為電力企業了解用戶用電習慣、細分電力市場、調整定價策略和實施需求側管理提供了有益參考。

下一步研究將考慮采用電力用戶全年負荷數據進行聚類分析，驗證小樣本下的聚類結果、發現新的用戶類型;同時改進SOM神經網絡算法，使其適應海量數據下的負荷曲線聚類分析，并通過調整競爭層神經元個數與抑制權值使訓練結果更加穩定，得到更好的聚類效果。

參考文獻：

[1]馬玉梅，馬志超.基于人工神經網絡的手寫阿拉伯數字識別[J].中央民族大學學報（自然科學版），2007，（4）.

[2]劉小波，李亞玲，趙景濤，等.基于KOHONEN神經網絡的電壓控制分區[J].浙江電力，2007，（3）.

[3]莫禮平.基于Kohonen神經網絡的故障診斷方法[J].成都大學學報（自然科學版），2007，（1）.

[4]李培強，李欣然，陳輝華，等.基于模糊聚類的電力負荷特性的分類與綜合[J].中國電機工程學報，2005，（24）.

第8篇：神經網絡學習方法范文

中圖分類號：G642

1 背 景

電子信息科學與技術是以物理和數學為基礎，研究通過電學形式表達和操控信息的基本規律以及運用這些基本規律實現各種電子系統的方法。在進入電子時代和信息社會的今天，電子信息科學技術已滲透各個領域。隨著電子信息技術日新月異，電子信息教學領域也面臨著全新的挑戰，需要培養具有全方位視野和超強能力的新一代工程師及領導者。本著這一目標，清華大學電子系自2008年開始著手進行課程改革，通過改革課程體系將原有課程重新整合，從學科范式的角度整理出電子工程本科教育的知識體系結構，從而梳理出新的本科課程體系，形成電子信息領域學科地圖[1-2]。

2016年AlphaGo戰勝李世石的事實，讓人工智能技術再一次向世人展示了自己的潛力。人工智能無論在傳統的制造加工行業，還是在新興的互聯網行業，都成為國內外各大企業爭相研究開發的目標，在學術界也是如此。2016年底，Gartner全球峰會2017十大技術趨勢報告[3]，預測2017年十大技術趨勢：人工智能與機器學習、智能應用、智能事物、虛擬和增強現實、數字化雙生、區塊鏈和已分配分類賬、對話式系統、格網應用和服務架構、數字化技術平臺、自適應安全架構。Gartner預計2017年全球將有超過60%的大型企業開始采用人工智能技術。

在2016年開設的媒體與認知課程內容中，我們參考國內外諸多名校相關課程的理論及項目內容，結合電子工程系在該領域研究的基礎優勢和創新性成果，建設了一套媒體認知人工智能技術教學課程內容及平臺，以期學生獲得人工智能技術中深度學習技術的基礎理論和開發能力。課程通過提供人工智能技術領域高層次專業人才必需的基本技能、專業知識及思維方式，力爭培養具有國際一流科研創新能力的人工智能方向的專業技術人才。

2 人工智能技術教學內容

美國MIT大學的Statistical Learning Theory and Applications課程[4]，致力于從統計學習和正則化理論的角度介紹機器學習的基礎和最新進展。除了經典的機器學習方法，如支持向量機、流形學習、有監督學習等之外，還重點介紹深度學習計算的理論框架并要求學生以項目形式給出基于機器學習和深度神經網?j的解決方案。

美國CMU大學的Deep Learning課程[5]通過一系列研討會和課程實驗介紹深度學習這一主題，涵蓋深度學習的基礎知識和基礎理論及應用領域，以及大量數據學習的最新問題。通過若干實驗題目，學生可以對深度神經網絡原理及應用加深理解。

美國Stanford大學的Deep Learning for Natural Language Processing課程[6]深入介紹應用于自然語言理解的深度學習前沿研究，討論包括循環神經網絡、長短期記憶模型、遞歸神經網絡、卷積神經網絡等非常新穎的模型。通過上機實驗，學生將學習使用神經網絡工作的技巧來解決實際問題，包括實施、訓練、調試、可視化和提出自己的神經網絡模型，最終的實驗項目涉及復雜的循環神經網絡并將應用于大規模自然語言理解的問題。

媒體認知課程參考了上述著名課程的理論內容和項目特色。我們結合電子工程系在人工智能領域研究的基礎、優勢和創新性成果，設計開發了一套以人工智能技術為基礎的前沿探索型媒體認知教學課程內容及實驗平臺，試圖構建具有國際水準的人工智能技術教學課程內容。

3 深度學習技術發展概況

傳統的人工智能系統一般采用機器學習技術，這類技術在處理原始形式的自然數據的能力上受到限制，一般困難集中在如何將原始數據變換為合適的內部表示或特征向量。深度學習（deep learning）近年來受到人工智能行業的廣泛關注，是一種表征學習（representation-learning）方法，由于擁有可以逼近任意非線性函數的特性，深度神經網絡（deep neural network，DNN）及其衍生的各種神經網絡結構有能力取代傳統模型，在語音、圖像、文本、視頻等各種媒體的內容識別系統中發揮作用。

著名的人工智能科學家Yann LeCun于2015年在Nature上發表文章[7]指出，深度學習允許多個處理層組成的計算模型學習如何表征具有多級抽象層面的數據。這些方法已經大大提高語音識別、視覺識別、目標檢測以及諸如藥物發現、基因學等許多領域的最新技術水平。深度學習通過使用反向傳播算法發現大數據集中的復雜結構，以指示機器如何改變其內部參數，這些內部參數是從深度神經網絡上一層的表示中計算每層中的表示。深度卷積網絡在處理圖像、視頻、語音和音頻方面帶來突破性的進展，而遞歸網絡則對文本、語音等順序數據提供解決方案。

遞歸網絡可被視作較深的前饋網絡，其中所有層共享相同的權重。遞歸網絡的問題在于難以在長期的時間內學習并存儲信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網絡被提出，主要特點在于其存儲器單元在下一個加權值為1的時間段內與自身連接，因此能夠在復制自身狀態的同時累加外部信號，此外這種自我連接被另一個單元通過學習決定何時清除此類信息。長短期記憶模型被證明在語音識別和機器翻譯應用系統中比傳統的遞歸網絡更加有效。

4 基于深度學習的語音識別教學項目

在對上述課程及配套項目進行詳細研究的基礎上，結合現有科研及平臺，我們構建了一種基于深度學習的連續語音識別項目平臺，包括兩個主要項目：深度神經網絡語音識別項目及長短期記憶模型遞歸神經網絡語音識別項目。

4.1 深度神經網絡語音識別項目

典型的深度神經網絡語音識別模型[8-9]核心是對聲學特征進行多層變換，并將特征提取和聲學建模在同一網絡中進行優化。神經網絡可以通過非線性激活函數來擬合任何非線性函數，可以使用神經網絡取代原有聲學模型中的高斯混合模型，用來計算每一幀的特征與每個音素的相似程度。深度神經網絡原理的結構示意圖如圖1所示。

圖1代表了一個擁有3個隱含層的深度神經網絡。相鄰兩層中，每層的每一個節點都與另外一層的所有節點單向連接。數據由輸入層輸入，逐層向下一層傳播。對于節點間的連接權重，采用BP算法。BP算法對于給定的輸入輸出訓練數據，首先通過正向傳播由輸入得到輸出，之后通過實際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據激活函數與連接權重反向傳播殘差，計算出每一個節點與理想值之間的殘差，最后根據每個節點的殘差修正節點間連接的權重，通過對權重的調整實現訓練，從而更加靠近理論輸出結果。

將DNN實際利用到語音識別的聲學模型時，其結構示意圖如圖2所示。深度神經網絡的輸入層輸入從每一幀音頻中提取出的特征，通過網絡的正向傳播，在輸出?郵涑齙鼻爸《雜Σ煌?音素的相似程度，從而作為HMM的發射概率進行語音識別。考慮到DNN沒有記憶特性，而語音信號即使是在音素層級上，其前后也有相當大的聯系。為了提高DNN在處理前后高度關聯的語音信號中的表現，一般選擇同時將當前幀的前后部分幀作為網絡的輸入，從而提高對當前幀識別的正確率。

4.2 長短期記憶模型遞歸神經網絡語音識別項目

長短期記憶模型應用于語音識別中聲學模型的思路和深度神經網絡類似[10-11]，取代高斯混合模型用于計算輸入幀與各音素的匹配程度。原理為首先根據輸入門判斷輸入的數據可以進入記憶細胞的比例，同時遺忘門決定記憶細胞遺忘的比例；之后由記憶細胞殘存的記憶部分和新輸入的部分求和，作為記憶細胞的新記憶值；將新的記憶值根據輸出門的控制得到記憶細胞的輸出，并通過遞歸投影層降維，降維之后的結果一方面作為3個控制門的反饋，另一方面作為網絡的輸出；非遞歸投影層則僅僅作為最終輸出的補充，而不會影響控制門。將長短期記憶模型實際利用到語音識別的聲學模型時，其結構示意圖如圖3所示。

與深度神經網絡不同，長短期記憶模型遞歸神經網絡因為有記憶特性，所以不需要額外的多幀輸入，只需要輸入當前幀。然而，考慮到語音前后的關聯性，一般會將輸入的語音幀進行時間偏移，使得對t時刻幀的特征計算得到的輸出結果是基于已知未來部分幀的特征之后進行的，從而提高準確度。

第9篇：神經網絡學習方法范文

關鍵詞:故障診斷;神經網絡;徑向基函數;地鐵列車

中圖分類號:TM621文獻標識碼:A文章編號:1007-9599 (2010) 11-0000-02

The RBFNN Application in Fault Diagnosis for the Subway Train

Zhou Qiaolian1,Deng Yabo2,Chen Jianxiao2

(1.Shanghai Shentong Rail Transit Research and Consulting Co,Ltd,Shanghai2011031,China;2.Zhuzhou CSR Times Electric Co,Ltd,Zhuzhou4120012,China)

Abstract:The means is proposed in this paper about subway train malfunction diagnosing system applying RBFNN.Subway train running information is collected and preprocessed,which is used as training sample to build RBFNN.After RBFNN learned well,collected real-time information is inputted into the neural network,and then malfunction and coming malfunction is output correctly.

Keywords:Malfunction diagnosing;Neural network;Radial Basis

Function;Subway train

一、引言

我國城市軌道交通的高速發展,迫切需要保障地鐵機車的運營安全。目前對地鐵列車的故障診斷等方面還沒有理想的解決方案。本文提出了一種方法,試圖借助徑向基函數神經網絡來解決地鐵列車的故障診斷的技術難題。

二、徑向基函數神經網絡

徑向基函數神經網絡(Radial Basis Function Neural Network,以下簡稱RBFNN)是一類特殊的三層前饋神經網絡。

圖1是RBFNN的基本結構。它可以實現由輸入向量到輸出向量的映射。

三、故障診斷應用

(一)建立神經網絡

要把RBFNN運用到地鐵列車的故障診斷中去,必須先利用訓練樣本建立好RBFNN。

1.數據分類:地鐵列車的數據信息非常豐富,首先需要根據地鐵列車的特點,將各類數據按功能單元分類,如中央控制單元的數據包括地鐵列車狀態、通信狀態、網絡命令、數字輸入輸出信號和模擬輸入信號等,牽引單元的數據包括牽引工作狀態、輸入指令、電機轉速、電機轉矩、電機電流、網壓、電機溫度、級位信號和載荷信號等,制動單元的數據包括輪徑、載荷信號、速度信號、制動級位、傳感器狀態等,門控單元的數據包括車門打開狀態、車門開關反饋、門速度反饋、門防夾狀態、門切除狀態等。

2.生成樣本數據:針對地鐵列車的典型故障和臨界故障等情況,通過模擬產生n類故障方式,收集來自傳感器的檢測數據、表征地鐵列車狀態及車載設備的模擬量、數字量以及地鐵列車總線上的相關數據等信息。然后按照上述的分類方法,對數據信息按照功能單元(中央控制單元、牽引單元、制動單元、門控單元等)分類和綜合(系統級),形成建立各徑向基函數神經網絡所需的訓練樣本向量,如中央控制單元的訓練樣本向量為,牽引單元的訓練樣本向量為,制動單元的訓練樣本向量為,門控單元的訓練樣本向量為,系統級的訓練樣本向量為。

3.建立RBFNN的基本結構。通過上述訓練樣本可以確定各神經網絡輸入層節點個數為n,輸出層的節點個數為。

(二)訓練神經網絡

訓練時,隱含層神經元學習采用無監督學習的聚類算法;輸出層神經元采用有監督的最小二乘法學習方法。下面以中央控制單元RBFNN的建立為例作具體說明。

對于中央控制單元,在模擬產生n類故障后,得到的訓練樣本的狀態向量,包括地鐵列車狀態、通信狀態、網絡命令、數字輸入輸出信號和模擬輸入信號等,該訓練樣本將作為神經網絡的輸入。

針對隱含層神經元的學習算法的具體步驟如下:

1.從狀態向量中選取一組樣本作為隱含層的各神經元中心,為隱含層神經元數。

2.然后對所有狀態向量進行歸類,輸入的狀態向量若滿足條件

(1)

則將其歸于第類向量;

3.歸類完畢后,再求出隱含層每個神經元的新中心和寬度,即

對輸出層神經元的學習的算法如下:記某故障診斷結果為,則對第個故障診斷結果有:

式中,表示隱含層第神經元到輸出層第個故障診斷結果的權值,表示距的距離,是選取的高斯函數,

式中是隱含層第個神經元的輸出中間向量,為高斯函數的寬度。

定義故障診斷輸出的誤差函數為

式中,為輸出層第個神經元的期望故障診斷值,為其實際故障診斷輸出值。將式(4)代入上式可得

求解使故障診斷誤差函數最小時的一組權系數,可令

則得到一系列方程組,

求解上述方程組即可得到最優權系數。

最優權系數確定后,中央控制單元RBFNN就訓練完畢。

通過相同的方法建立并訓練牽引單元、制動單元、門控單元和系統級等的RBFNN。

(三)故障診斷

當地鐵列車的單元或系統發生故障或將要發生故障時,采集的實時數據經過分類和綜合處理后,輸入訓練好的各RBFNN,其穩態輸出即為已經發生的故障種類或將要發生的故障。

故障診斷系統原理見下圖2所示。

四、系統實現

為實現基于RBFNN的地鐵列車故障診斷方法,需構建一個三層系統,包括應用層的上位機、采集數據的下位機和底層的傳感器等。

底層傳感器主要為現有地鐵列車沒有而故障診斷系統需要額外加裝的傳感器,如加速度傳感器等。

下位機包含采集轉換模塊、模擬量采集模塊、數字量采集模塊和總線接口模塊等。采集轉換模塊主要采集加裝的傳感器反饋的相關數據信息,如加速度、振動等數據。模擬量采集模塊主要采集表征地鐵列車運行狀態的一些模擬量,如電壓、電流、溫度等。數字量采集模塊主要采集表征地鐵列車運行狀態的數字量,如開關閉合狀態、隔離裝置狀態等。總線接口模塊主要采集地鐵列車總線上的數據。針對不同的地鐵列車總線(如MVB,MTB等),通過相應的接口和協議,采集需要的地鐵列車相關數據。下位機將數據集中后再匯總給上位機。

上位機是完成故障診斷的核心部分,主要負責接收、處理并存儲下位機匯總的地鐵列車狀態數據。首先完成對采集到的地鐵列車相關數據的分類處理。訓練階段,把分類處理好后的數據作為各RBFNN的訓練樣本,然后利用訓練樣本生成地鐵列車故障診斷所需的各RBFNN。應用階段則不斷采集地鐵列車的實時數據信息。當地鐵列車發生故障或將要發生故障時,上位機會依據各RBFNN診斷模塊的輸出作出相應的判斷和預警。

系統結構圖如圖2所示。

五、結束語

本文從人工智能的角度,提出了一種基于RBFNN的地鐵列車故障診斷方法。通過軟件編程,建立并應用了故障診斷所需要的RBFNN。從應用效果看,基本能達到預期目的。

參考文獻:

[1]W.F.Gabriel,Using Spectral Estimation Techniques in Adaptive Processing Antenna Systems”,IEEE Trans,Antenn.Propagat,1986

[2]靳蕃.神經計算智能基礎原理、方法.西南交通大學出版社,2000

注:

1該課題屬于國家863計劃課題《軌道交通運營安全的關鍵裝備監控預警及應急技術》的子課題,863項目課題編號:2007AA11Z247

作者介紹:

周巧蓮,女(1966-)漢族、上海、高級工程師。