神經網絡特征重要性精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡特征重要性主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡特征重要性范文

關鍵詞：神經網絡 入侵檢測；自動變速率；隨機優(yōu)化算子

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）03-0614-03

隨著互聯網應用的發(fā)展，更現顯了網絡安全的重要性。入侵檢測技術在安全防護中是一種主動防護技術，能及時地檢測各種惡意入侵，并在網絡系統(tǒng)受到危害時進行響應，因此在為安全防御體系中入侵檢測系統(tǒng)占有重要的地位。但是在現實的應用中，入侵檢測系統(tǒng)沒有充分發(fā)揮其作用。這是因為，不斷變化的入侵方式要求入侵檢測模型必須具有分析大量數據的能力。無論這些數據是不完全的，是非結構化的，或者是含有噪音的。而且，有些攻擊是由處于不同網絡位置上的多個攻擊者協作進行的，這就要求入侵檢測模型又必須具備處理來自非線性數據源的大量數據的能力。神經網絡具有聯想記憶能力、自學習能力和模糊運算的能力。因此將神經網絡應用入侵檢測中，它不僅可以識別出曾見過的入侵，還可以識別出未曾見過的入侵。該文首先介紹了一種改進的神經網絡算法，然后分析了該算法在入侵檢測中的應用，并給出試驗仿真結果。

1 BP神經網絡與入侵檢測

1.1 BP神經網絡的特點與不足

BP神經網絡是神經網絡模型中應用最廣泛一種。它基于成熟的BP算法，主要有以下幾個特點：1）它能夠實現自組織、自學習，根據給定的輸入輸出樣本自動調整它的網絡參數來模擬輸入輸出之間的非線性關系。2）在存儲上采用分布式存儲，所有的信息分布存儲在每一個神經元中。3）它還可以實現并行處理，下一層的每個神經元可以根據接收到的上一層信息同時獨立地計算。這些特點使其很適合應用于入侵檢測技術，滿足入侵檢測的適應性、可靠性、安全性和高效性的要求。

但是傳統(tǒng)的BP算法也存在著以下幾個方面的不足：1）局部極??；2）學習算法收斂速度慢；3）隱含層節(jié)點選取缺乏理論；4）加入新的樣本會影響已經學完的樣本；5）每次輸入樣本特征的數目必須確定且相同。

1.2 入侵檢測技術

通過對系統(tǒng)數據的分析，當發(fā)現有非授權的網絡訪問和攻擊行為時，采取報警、切斷入侵線路等措施來維護網絡安全，這被就是入侵檢測技術。采用此技術設計的系統(tǒng)稱為入侵檢測系統(tǒng)。根據采用的技術來說入侵檢測系統(tǒng)應具有以下幾個特性：1）監(jiān)視用戶及系統(tǒng)活動；2） 分析用戶及系統(tǒng)活動；3） 異常行為模式分析；4） 識別已知的進攻活動模式并反映報警；5） 系統(tǒng)構造和弱點的審計，操作系統(tǒng)的審計跟蹤管理；6） 評估重要的系統(tǒng)和數據文件的完整性，并識別用戶違反安全策略的行為。

目前最常用的攻擊手段有：拒絕服務、探測、非授權訪問和非授權獲得超級用戶權限攻擊。而且這些攻擊手段在實際中還有很大的變異，因此給入侵檢測帶來了一定的難度。BP神經網絡的自組織自學習能力，使得經過訓練后的BP神經網絡對以前觀察到的入侵檢測行為模式進行歸納總結，除了可以識別出已經觀察到的攻擊，還可以識別出由已知攻擊變異出的新的攻擊，甚至是全新的攻擊。

2.3 改進的神經網絡算法

人工神經網絡在模式識別、非線性處理、信號檢測等領域應用非常多，這是由于人工神經網絡具有的良好的自適應和自組織性，高度的非線性特性以及大規(guī)模并行處理和分布式信息存儲能力的特性。BP神經網絡算法實質上是非線性優(yōu)化問題的梯度算法，該算法在收斂性問題上存在限制與不足。即該算法學習的結果不能保證一定收斂到均方誤差的全局最小點，也有可能落入局部極小點，使算法不收斂，導致陷入錯誤的工作模式。因此本文選擇了改進的神經網絡，改進主要有以下幾點：

2）自動變速率學習法

傳統(tǒng)的BP算法是以梯度為基礎，采用LMS學習問題的最陡下降法，學習步長是一個固定不變的較小值，不利于網絡的收斂。因此，選擇了基于梯度方向來自動調節(jié)學習速率的方法。利用梯度確定學習的方向，由速率決定在梯度方向上學習的步長。因此，如果相鄰兩次的梯度方向相同則說明在該方向是有利收斂的方向，如果相鄰兩次的梯度方向相反則說明此處存在不穩(wěn)定。因此，可以利用兩次相對梯度變化來確定學習步長，當兩次梯度方向相同時則增大學習步長，加快在該方向上的學習速度；而如果兩次梯度方向相反那么減小學習步長，加快整個網絡的收斂速度。這種方法的自適應速率調節(jié)公式如下：

2）引入遺忘因子

本文所采用的自適應變速率學習法是依據相鄰兩次梯度變化來確定學習步長的算法，但單純的學習速率的變化還不能即完全地既保證收斂速度，又不至于引起振蕩。因此考慮變相的學習速率的學習。即在權值的調節(jié)量上再加一項正比于前幾次加權的量。權值調節(jié)量為：

我們將[τ]稱為遺忘因子。遺忘因子項的引入就是對學習過程中等效的對學習速率進行微調的效果。遺忘因子起到了緩沖平滑的作用，使得調節(jié)向著底部的平均方向變化。

3）隨機優(yōu)化算子

雖然采用自動變速率學習法，并引入遺忘因子的神經網絡算法可以對學習速率進行微調，但是仍存在著BP神經網絡的限制與不足因此引入隨機優(yōu)化算子。也就是當網絡的權值誤差迭代一定的次數后，仍沒有明顯的收斂，或者系統(tǒng)誤差函數的梯度連續(xù)幾次發(fā)生改變，這說明網絡進入了一個比較疲乏的狀態(tài)，需要借助外界的推動力來激活網絡。當發(fā)現上述的兩種情況時，就產生與權值維數相同的隨機數，并將隨機數與權值直接相加，然后判斷系統(tǒng)誤差的變化。如果誤差沒有降低，那么就再繼續(xù)產生隨機數來修改權值，直到誤差減少，再從新的權值開始繼續(xù)BP算法。隨機優(yōu)化算子可以令搜索方向隨機變化，從而擺脫局部極小點。

4）改進算法與傳統(tǒng)算法比較

以200個訓練樣本為例，分別采用改進的BP神經網絡和經典BP神經網絡的方法進行學習、訓練。兩種算法的誤差收斂對比曲線如圖1所示。

3 采用改進算法的入侵檢測仿真實驗

入侵檢測系統(tǒng)進行測試和評估需要標準的、可重現的并包含入侵的大量數據。本仿真實驗選取DARPA數據集網絡連接數據集作為實驗數據。然后，對這些數據選三組特征值進行實驗，并給出實驗結果。

3.1 數據源的選取

該實驗的數據采用DARPA 1988入侵檢測評估數據庫的數據。該數據有大量的連接數據記錄。每個一記錄代表一次網絡連接，且每個記錄均有41個特征值，其中各個特征的含義不同，大致可分為三類：1）表示網絡連接內容特征；2）表示網絡連接基本特征；3）表示網絡連接流量特征。

模擬的入侵主要有以下四種類型：DOS 、 R2L、U2R、Probing，考慮到設計的實用性分別對三類特征值用神經網絡分別進行訓練和識別。實驗選取了13000組數據進行仿真實驗，其中3000組用于訓練神經網絡，10000組用于系統(tǒng)測試。

3.2 仿真實驗結果

對三類特征組的訓練集數據應用改進神經網絡分別訓練出三個神經網絡，表示網絡連接內容特征的神經網絡，表示網絡連接基本特征的神經網絡以及表示網絡連接流量的特征的神經網絡在訓練成功時的迭代步數分別為7056，386，3030。然后再對測試集數據進行測試，結果如下：

1）表示網絡連接內容特征組，利用改進神經網絡進行檢測識別，結果如表1所示。

2）表示網絡連接基本特征組，利用改進神經網絡進行檢測識別，結果如表2所示。

3）網絡連接流量特征組，利用改進神經網絡進行檢測識別，結果如表3所示：

從表中數據可以看出對常見的四種攻擊，不同的特征分組在改進神經網絡的作用下檢測各有優(yōu)勢。

4 結論

論文采用自動變速率學習法，利用遺忘因子進行微調，同時引入隨機優(yōu)化算子對BP神經網絡進行了改進。改進神經網絡的收斂速度比經典BP神經網絡更快，同時穩(wěn)定性也較好。并將該算法應用于入侵檢測實驗，實驗結果顯示改進后的算法具有較好的識別攻擊的能力。

參考文獻：

[1] 肖道舉，毛輝.BP神經網絡在入侵檢測中的應用[J].華中科技大學學報，2003（5）.

[2] 汪潔.基于神經網路的入侵檢測系統(tǒng)的設計與實現[J].計算機應用與軟件，2013（5）.

第2篇：神經網絡特征重要性范文

關鍵詞 經濟活動 預測模型 人工神經網絡

經濟活動諸如商品價格走勢、生產活動的產量預測、加工的投入產出分析、工廠的成本控制等方面都是重要的技術經濟層面。定量化的經濟活動分析是經濟學研究的必由之路，而建模是量化分析的基礎，這是因為模型為科學分析和質量、成本等控制提供了理論依據。本文針對經濟活動中大多數研究對象都具有的非線性特點，給出了用人工神經網絡（Artificial Nerve Network）模型建立經濟活動的預測模型的原理和方法，并描述了神經網絡與各種先進的建模方法相結合的模型化方法，為經濟活動的分析、預測與控制提供了理論基礎。

1 神經網絡模型方法

現實的經濟系統(tǒng)是一個極其復雜的非線性系統(tǒng)，客觀上要求建立非線性模型。傳統(tǒng)上使用回歸與自回歸模型刻畫的都是線性關系，難于精確反映因變量的變化規(guī)律，也終將影響模型的擬合及預報效果。為揭示隱含于歷史記錄中的復雜非線性關系必須借助更先進的方法———人工神經網絡(ANN)方法。

人工神經網絡具有并行處理、自適應、自組織、聯想記憶及源于神經元激活函數的壓扁特性的容錯和魯棒性等特點。數學上已經證明，神經網絡可以逼近所有函數，這意味著神經網絡能逼近那些刻畫了樣本數據規(guī)律的函數，且所考慮的系統(tǒng)表現的函數形式越復雜，神經網絡這種特性的作用就越明顯。

在各類神經網絡模型中，BP（Back－Propagation誤差后向傳播）神經網絡模型是最常用的也是最成熟的模型之一。本質上，BP模型是對樣本集進行建模，即建立對應關系RmRn,xk∈Rm,ykRn。數學上，就是一個通過函數逼近擬合曲線/曲面的方法，并將之轉化為一個非線性優(yōu)化問題來求解。

對BP神經網絡模型，一般選用三層非循環(huán)網絡。假設每層有N個處理單元，通常選取連續(xù)可微的非線性作用函數如Sigmoid函數f(x)=1/(1+e-x)，訓練集包括M個樣本模式{(xk,yk)}。對第P個訓練樣本（P＝1，2，…，M），單元j的輸入總和記為apj，輸出記為Opj，則:

apj=WQ

Opj=f(apj)=1/(1+e-apj)

（1）

對每個輸入模式P，網絡輸出與期望輸出（dpj）間誤差為：

E=Ep=((dpj-Opj)2)

（2）

取BP網絡的權值修正式：

Wji(t+1)=Wji(t)+?濁?啄pj+?琢(Wji(t)-Wji(t-1))

（3）

其中，對應輸出單元?啄pj=f’,(apj)(dpj-Opj)；對應輸入單元?啄pj=f’,(apj)?啄pkWkj；

?濁是為加快網絡收斂速度而取值足夠大又不致產生振蕩的常數；?琢為一常數項，稱為趨勢因子，它決定上一次學習權值對本次權值的影響。

BP學習算法的步驟：初始化網絡及學習參數；提供訓練模式并訓練網絡直到滿足學習要求；前向傳播過程, 對給定訓練模式輸入，計算網絡的輸出模式，并與期望比較，如有誤差，則執(zhí)行下一步，否則返回第二步；后向傳播過程,計算同一層單元的誤差?啄pj, 按權值公式（3）修正權值; 返回權值計算公式（3）。BP網絡的學習一般均需多周期迭代，直至網絡輸出與期望輸出間總體的均方根誤差ERMS達到一定要求方結束。

實踐中，BP網絡可能遇到如下問題：局部極小點問題；迭代收斂性及收斂速度引起低效率問題。此外還有，模型的逼近性質差；模型的學習誤差大，記憶能力不強；與線性時序模型一樣，模型網絡結構及節(jié)點作用函數不易確定；難以解決應用問題的實例規(guī)模與網絡規(guī)模之間的矛盾等。為克服這樣的一些問題，同時為了更好地面向實際問題的特殊性，出現了各種基于神經網絡模型或與之結合的模型創(chuàng)新方法。

2 灰色神經網絡模型

灰色預測和神經網絡一樣是近年來用于非線性時間序列預測的引人注目的方法，兩種方法在建模時都不需計算統(tǒng)計特征，且理論上可以適用于任何非線性時間序列的建模?；疑A測由于其模型特點，更合用于經濟活動中具有指數增長趨勢的問題，而對于其他變化趨勢，則可能擬合灰度較大，導致精度難于提高。

對于既有隨時間推移的增長趨勢，又有同一季節(jié)的相似波動性趨勢，且增長趨勢和波動性趨勢都呈現為一種復雜的非線性函數特性的一類現實問題，根據人工神經網絡具有較好的描述復雜非線性函數能力特點，用其對季節(jié)性建模；最后根據最優(yōu)組合預測理論，建立了兼有GM（1，1）和ANN優(yōu)點的最優(yōu)組合預測模型。該模型能夠同時反映季節(jié)性時間序列的增長趨勢性和同季波動性的雙重特性，適用于一般具有季節(jié)性特點的經濟預測。

首先，建立GM（1，1）模型，設時間序列x(0)=(x(0)(1),x(0)(2),?撰,x(0)(n))，作一階累加生成：

x(1)=(x(1)(1),x(1)(2),?撰,x(1)(n))　 （4）

其中x(1)(k)=(x(0)(i),k=1,2,?撰,n

構造一階線性灰色微分方程并得到該方程的白化微分方程：

+ax=u

用最小二乘法求解參數a，u，得到x(1)的灰色預測模型：

(1)(k+1)=(X(0)(1)-u/a)e-ak+u/a,(k=0,1,2,?撰)

（5）

其次，根據上節(jié)方法建立BP人工神經網絡模型。

第三，將兩模型優(yōu)化組合。設f1是灰色預測值，f2是神經網絡預測值，fc是最優(yōu)組合預測值，預測誤差分別為:e1,e2,ec，取w1和w2是相應的權系數，且w1+w2=1,有fc=w1f1+w2f2，則誤差及方差分別為ec=w1e1+w2e2,Var(ec)=w21Var(e1)+w22Var(e2)+2w1w2cov(e1,e2)

對方差公式求關于w1的極小值，并取cov(e1,e2)=0，即可得到組合預測權系數的值。

2 基于粗糙集理論的神經網絡模型

粗糙集理論與模糊集理論一樣是研究系統(tǒng)中知識不完全和不確定問題的方法。模糊集理論在利用隸屬函數表達不確定性時，為定義一個合適的隸屬函數，需要人工干預，因而有主觀性。而粗糙集理論由粗糙度表示知識的不完全程度，是通過表達知識不精確性的概念計算得到的，是客觀的，并不需要先驗知識。粗糙集通過定義信息熵并進而規(guī)定重要性判據以判斷某屬性的必要性、重要性或冗余性。

一般來說，BP神經網絡模型對模型輸入變量的選擇和網絡結構確定等都基本憑經驗或通過反復試驗確定，這種方法的盲目性會導致模型質量變差。用粗糙集理論指導，先對各種影響預測的因素變量進行識別，以此確定預測模型的輸入變量；再通過屬性約簡和屬性值約簡獲得推理規(guī)則集；然后以這些推理規(guī)則構造神經網絡預測模型，并采用加動量項的BP的學習算法對網絡進行優(yōu)化。有效改善了模型特性，提高了模型質量。其建模步驟為：由歷史數據及其相關信息歷史數據構造決策表； 初始化； 對決策表的決策屬性變量按劃分值域為n個區(qū)域的方式離散化；采用基于斷點重要性的粗糙集離散化算法選擇條件屬性變量和斷點（分點），同時計算決策表相容度，當決策表相容度為1或不再增加時，則選擇條件屬性變量和分點過程結束；由選擇的條件屬性變量及其樣本離散化值構造新的決策表，并對其約簡，得到推理規(guī)則集；由推理規(guī)則集建立神經網絡模型； 對神經網絡進行訓練； 若神經網絡擬合誤差滿足要求，則結束， 否則，增加n。必須指出，區(qū)間分劃n太小，會使得擬合不夠，n太大，即輸出空間分得太細，會導致過多的區(qū)域對應，使網絡結構過于復雜，影響泛化（預測）能力。

3 小波神經網絡模型

人工神經網絡模型存在的網絡結構及節(jié)點函數不易確定問題，結合小波分析優(yōu)良的數據擬合能力和神經網絡的自學習、自適應特性建模，即用非線性小波基取代通常的非線性S型函數。

設非線性時間序列變化函數f(t)∈L2(R)，定義其小波變換為：

Wf(a,b)==f(t)?漬()dt

（6）

式中，?漬ab(t)稱為由母小波?漬t（定義為滿足一定條件的平方可積函數?漬(t)∈L2(R)如Haar小波、Morlet小波、樣條小波等）生成的依賴于參數a、b的連續(xù)小波，也稱小波基。參數a的變化不僅改變小波基的頻譜結構，還改變其窗口的大小和形狀。對于函數f(t)，其局部結構的分辯可以通過調節(jié)參數a、b，即調節(jié)小波基窗口的大小和位置來實現。

用小波級數的有限項來逼近時序函數，即：

(t)=wk?漬()

（7）

式中(t)，為時間序列y(t)的預測值序列；wk,bk,ak分別為權重系數，小波基的平移因子和伸縮因子；L為小波基的個數。參數wk,bk,ak采用最小均方誤差能量函數優(yōu)化得到，L通過試算得到。

4 模糊神經網絡模型

模糊集合和模糊邏輯以人腦處理不精確信息的方法為基礎，而人工神經網絡是以大量簡單神經元的排列模擬人腦的生理結構。二者的融合既具有神經網絡強大的計算能力、容錯性和學習能力，又有對于不確定、不精確信息的處理能力，即同時具有底層的數據處理、學習能力和高層的推理、思考能力。

一種應用模糊理論的方法是把模糊聚類用來確定模糊系統(tǒng)的最優(yōu)規(guī)則數，從而確定模糊神經網絡的結構。這樣確定的網絡結構成為四層：第一層為直接輸入層；第二層為模糊化層，對輸入做模糊化處理；第三層為模糊推理層，對前層模糊結果做模糊推理；第四層為非模糊化層，可以采用重心非模糊化法，產生網絡輸出。該網絡采用動態(tài)處理法，增強了其處理能力，且適用性強、精度高。

5 結語

除上述幾種結合式神經網絡方法之外，人工神經網絡模型在算法設計方面一直在取得巨大的進步。神經網絡模型方法是一種先進的具有智能的非線性建模方法，其在自然科學、經濟現象、社會活動等方面的應用正在不斷深化，把神經網絡方法引入經濟活動的分析和預測中，并緊密聯系諸多先進的建模方法，是使工業(yè)經濟、商業(yè)經濟及其對經濟本質規(guī)律的研究等各項工作推向前進的重要理論武器。

參考文獻

第3篇：神經網絡特征重要性范文

關鍵詞： 金融風險；預警；模糊聚類；神經網絡

一、引言

2014年中央經濟工作會議明確提出要“高度重視財政金融領域存在的風險隱患，堅決守住不發(fā)生系統(tǒng)性和區(qū)域性金融風險的底線”。2008年國際金融危機爆發(fā)以來，世界各國應對金融危機的經驗表明，構建金融體系風險預警機制是必要且可行的。相對于整體金融風險而言，區(qū)域性金融風險具有更強的外部傳導性和可控性，且一般早于整體金融風險爆發(fā)，在某種程度上可被視為整體金融風險的預警信號，因此，作為金融監(jiān)管的有效補充，研究區(qū)域性金融風險早期預警體系并進行預警分析將對金融風險管控具有重要意義。

國外學者對于早期風險預警體系的研究較為系統(tǒng)和成熟，且已有一些金融監(jiān)管部門建立了早期預警模型，如美聯儲的SEER評級模型、美國聯邦存款保險公司的SCOR模型、法國銀行業(yè)委員會的預期損失模型、國際貨幣基金組織的宏觀審慎評估模型等。受國際金融危機的影響，近年來國內學者在早期金融風險預警和管理方面的研究也越來越多，但由于預警指標選擇、風險狀態(tài)劃分及臨界值選擇等均不盡相同，因此建立的預警模型也有所差異。本文通過借鑒國內外對金融風險預警指標體系的既有研究成果，綜合運用模糊聚類分析、BP神經網絡建模等計量分析方法，構建區(qū)域金融風險預警體系，以期對區(qū)域性金融風險的評估和防范提供客觀性依據。

二、總體分析框架及模型構建

本文構建的區(qū)域金融風險早期預警體系由三部分組成：首先結合安徽區(qū)域特點，構建包括經濟因素、財政因素、金融因素、房地產發(fā)展、企業(yè)經營狀況等的區(qū)域性金融風險指標體系；其次利用模糊聚類分析對研究樣本進行分類，確定BP神經網絡預警模型的分割點，為區(qū)域性金融風險水平的劃分提供一種新思路；最后采用人工神經網絡來預測未來金融危機發(fā)生的可能性。

（一）區(qū)域性金融風險指標體系

區(qū)域性金融風險指標選擇既要考慮金融風險因素的普遍性，更要體現區(qū)域經濟金融發(fā)展特點。指標選取原則：一是全面性，所選指標盡可能全面反映區(qū)域金融風險；二是可得性，所選數據要容易獲得，且期間口徑未作調整；三是匹配性，數據收集成本與模型預測的經濟實用性相匹配。

（二）風險評估的模糊聚類分析

在分析一個時間序列的區(qū)域金融風險時，我們可以把指標相似程度高的樣本聚集在一起，作為一個整體進行分析，以達到簡化的效果。傳統(tǒng)的聚類分析是一種“硬劃分”，即把每個待識別的對象嚴格劃分到某類中，具有“非此即彼”的性質，這種分類的類別界限也是分明的。然而，在大多數情況下，風險類別可能并沒有嚴格的界定，其類屬性方面存在中介性，適合進行“軟劃分”。模糊集理論為這種劃分提供了強有力且有效的分析工具，采用相應的模糊聚類模型，可以取得較好的分類效果?！澳：垲悺备拍钭钤缬蒖uspini提出，之后人們利用這一概念提出了多種模糊聚類算法。本文運用神經網絡來進行模糊聚類，其優(yōu)勢在于神經網絡的并行處理結構。

（三）基于人工神經網絡的早期預警體系

人工神經網絡ANN）是一種在生物神經網絡啟示下建立的數據處理模型，其具有強大的模式識別和數據擬合能力，最為可貴的是神經網絡還有自學習和自適應性。自適應性是指一個系統(tǒng)能夠改變自身的性能以適應環(huán)境變化的能力，當環(huán)境發(fā)生變化時，相當于給神經網絡輸入新的訓練樣本，網絡能夠自動調整結構參數，改變映射關系，從而對特定的輸入產生相應的期望輸出。人工神經網絡包括很多種，不同類型的神經網絡適用于解決不同的問題，其中最為常用的一種就是BP神經網絡，它是一種多層前向神經網絡，其權值調整采用反向傳播學習算法。而自組織競爭神經網絡則使用了與前向神經網絡完全不同的思路，采取競爭學習的思想，網絡的輸出神經元之間相互競爭，同一時刻只有一個輸出神經元獲勝，因此自組織神經網絡主要用于解決分類、聚類問題。鑒于此，本文在進行區(qū)域金融風險評估時，運用自組織競爭神經網絡進行模糊聚類分析，得出各樣本的風險類別；而在構建區(qū)域風險早期預警體系時，采用BP神經網絡進行分析和預測。

三、區(qū)域性金融風險早期預警的實證分析

（一）區(qū)域性金融風險監(jiān)測指標的選取與標準化

金融風險是一個綜合性、系統(tǒng)性的概念，單純選用個別指標不足以反映其真實水平。因此，根據客觀性、完備性、科學性、實用性、重要性原則，同時借鑒國內外研究成果，本文選取了經濟、財政、金融、房地產、企業(yè)經營等方面的17個金融風險評價指標，樣本區(qū)間為2009年至2014年一季度的安徽省季度數據，并根據指標與金融風險的正負相關性對其進行標準化。

第4篇：神經網絡特征重要性范文

摘要：目前世界超過5億人患有不同的腎臟疾病，但全社會對慢性腎臟病的知曉率尚不足10% ，腎病患者甚至一些非腎臟科的大夫對慢性腎臟病的危害缺乏足夠的了解，由于慢性腎臟病早期多沒有明顯癥狀，很容易被忽略，很多患者直到腎功能完全惡化導致尿毒癥時才去就醫(yī)。同時，針對不同慢性腎病的等級又有對應的不同治療方向。因此，對慢性腎病進行分級預警是一個影響非常深遠的課題。在進行慢性腎病分級的過程中，腎小球濾過率對慢性腎病分級起著基礎與指導的作用，因此我們必須著重解決一個重要的問題：腎小球濾過率的評估。

本文主要針對腎小球濾過率的預測進行設計。為了達到人工智能對慢性腎病進行分級的最終目的，本文將通過MATLAB軟件平臺對腎小球濾過率的評估進行仿真。接著對于在醫(yī)院收集好的數據進行篩選，最終選出一組具有較高參考意義的數據，對其使用適當的處理方法，并運用了BP神經網絡來構建合適的預測模型，對腎小球濾過率進行預測評估。在經過反復的網絡學習，測試后，最終確定一個誤差最少，精度最高，穩(wěn)定性最好的BP神經網絡評估模型。最后，根據訓練好的神經網絡對數據進行分級，從而最終構建出一個實用性良好的慢性腎病分級預警模型。

關鍵詞：慢性腎??；腎小球濾過率；BP神經網絡

一、前言

在眾多的神經網絡結構中，多層前饋神經網絡是目前應用最廣泛也是最成熟的一種網絡結構。Rumelhart，McClelland和他們的同事洞察到神經網絡信息處理的重要性，于1982年成立了一個PDP小組，在研究并行分布信息處理方法，探索人類認知的微結構的過程中，于1986年提出了BP網絡(Back．PropagationNetwork，簡稱BP網絡)模型，實現了Minsky的多層網絡設想[1]。在多層前饋神經網絡MFNN中，網絡權值的調整是通過著名的誤差反向傳播學習算法——BP算法來進行的。BP網絡具有非線性映射能力、泛化能力和容錯能力，同時BP網絡結構簡單，是在自動控制中是最有用的學習算法之一，也是慢性疾病分析的首選神經網絡[2-5]。因此，本文選取這種網絡結構作為慢性腎病分級預測的基礎，在后面將對它進行詳細論述。

二、基于BP神經網絡的慢性腎病分級預警模型設計框架

要設計出慢性腎病的分級預警模型，關鍵在于如何把慢性腎病進行分級[6-9]。我所采用的設計框架是基于MATLAB的BP神經網絡，把從醫(yī)院獲得的臨床數據進行篩選，并對網絡進行初始化設置，運用BP神經網絡對數據進行學習，根據不斷的誤差修正以及數據的測試，構建起腎小球濾過率的預測模型，根據腎小球濾過率的指標最終建立起符合實際的慢性腎病分級預警模型，如圖1所示。

圖1 慢性腎病預警模型設計框架

因此，本文的整個設計重點分為兩部分：第一部分為建立腎小球濾過率的預測模型，第二部分為建立基于人工智能的慢性腎病分級預警模型。

（一）BP神經網絡進行腎小球濾過率預測的原理

BP神經網絡是通過對以往歷史數據的學習，找出不同測量指標對腎小球濾過率的相應的非線性的變化關系，并將具體的資料存儲于相應的權值與閾值之中，從而對腎小球濾過率進行預測。

（二）基于BP神經網絡的腎小球濾過率預測模型

利用BP神經網絡對腎小球濾過率進行預測時，網絡的拓撲結構的設計、隱層節(jié)點個數的確定、樣本數據的選取以及對原始數據、輸出數據的預處理的確定等問題，都直接影響著我們所建立的腎小球濾過率預測模型的各項性能[10-12]。

1.網絡拓撲結構的設計。

由于網絡訓練樣本是有限的，因此把推廣能力作為主要的要求來操作的話，則強調選擇能達到要求的最小網絡[13]。許多理論都表明，一個三層網絡可以任意逼近一個非線性連續(xù)函數。由于這種三層網絡簡單、易于實現、計算量小、并行性強得眾多特點，目前仍然是多層式網絡訓練的首選網絡結構之一，并且已經被人們廣泛應用于解決實際的問題。因此，鑒于上述提及的論點，本文采取三層網絡建模進行對腎小球濾過率的預測。

相比起輸入輸出層節(jié)點的選擇，隱層節(jié)點數目的選擇可謂是一個較為復雜的問題，因為沒有很好的表達式來表示。隱層節(jié)點的數目與我所需要的輸入、輸出節(jié)點數目密切相關。隱層節(jié)點數目太小，則會導致學習過程不能收斂，或者導致網絡實用性不強，不能識別以前所沒有遇到過的樣本；但是如果隱層節(jié)點數目過多，雖然網絡映射能力會增強，局部極小點會越少，且越容易收斂到全局最小點，但會使學習時間加長，同時使得網絡訓練過度，這時網絡不但記住了訓練樣本的一般特征，而且記住了訓練樣本中的一些個別特征，包括隨機噪聲，這樣將會導致網絡的容錯性降低[14]。

確定一個最佳的隱層節(jié)點數的一個常用方法稱為試湊法，可先設置較少的隱層節(jié)點用以訓練網絡，隨后逐漸增加隱層節(jié)點數，用同一樣本進行訓練，從中確定出網絡誤差最少的時候對應的隱層節(jié)點數[15]。在使用試湊法的時候，可以用一些確定隱層節(jié)點數的經驗公式。這些公式計算出來的隱層節(jié)點數雖然只是一些粗略的估計值，但是可作為大致隱層節(jié)點數目的參考：

（3-1）

（3-2）

（3-3）

以上各式中m為隱層節(jié)點數，n為輸入層節(jié)點數，l為輸出層節(jié)點數，a為1-10之間的常數[16]。在本文中采取了式（3-1）來確定隱層節(jié)點數的大概范圍，然后將根據實驗結果反復修正具體的隱層結點個數。

對于BP網絡來說，為了節(jié)約訓練網絡的時間，可以采用部分連接的方式，使得在合理的時間內獲得比較好的精度。而本文將采用相鄰兩層節(jié)點全連接，而同一層的節(jié)點互不相連的連接方式構造BP神經網絡。

（三）腎小球濾過率預測模型的MATLAB實現。

在建立了腎小球濾過率的預測模型之后，就要開始使用MATLAB仿真軟件構件BP神經網絡，同時通過對網絡的不斷訓練，以求達到最好的腎小球濾過率的預測效果。

1.BP網絡的MATLAB實現。

MATLAB是一套功能強大的工程計算及數學分析的可視化軟件。1984年，Mathwork公司將MATLAB推向市場。90年代又逐步拓展起數值計算、符號解析運算、文字處理、圖形顯示等功能，至今，MATLAB已經成為線性代數、自動控制理論、概率論及數理統(tǒng)計、數字信號處理、時間序列分析、動態(tài)系統(tǒng)仿真等方面重要的數學計算工具[19]。它具有程序可讀性強、程序簡單等優(yōu)點，尤其是在編寫含矩陣運算的復雜程序時，能給用戶提供極大方便。

現在，神經網絡已經成為了解決一些問題的手段以及方法，但利用神經網絡來解決問題的時候，必定會設計到大規(guī)模的運算量，其中包括了矩陣計算的問題等，考慮到MATLAB的神經網絡工具箱的特殊功能，以及效率與準確性的問題，本文選擇了專門用于了MATLAB軟件進行仿真模擬。

（1）BP神經網絡的生成及初始化。

在MATLAB軟件中，我們采用newff函數來生成BP網絡，而newff函數的調用格式為：

（3-4）

其中PR為 維的矩陣，表示R維輸入矢量中每維輸入的最小值和最大值之間的范圍；因此，通常我們會設定 ，即設定PR為P的最小值和最大值之間的范圍； 中n表示BP神經網絡所具有的層數，而Sn則表示具體第幾層具有多少個神經元； 中各元素表示各層神經元采用的傳遞函數；BTF則表示神經網絡訓練時所用的訓練函數；net為生成的BP網絡對象。對于newff生成的BP神經網絡，網絡本身對各層的權值和閾值會自動進行初始化，如果用戶需要，則可以對各層網絡的權值和閾值的初始化函數重新定義。

（2）BP神經網絡的訓練。

在BP神經網絡生成及初始化后，就可以開始對網絡進行訓練了。BP神經網絡的訓練通常采用train函數來完成，在訓練之前需要對網絡的訓練參數net.trainparam進行適當的設置。當設置完訓練參數之后，就可以開始調用train函數對BP神經網絡進行訓練了。該函數采用自適應學習速率法，返回誤差參數。其調用格式如下：

（3-5）

其中P是輸入樣本；T是對應的輸出樣本；等號的左右兩側的net分別用于表示訓練得到的和訓練之前的神經網絡對象；tr存儲了訓練過程中的步數信息以及誤差信息，并給出了網絡誤差的實時變化曲線。

（3）BP神經網絡的仿真。

在MATLAB的應用中，我們選用sim函數對訓練之后所得到的網絡進行仿真，sim函數的調用格式如下：

（3-6）

其中，net為神經網絡對象，P為輸入樣本，Pi為輸入延遲的初始狀態(tài)，Ai為層延遲的初始狀態(tài)，T為輸出樣本，Y為網絡的實際輸出，Pf為訓練終止時的輸入延遲狀態(tài)，Af為訓練終止時的層延遲狀態(tài)，E為輸出樣本和實際輸出之間的誤差，pref為網絡性能值。

對于本文的sim函數調用，采取了如下調用格式進行簡化：

（3-7）

（4）BP神經網絡的保存。

在完成網絡的訓練后，必須要對訓練后的網絡進行保存，這樣才能在下次進行預測的時候沿用訓練過的網絡，在MATLAB中，保存網絡的調用格式如下：

（3-8）

以上即為腎小球濾過率預測模型的設計流程。

2.BP神經網絡進行腎小球濾過率預測的實現。

（1）數據樣本的選取。

為實現腎小球濾過率的預測模型，本文選取了廣州珠江醫(yī)院的327例慢性腎病病歷作為研究對象。

初始權值采取的是隨機數，輸入層到單隱層采用的傳遞函數為tansig函數，單隱層到輸出層采用的傳遞函數為logsig函數，訓練函數采用trainlm函數。同時，設置300個訓練網絡的樣本數據，誤差精度設置為E

BP神經網絡的訓練是網絡是否成功的一個非常重要的環(huán)節(jié)，網絡訓練的好壞直接影響到預測的準確性與穩(wěn)定性。因此，對網絡進行訓練和測試的時候，必須要反復修改設置參數，方能達到最佳效果。

在神經網絡訓練完成之后，需要用另外的測試數據來對網絡進行檢驗，而這些測試的數據應該要是獨立的數據。因此，學習與測試過程需要獨立開來，一旦BP網絡學習完成了，就必須要將權值保存下來，以供下次預測使用。

（四）仿真實驗及結果分析。

1.應用腎小球濾過率預測模型建立慢性腎病分級預警模型。

上述建立腎小球濾過率預測模型的目的，正是為了建立起慢性腎病的分級預警模型。在預測到腎小球濾過率的基礎上，運用數據，建立起對應的慢性腎病的分級模型。在表1中，根據歸納方法，列出了以上20組預測數據的預測分級情況與這20組數據實際的分級情況的對比。

表1 20組數據的預測分級與實際分級情況對比

序號 1 2 3 4 5 6

預測分級 5 3 2 4 5 1

實際分級 5 4 1 5 5 1

序號 7 8 9 10 11 12

預測分級 4 1 3 5 5 3

實際分級 3 1 3 5 4 3

序號 13 14 15 16 17 18

預測分級 1 3 3 2 4 3

實際分級 1 3 4 1 5 2

序號 19 20

預測分級 4 2

實際分級 5 2

從上表1可以看出，基于MATLAB的神經網絡對慢性腎病的分級有較好的準確性，能較好地對慢性腎病進行分級預警，因此，具有良好的推廣性以及實用性。

三、結論

本文的工作只是一種基礎性的、初步的工作，涉及到BP神經網絡的一些重要應用顯得還比較淺，因此，在今后的研究里面，還需要對其中的許多性能參數進行有效的修改，方能得到理想的結果。

在今后的研究中，對BP網絡的算法修改是一個非常大的課題，為了能使網絡的預測能力最大限度地根據實際情況達到目的，必須針對現有的數據資料，對使用的算法進行改良。同時，為了更有效，更準確地得到預測結果，需要對樣本的數量繼續(xù)加以增加，方能達到理想的目標。

因此，以BP神經網絡對醫(yī)學各個方向的預測是今后研究許多醫(yī)學問題的主要趨勢，是一個值得深入探討的重要課題。

參考文獻：

[1]程曉霞. 慢性腎病的幕后推手.疾病與營養(yǎng)。

[2]張春,鄧安國. 慢性腎臟病心血管并發(fā)癥的危險因素與防治.臨床內科雜志，2008 25（7）。

[3]陸漢魁.中華檢驗醫(yī)學雜志. 2007 3（11） P.1211-1212。

[4]葉解明.簡化估算腎小球濾過率模型算法的參考限及臨床特性.2010,25(4)。

[5]M．Kastra．Forecasting Combining with Neural Networks．Forecast，1996，15(1)：49—61。

[6]韓力群．人工神經網絡教程．北京：北京郵電大學出版社，2006。

[7]王萬森．人工智能原理及其應用．北京：電子工業(yè)出版社，2006．27-51。

[8]T．Kohonen．The selforganizing map．Proc IEEE，1990，(78)：1464～1480。

[9]D．E．Rumelhart,GE．Hinton，R．J．Williams．Learning Representations by Back．propagating Errors．Nature，1 986，323(9)：533-536。

[10]鐘義信．智能理論與技術——人工智能與神經網絡．北京：人民郵電出版社．1992：45--46。

[11]吳凌云．BP神經網絡學習算法的改進及其應用．信息技術，2003，27(7)：42—44。

[12]吳耿鋒等．股票短期預測的一種非線性方法．上海投資，1999：35、37。

[13]徐麗娜．神經網絡控制．哈爾濱：哈爾濱哈爾濱工業(yè)大學出版社，2006：241～256。

[14]師智斌，陳立潮，靳雁霞．基于神經網絡的股票交易數據的預測研究．華北工學院學報，2003，34(6)：12～16。

[15]尹念東．BP神經網絡的應用設計．信息技術，2003，27(6)：18～20。

[16]韓力群．人工神經網絡教程．北京：北京郵電大學出版社，2006：74～75。

[17]吳佑壽，趙明生．激活函數可調的神經元模型及其監(jiān)督學習與應用．中國科學E輯，2001，3l(3)：263。

第5篇：神經網絡特征重要性范文

【關鍵詞】計算機科學與技術 經濟管理 應用分析

1 計算機科學與技術在經濟管理中所體現的作用

在進行經濟管理工作的時候，需要對工作產生的巨大信息進行分析與處理，這些數據都是企業(yè)及事業(yè)單位的重要性資源，需要這些資源來做到對決策的分析。但是，對于經濟管理人員來說，如何對這些信息進行處理，使得這些資源能夠更好的對決策進行服務，是經濟管理人員需要不斷探討的問題，并且很多的研究人員在研究過程中提出了很多的方法來對數據進行處理，但是得到真正的應用的并不是很多，人們對于決策還是憑著自己感覺來進行。但還因為計算機技術的發(fā)展，使得人們在對這些數據進行處理的過程時，有著極大的便利，因為計算機可以有效的對大量的數據進行處理、分析，因此，計算機科學與技術為經濟管理人員在工作的過程中提供了很大的便利。

2 計算機科學與技術在經濟管理過程中的應用形式

2.1 運用人工神經網絡的形式來對信息進行分析

在動物界的神經傳遞過程中，兩個神經元之間會有一個突觸，來起到對信息之間的傳遞作用。在傳遞的過程中，會使用到一些神經遞質來進行傳播，這些神經遞質具有不同的種類，在對這些神經元進行接收的時候，在軸突上，會存在著許多的分支。神經遞質傳遞到受體細胞，然后再次的在神經元內對信息進行傳遞。這種信息的傳遞形式具有很多優(yōu)點，科研人員在受到這些啟示之后，就發(fā)明了具有自組織特征的映射算法來對信息做到有效的傳遞。

因為對于計算機技術的發(fā)展過程來說，其在對外界進行表達的時候，都是以數字向量的方式來進行的，而對于神經系統(tǒng)來說，其在信息的傳播過程中也是將信號進行轉變。所以使用計算機技術來對信息進行處理的時候，與神經信息傳遞之間有著很相似的地方。

2.2 這種人工神經網絡的信息處理方式具備的功能

對于這種人工神經網絡的信息處理方式，其是根據生物學中神經網絡的形式來研究出來的，所在對于這種人工神經網絡系統(tǒng)來說，其有很大一部分特點都是跟生物學的中神經系統(tǒng)是相似的，具備一些智能的功能。首先它所體現出來的一種特點是在記憶方面，因為它是根據生物神經模式來進行設計的，因此其在對信息進行儲存及分析過程中，會第一這些信息進行保留，并且還具備聯想記憶的功能。其次其具備的特點就是可以進行非線性映射。因為在很多的實現操作過程中，很多輸出的信息與輸入的信息之間并不能夠建立起一種線性的關系，使得很多熟悉的模型不能夠在其它信息處理系統(tǒng)中進行設計出來。但是使用人工神經網絡的設計方式，就使得在信息處理的過程中能夠做到滿足非線性映射，并且還可以在設計的過程中建立起很大的非線性的數學模型，并且各個領域中都可以得到應用。另外，在這種人工神經網絡的信息處理模式中，還可以對輸入的信息進行識別，并做到有效的分類，這對原來在信息處理過程中存在的信息不易分離與辨別的問題做到了有效的解決。最后一項具備的功能就是它可以對輸入與輸出的信息及知識內容進行一個有效的處理，因為人工神經網絡模式具備生物學中神經傳遞的特點，所以它可以在信息到達的時候，對其進行分析及處理，對于那些符合條件的信息加以利用，并進行儲存。這就使得在信息的處理過程中，能夠做到對數據根據其特征來進行分類與分析。

3 人工神經網絡的信息處理技術在經濟管理中的應用

計算機科學與技術發(fā)展過程中所帶來的這種神經網絡的信息處理模式，因為其具備的一些特征與功能，因此在眾多的領域中得到了有效的利用，解決了傳統(tǒng)信息處理過程中那些不能夠進行解決的問題，并且都取得了很好的效果。所以，目前這種信息的處理方式不僅在經濟管理過程中得以使用，還在醫(yī)學、工程技術及其它經濟領域中都得到廣泛的應用。

3.1 在信貸分析過程中需要對這種信息處理技術加以利用

對于信貸分析工作來說，信用評估機構是具備自己特征的，因此在信息處理過程中，因為這些企業(yè)所帶來的信息形式的不同，使得在對其信用度進行評判的過程中，帶來很大的問題，也很難對其進行判斷，使得很多時候都會帶來很多的經濟損失。但是對這種人工神經網絡信息的處理技術的使用，就會對所出現的問題做到有效的解決了。在對這些貸款企業(yè)進行信用評價的時候，只需要將信息轉化為編碼來輸入進去，就可以對數據進行分析，并且因為輸入的信息量比較大，使得在評價的過程中更做到具有更大的準確性。對這種技術的使用，不僅可以做到準確性，還可以避免操作人員的主觀思維形式。這是這些優(yōu)勢的存在，使得其在對企業(yè)風險進行分析的過程中得到很廣泛的應用。

3.2 使用這種方法可以對市場做到更準確的預測

在經濟管理過程中，需要對市場中出現的一些因素做到有效的分析，并做到對未來發(fā)展趨勢進行相關的預測，使得在決策的過程中，能夠起到參考的作用，使得風險得到降低。使用人工神經網絡的信息處理技術來對市場進行預測，使得對市場中變動的價格與走勢進行考量與分析，使得一個可靠的市場模型可以得到建立。例如在期貨市場上運用這種技術，可以對其未來價格進行預測。并且這種技術在股票市場中也有所應用。

四、結束語

隨著科學技術的發(fā)展以及電子計算機技術的日趨成熟，使得原本很復雜的工作在其處理之下都得到了很好的解決。在經濟管理過程中，其產生的大量數據，使用傳統(tǒng)的方式難以進行解決，但是使用計算機科學與技術，就可以模仿人對在神經傳遞中對信息的處理方式來進行處理，為其工作提供了很大的便利。

參考文獻

[1]李苗苗.論我國企業(yè)的經濟管理[J].現代經濟信息，2009.

[2]張信賓.高校計算機基礎教育的教學思路與方法研究[J].沿海企業(yè)與科技，2005.

第6篇：神經網絡特征重要性范文

關鍵詞：結構損傷檢測結構健康診斷/監(jiān)測 神經網絡 Bp網絡 概率神經網絡

中圖分類號：TU318 文獻標識碼：A

0引言

隨著土木工程事故的頻繁發(fā)生，工程質量的好壞引起了人們的日益重視。工程結構中存在著表面的某種破損或缺陷，這些事肉眼可見的。但建筑材料由于荷載和環(huán)境的作用而使結構內部受到不同程度的損傷，這類損傷與缺陷是人們肉眼看不到的。結構的缺陷與損傷嚴重地降低了結構的安全性、適用性和耐久性，因此迫切需要對它們進行健康診斷進而更好地對它們進行維修、加固、管理和使用。

50年來，我國土木工程結構的健康監(jiān)測經歷了從無到有、從單項到全面、從局部構件到整體結構的發(fā)展過程，特別是最近20多年，結構損傷檢測技術逐步形成了一門較為完整的新興邊緣綜合工程學科，并得到快速的發(fā)展，其應用對象已從開始階段的單層的破舊民居擴展到建設工程中的各類結構。結構健康診斷技術是保證結構安全的基本措施之一，它能對結構損傷的發(fā)展做出早期預報，對出現損傷的原因做出判斷，提出對策建議，避免或減少事故的發(fā)生。如今，土木工程結構的健康診斷與防治在國民經濟建設中所占的比重越來越高，相應的技術研究和應用開發(fā)也成為一個重要方向，各國土木工程領域的研究開發(fā)重點已逐步轉向這一領域，我國的科技工作者與工程領域也開始廣泛關注這方面的研究。結構健康監(jiān)測的發(fā)展與應用對于提高建設工程的質量起到了積極的作用，在節(jié)省國家與企業(yè)的資金、保障企業(yè)生產安全和人民生命財產的安全方面也起到了一定的作用，因此對結構損傷檢測方法的研究是有一定的現實意義的。

1.結構損傷檢測[1]

土木工程結構的健康監(jiān)測和損傷檢測技術是一門新興的科學技術，目前正處于蓬勃的發(fā)展之中。雖然這種技術已被廣泛應用于航空、航天精密機械等領域之中，但是在土木工程領域的研究還處于起步階段，絕大多數研究還僅僅局限于實驗階段。雖然國內外已有一些橋梁、建筑已經開始現場監(jiān)測工作，但是整個研究工作和技術的成熟還有待時日。

對結構進行損傷（或故障）檢測、診斷與評估師一個運用數學模型建立并描述物理系統(tǒng)的過程，對于遭受不同程度破壞的結構，其本身的某些特性往往發(fā)生變化。為了鑒定這些變化對結構的影響程度，常進行一系列的模擬實驗，測定相關的荷載、位移、應變及加速度等，從材料性能如強度、剛度和動力特征（如振動頻率和阻尼比）方面對結構做出評估。

理想的結構健康監(jiān)測與損傷識別技術應能在結構損傷出現的較早時期發(fā)現損傷，在傳感器精度允許的情況下確定損傷的位置，估計損傷的程度，并預測出結構的剩余有效壽命。理想的損傷識別方法應該具備的另一重要性能是，能夠分區(qū)分結構建模誤差引起的偏差與結構損傷引起的偏差間的區(qū)別。盡管近幾年出現了一些運用較為成功的整體監(jiān)測/檢測技術，但對于如何從量測得到的信息來解釋結構的安全狀態(tài)及損傷情況，卻遠未建立起完善的科學理論，對復雜結構的整體檢測仍然是土木工程領域面臨的一大挑戰(zhàn)。

結構健康監(jiān)測系統(tǒng)應包括下列幾部分：傳感系統(tǒng)、數據采集和處理系統(tǒng)、通訊系統(tǒng)、監(jiān)控中心和報警設備。

2. 結構損傷檢測方法[2]-【4】

結構損傷檢測的分類方法有許多，從結構承受的荷載來分，結構檢測方法分為靜力檢測方法和動力檢測方法；從損傷方法對結構是否產生損壞，結構檢測方法可以分為有損檢測和無損檢測；從檢測方法的智能化程度來分，分為傳統(tǒng)損傷檢測方法和基于計算智能損傷檢測方法。

（1）動力損傷檢測方法分類

由于動力損傷檢測方法對結構物無損害，且檢測經濟、快速而得到了土木工程界的青睞和重視。一般來說，動力損傷檢測方法按照識別區(qū)域可以分為時域法和頻域法；從研究和應用的角度可以分為模型修正法和指紋分析法。

（2）其他無損檢測方法

除動力損傷檢測法之外，還有許多無損傷檢測法，如目測法、光譜法（Optical Radiography）、超聲波法、聲發(fā)射法、雷達法、激光全息檢測法、我留法（Eddy Current）、微波法、熱力法等。

（3）智能檢測方法

九十年代初，隨著微型計算機的發(fā)展和廣泛應用，計算智能（在20世紀90年代中期被提出）在損傷檢測領域逐漸得到了廣大研究人員的重視。計算智能在損傷檢測領域的研究方向主要有專家系統(tǒng)、神經網絡、模糊理論、遺傳算法等。本文主要介紹神經網絡及其在損傷檢測中的應用。

3. 神經網絡在損傷檢測中的應用[3] [4]

神經網絡應用于結構損傷檢測中去是近些年來十分活躍的應用領域之一。由于神經網絡資深所具有的功能和其信息處理的特點，在滿足結構損傷識別算法所要求的實時性、及時性和穩(wěn)健性等方面，比基于模型的各種方法、傳統(tǒng)的模式識別方法和專家系統(tǒng)方法等傳統(tǒng)方法悠著更明顯的優(yōu)勢，而且，同其它方法相比，在先驗信息需求方面更寬松，自適應和可學習能力更強。目前，神經網絡損傷識別方法已在結構損傷檢測方面的研究越來越深入。

人工神經網絡（Artificial Neural Network簡稱ANN）是在現代神經生理學和心理學的研究基礎上，模仿人的大腦神經元結構特性而建立的一種非線性動力學網絡系統(tǒng)，它由大量的簡單的非線性處理單元（類似的神經元）高度并聯、互聯而成，具有對人腦某些基本特性的簡單的數學模仿能力。人工神經網絡最大的特點是適應性，它通過自身的學習機制自動形成所要求的決策區(qū)域。

根據生物神經元的結果、作用機制，并作進一步的簡化，構成了神經元模型，即人工神經元。神經元模型至今已發(fā)展有很多種，常見的模型有：

BP網絡模型

反向傳播網絡（Back-Propagation Network，簡稱BP網絡）是將W-H學習規(guī)則一般化，對非線性可微分函數進行權值訓練的多層網絡。在人工神經網絡的實際應用中，80%~90%的人工神經網絡模型是采用BP網絡或它的變化形式，它也是前向網絡的核心部分，體現了人工神經網絡最精華的部分。

概率神經網絡（PNN）

PNN就是將貝葉斯估計放置于一個前饋神經網絡中，其實質就是一個分類器，它根據概率密度函數的無參估計來進行貝葉斯決策而得到分類結果。

模糊神經網絡（FNN）

模糊邏輯與神經網絡是當前備受關注的兩項信息處理技術，都是屬于不需要用公式數學模型的信息處理方法，都可以從數據中提煉系統(tǒng)的輸入輸出之間的規(guī)律。將神經網絡與模糊邏輯技術有機地融合在一起來發(fā)揮互補優(yōu)勢，模糊神經網絡隨之產生。

以上是幾種常見的網絡模型，其中最為廣泛應用的是BP網絡，另外還回歸BP網絡、Boltzmann機網絡等網絡模型。

4. 結論與展望

結構健康診斷技術由于其廣泛的應用潛力近年來引起了極大的關注，它不僅在所有的智能材料與結構的國際研討會上提出，并且已經成為一個專門的研究課題。在國際上開展的各個關于結構健康監(jiān)測的專題研討會上集中討論和總結了國際結構損傷檢測領域的研究成果，提出了需要進一步研究和亟待解決的問題，極大地推動了結構健康監(jiān)測技術的發(fā)展。

需要進一步研究的問題有：（1）新型傳感器和激振器的發(fā)展；（2）損傷識別和整體特征描述與評價；（3）系統(tǒng)整體性的研究；（4）結構損傷檢測技術在民用結構、橋梁、高速公路系統(tǒng)、大型高層建筑、電廠結構中的進一步應用。

李國強,李杰.工程結構動力檢測理論與應用[M].北京:科學出版社,2002.

姜紹飛.基于神經網絡的結構優(yōu)化與損傷檢測[M].北京:科學出版社,2002.

第7篇：神經網絡特征重要性范文

關鍵詞：網絡安全；評價方式；應用；探討

中圖分類號：TP393文獻標識碼：A文章編號：1007-9599 (2012) 03-0000-02

The Study of Comprehensive Evaluation of Network Security

Sui Zhenyou1,Tong Lu2

(1.Institute of Adult Education,Inner Mongolia University for Nationalities,Tongliao028043,China;2. Xingan Vocational and Technical College,Xinganmeng137400,China)

Abstract:Network security is a complex project,this is closely related to computer networks,information security issues more and more people's attention,therefore,to develop an effective and scientific network security policy is to ensure that the network information security protection,which requires network security risk assessment,development of a comprehensive evaluation of effective network security is also particularly important.Start of network security evaluation and comprehensive evaluation of the three types of network security are discussed from two aspects of the evaluation principles and evaluation model for comparison and reference.

Keywords:Network security;Evaluation methods;Application;Explore

一、引言

當今計算機網絡技術迅猛發(fā)展，與此同時其網絡安全問題也日益凸顯，也成為計算機網絡技術發(fā)展所需要解決的迫切問題[1]。因此需要對網絡的安全狀況進行合理和有效的評價，以幫助用戶全面掌握網絡安全狀態(tài)，及時采取必要的防范措施，以確保網絡的安全。目前在對網絡安全的評價方法上，主要依靠查找系統(tǒng)的安全漏洞或者薄弱環(huán)節(jié)，進而對系統(tǒng)的安全性能進行測試評估。然而，計算機網絡安全所涉及的領域太廣，需要運用系統(tǒng)工程的思想方法才能對網絡的安全狀況做好有效的評估和得到準確的評價結果。我國在計算機網絡安全的評價理論和方法研究上，雖有些學者對其進行了研究，但是研究成果還比較分散，仍未形成系統(tǒng)和科學的體系。對此，針對網絡安全綜合評價方式的研究現狀，有必要對其進行梳理，為促進其深入研究提供參考。

二、三種網絡安全綜合評價方式探討

網絡安全綜合評價具體包括了三個方面的內容，一是建立評價指標體系，二是需對評價指標實施標準化的處理，三是采用合適的評價方法。其中，評價指標選取的合適與否對綜合評價有著基礎性的影響，因此在對其的選取上務必要合理和科學。由于網絡安全評價屬于復雜工程，采用以往的定性或者定量方式都難以取得理想的評價效果，因此必須要尋找更為科學和有效的網絡安全綜合評價方式。

（一）基于層次分析法的網絡安全綜合評價方式

原理：層次分析法可以在對網絡安全綜合評價時把定性分析和定量分析結合起來，它的原理是：首先是對問題進行層次化分解，在該過程中對系統(tǒng)對象進行抽象化，轉化為一個層次化、有序化的結構模型；其次是對同屬層次中的評價指標進行互相比較，創(chuàng)建判斷矩陣，產生評價指標相對權重；最后是計算每層指標的組合權重，獲得各個指標相對于總指標的權重比較值，并進行排序，作為決策的依據。層次分析法可以把專家知識和人的主觀判斷結合起來，用數量形式進行表達和處理，將研究對象看作一個有機聯系的整體，因而可以對系統(tǒng)進行有效的分析[2]。并且，采用層次分析法對網絡安全進行評價，對影響網絡安全的各種因素都可以充分考慮，有利于準確評價網絡安全的風險狀況。

模型：在用層次分析法構建網絡安全綜合評價模型前，很有必要了解與之相關的網絡安全評價指標體系，以利于保障信息的完整性、可用性和保密性。目前在對網絡安全進行安全評價的過程當中，還沒有有效的指標體系建立方法，現在應用比較多的是德爾菲法，因其結合了不少專家經驗和主觀判斷，可在概率上對很多不能進行定量分析的因素做出估算，并把評估報告報給評估專家，從而可利用信息控制及反饋來使評價意見收斂，最終得到一個協調的結果。采用層次分析法建立網絡安全綜合評價模型可以分為四個步驟，首先是要建立起網絡安全的層次結構模型；其次是要建立起判斷矩陣，再次是要計算指標權重，最后是要進行一次性檢驗。通常，可把網絡安全的綜合評價指標的層次結構模型分為三層，把網絡安全定義為目標層，將管理安全、數據安全、環(huán)境安全及軟硬件安全定義為規(guī)則層，把組織體系、制度管理、入侵檢測、數據加密和數據備份等定義為措施層。判斷矩陣是由專家知識對各層次的評價指標與上一層次的功能模型相對重要性進行互相比較，從而形成的一個數據矩陣。在對指標權重的確定上，需要按照一定的順序進行，步驟如下：以專家經驗為依據，對準則層相對于安全目標層的指標權重進行判斷，確定其最大特征值和特征向量，再進行歸一化處理，從而取得相應的權重系數；同理，可以計算確定措施層相對于準則層的每項指標權重系數；最后把上面兩次計算出來的指標權重相乘，得到合成的權重，以表示措施層相對于安全目標層的合成權重。由于專家在各指標重要性的判斷上存在差異，因此，還很有必要根據相應的判斷矩陣一致性指標公式對判斷矩陣實施一致性檢驗，以檢驗其一致性程度。

（二）基于模糊評價法的網絡安全評價方式

原理：基于模糊評價法的網絡安全評價方式是一種將定性分析和定量分析結合起來，綜合化程度高的網絡安全評價方式。所謂模糊綜合評價法屬于一種應用模糊數學的綜合評價方法，其依據模糊數學中的隸屬度理論將定性評價轉變?yōu)槎吭u價，由模糊數學對受因素制約的對象作出總體評價，不但結果清晰和系統(tǒng)性強，而且可以有效解決一些模糊及難數量化的問題，因而在解決多種非確定性問題上具有很明顯的優(yōu)勢[3]。

模型：建立網絡安全的評價模型，需要做到以下幾點：一是注意評估要素。網絡安全的風險是由于各種外部的威脅因素通過其漏洞對資產價值造成破壞，其值是資產價值、網絡脆弱等級和網絡威脅評估等級的函數。二是資產評估。通過資產評估，可以提供重要資產價值評估和確定漏洞掃描器分布等。三是威脅評估，其主要包括評估各種類型資產薄弱環(huán)節(jié)、可能的威脅類型、各種攻擊代價等。四是評估方法。評估方法是采用模糊數學的概念和方法，以便于得到簡單易用的評估結果。采用模糊方法對網絡安全進行安全評價時，首先要確定好隸屬度函數，按照某一標準對包含所有評判因子在內的因素集合進行分組，一般把性質相近的因素放到一起。其次是建立好關系模糊矩陣，設置每個單項指標集合和風險級別集合，并對每個單項指標進行評價，由各自相關的隸屬度函數來求出每個單項指標相對于風險級別的隸屬度，從而得到關系模糊矩陣。同時，還需要根據相關條件來確定權重模糊矩陣。最后是根據權重模糊矩陣與關系模糊矩陣來確定模糊綜合評價模型，通過把兩個模糊矩陣相乘，所得的矩陣即是模糊綜合評價模型。

（三）基于BP神經網絡的網絡安全評價方式

原理：BP神經網絡是當前應用最為廣泛的神經網絡模型之一，最早由1986年的一個科學家小組提出，屬于一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毝玫亩鄬忧梆伨W絡。BP網絡可以學習和貯存大量輸入到輸出模式的映射關系，不需先揭示描述該映射關系的數學方程。它通過使用最速下降法作為學習規(guī)則，由反向傳播不斷調整網絡權值和閥值，從而可使網絡的誤差平方和取到最小。

模型：BP神經網絡一般由輸入層、隱含層及輸出層構成?？梢杂肂P神經網絡來逼近在任意區(qū)間內的連續(xù)函數，實現相關的從輸入到輸出的映射關系。BP神經網絡的模型在計算時采用梯度搜索技術，計算時，輸入信號從輸入層進入，再經隱含層單元的逐層處理，傳到輸出層，上層神經元僅影響下層神經元的狀態(tài)。若輸出層未能得到期望的輸出，會轉到反向傳播，把輸出信號誤差按原連接通路返回，修改每層神經元的權重，使誤差最小[4]。

基本評價步驟：首先是對網絡初始狀態(tài)進行初始化，主要是對相關的連接權值和閥值賦予-1到1之間的隨機數；接著把第一個輸入樣本對輸入；接著計算中間每層神經元的相應輸入值和輸出值；接著計算相關的連接到輸出層單元和中間層單元的權限誤差，接著對相關連接權值和閥值進行更新；再接著輸入下一學習樣本對，到全部模式對訓練完畢，再開始新一輪的學習訓練，直到滿足相應的結束條件。

在網絡安全評價中的應用。由于BP網絡具有出色的非線性處理能力，可以有效解決在信息模糊、矛盾頻雜等復雜環(huán)境下的判斷和認知問題，在網絡安全的評價當中也有廣泛的應用。例如，有學者用BP網絡對投資風險進行了評估研究，取得了良好的成果；有學者在電力系統(tǒng)中運用BP神經網絡進行安全評估；也有學者將BP神經網絡對地震災害進行了評估。又如，有國外學者將BP神經網絡應用于橋梁系統(tǒng)的性能評價當中，證明了其在方案評價中的潛力和效率；國內也有學者把BP神經網絡應用于信息管理系統(tǒng)的綜合評價和多目標綜合評價當中，取得了不少研究成果。

三、結語

網絡安全保障體系的建設將是一個長期和復雜的系統(tǒng)工程，不僅需要加強技術支撐和制度管理，還需要運用科學有效的網絡安全綜合評價方式對安全風險進行評估，根據安全評估報告采取相應的安全措施，從而使安全風險在可控的范圍內。本文主要從原理和模型方面比較具體地探討和梳理了層次分析法、模糊評價法和BP神經網絡在網絡安全綜合評價中的應用情況，結果表明這三種方法在對網絡安全綜合評價中的應用可以使評價結果更加客觀和準確。

參考文獻：

[1]許福永,神劍,李劍英.網絡安全綜合評價方法的研究及應用[J].計算機工程與設計,2006,27(8):1398-1400

[2]李健宏,李廣振.網絡安全綜合評價方法的應用研究[J].計算機仿真,2011,28(7):165-168

第8篇：神經網絡特征重要性范文

 

 

本 科 生 畢 業(yè) 論 文（設計）

 

本 科 生 畢 業(yè) 論 文（設計）

題目 陣列化的非晶體納米硅神經突觸器件制備與數值模擬        

 

 

姓名與學號     鄭浩 315104964    

指導教師        皮孝東          

合作導師                        

年級與專業(yè)  2015級 材料科學工程  

所在學院        材料科學工程        

 

提交日期                          

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

 

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

 

Submitted by

Hao Zheng

 

Supervised by

Prof. XiaoDong Pi

 

 

School of Materials Science and Engineering

 Laboratory of Silicon Materials, Zhejiang University, Hangzhou

 People’s Republic of China

May, 20th, 2019

 

 

浙江大學本科生畢業(yè)論文（設計）承諾書

1.本人鄭重地承諾所呈交的畢業(yè)論文（設計），是在指導教師的指導下嚴格按照學校和學院有關規(guī)定完成的。

2.本人在畢業(yè)論文（設計）中除了文別加以標注和致謝的地方外，論文中不包含其他人已經發(fā)表或撰寫過的研究成果，也不包含為獲得 浙江大學 或其他教育機構的學位或證書而使用過的材料。

3.與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示謝意。

4. 本人承諾在畢業(yè)論文（設計）選題和研究內容過程中沒有偽造相關數據等行為。

5. 在畢業(yè)論文（設計）中對侵犯任何方面知識產權的行為，由本人承擔相應的法律責任。

6.本人完全了解 浙江大學 有權保留并向有關部門或機構送交本論文（設計）的復印件和磁盤，允許本論文（設計）被查閱和借閱。本人授權 浙江大學 可以將本論文（設計）的全部或部分內容編入有關數據庫進行檢索和傳播，可以采用影印、縮印或掃描等復制手段保存、匯編本論文（設計）。

 

 

作者簽名：                         導師簽名：

 

簽字日期：     年   月   日      簽字日期：      年   月   日

 

 

 

致  謝

致謝內容。（仿宋字體或Times New Roman，小四號，兩端對齊，首行縮進兩個漢字符位，段前0磅，段后0磅，固定行距20磅。）

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

 

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

致謝內容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

摘  要

信息時代的來臨，人類在處理大數據與多信息的任務面前面臨著很大的挑戰(zhàn)，傳統(tǒng)的馮-諾依曼式計算機思想在處理這些問題時出現了本質上的不足，因此神經網絡的應用于硬件化變得十分迫切。隨著憶阻器的發(fā)現，類腦計算的實際應用變得可能。本文從硬件神經網絡的興起出發(fā)，闡述了硬件神經網絡的研究現狀與實現途徑，之后引入了生物神經元的特征，闡述了以往關于人類神經元建立的數學模型。之后本文提出了一種陣列化硅納米晶體神經突觸器件的制備方法與過程，并且在基于這樣的器件上，得到相應的LTP與STDP數據，將這些數據分別用于探究：神經元激活函數數值模擬，有監(jiān)督脈沖神經網絡之tempotron算法數值模擬與STDP無監(jiān)督學習網絡數值模擬，在得到結果的基礎上，提出了硬件化神經網絡所需要的器件的基本性質與要求。為未來的硬件化目標提出了可行性與基本方向。

關鍵詞：硬件神經網絡；神經元；神經突觸器件；激活函數；Tempotron算法；STDP；無監(jiān)督學習

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information. The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent. The discovery of memristors made it possible for the practical application of brain-like calculations. Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment. After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared. Nervous function behaviors, e.g. LTP and STDP, have been obtained based on this device. These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network. Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed. The feasibility and basic direction for future hardware goals are proposed.

Keywords: Hardware neuron network; neurons; Synaptic device; activation function; Tempotron algorithm; STDP; unsupervised learning;

目  次

第一部分  畢業(yè)論文（設計）

A DiSubmitted to Zhejiang University for

I

III

V

VII

IX

第一章 緒論

1.1.1 硬件神經網絡的興起

1.1.2 硬件神經網絡的實現

1.3.1 生物神經元介紹

1.3.2 人工神經元介紹

1.3.3 人工神經網絡介紹

1.3.4 脈沖神經網絡介紹

3.1.1 神經網絡結構

3.1.2 神經元硬件化結論

3.2.1 脈沖編碼

3.2.2 權值更新

3.2.3 數值模擬結果

3.2.4 LTP權值改變法

3.2.5 STDP權值改變法

3.2.6 結論

3.3.1 理論背景與基礎

3.3.2 網絡設計

3.3.3 模擬結果

作者簡歷

攻讀學位期間發(fā)表的學術論文與取得的其他研究成果

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第一部分

 

畢業(yè)論文（設計）

第一章  緒論

11.1  硬件神經網絡1.1.1  硬件神經網絡的興起

21世紀進入信息時代后，計算機的普及率大大上升，計算機本身也在計算力與邏輯處理上遠遠超過了人腦，然而不足的是，在數據的存取與記憶上，仍然是采用馮-洛伊曼式的串行方法，且功耗很大，而人類大腦擁有10^11 個神經元和10^15神經突觸。這使得人類處理信息的方式是高效的并行方式，并且功耗很低。例如人類大腦看到一種東西，識別它的過程往往使視覺神經信號與記憶信號同時作用的結果，功耗在fj量級。在使得馮-洛伊曼式計算機處理復雜指令與控制上體現出了根本性的缺陷?；谶@一點，神經網絡的研究開始興起，在1943年，McCulloch 和 Pitts 提出了神經元的形式化模型后, 有關于神經網絡的討論也逐漸火熱起來，但其發(fā)展的中途受到很多科學家對其的質疑[19]。直到 1980年左右, Rumelhert 與他的研究伙伴[20]一起發(fā)表了著名的并行分布式處理( Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神經網絡，從數學上的形式，證明了這種算法的可行性，BP神經網絡是一種前饋式的誤差逆向傳播網絡，通過訓練集不斷縮小輸出值與目標值的差值從而達到非線性優(yōu)化的目的。由此，神經網絡的數學原理得到證明，其實在1970年神經網絡存在一段低落期，也受到了很多懷疑。但是BP神經網絡的興起與提出，讓科學們對于神經網絡的態(tài)度再次火熱起來。21世紀隨著深度學習的提出，又掀起了一股關于人工智能的熱潮，Deep learning 是在多層感知機的基礎上，不斷增加隱含層的層數，這上面又出現了一些數學上的問題比如激活函數的梯度彌散問題，但是由于Relu激活函數替代sigmod函數的提出，這些問題逐步得到了解決，深度學習向前發(fā)展了一大步。比如IBM的“深藍”擊敗世界圍棋選手李智石等，但是實際上，“深藍”在擊敗李智石時消耗的電量等于一桶油的燃燒的焦耳值，但是李智石僅僅使用了兩個饅頭的熱量戰(zhàn)斗。也就是說，這場比賽其實并不公平。其實這反應的是人工智能的工作效率與真正人腦的學習效率仍然有很大的差距。神經網絡本質是由多個簡單的信號處理單元組成，這些簡單的信號單元之間由一種方式連接形成網絡，它意在模仿人類大腦處理信息的模式，從而實現圖像識別，音像識別，特征提取和記憶等功能?，F在計算機能夠從軟件上對神經網絡進行實現，然而關于數據的存取方式仍然無法得到突破，數據的存取方式仍然是老式馮-諾依曼式的串行處理方式。但是人類識別圖像，獲得信息是并行的。因此硬件神經網絡的開發(fā)是必要的，硬件神經網絡能夠使用集成電路實現并行處理信息，并且能耗低，效率高，能夠更貼近人類大腦的工作方式。因此硬件神經網絡的開發(fā)受到很多的關注與研究，未來人工智能和類腦計算的發(fā)展前景中，硬件神經網絡的研究是必須的。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T09:23:00'w

NOTE: '這部分放到前言部分比較好，或者干脆就不要了，放在這里是不合適的。']本文的第一章即緒論，主要是闡述當前關于硬件化神經網絡的突破，現狀與發(fā)展形勢。

第二章主要從人類的神經元開始，講述人類生物神經元的特點，講述現在人工神經元的數學模型，以及硬件化神經元需要的要求與方式

第三章主要講述制備實驗器件的技術路線，與制備的過程和使用的材料

第四章從數值模擬的角度，探究神經元硬件化的條件是怎么樣的，數值模擬選取MNIST數據集作為樣本數據集，通過使用實驗得到的激活函數替論激活函數，觀察網絡的準確率，得出相關結論，探究硬件需要滿足的條件

第五章從數值模擬的角度，探究突觸硬件需要滿足的條件，突觸與神經元不同，它是作為神經網絡中存儲權值，改變權值的存在，與神經元有本質上的區(qū)別，數值模擬采用26個英文字母的圖片作為數據集，進行編碼后發(fā)送脈沖，使用Tempotron 的有監(jiān)督脈沖神經網絡進行數值模擬，通過實驗硬件得到的LTP與LTD圖像進行權值更新。得到預測率的圖像，證明了LTP的電或者光電器件能夠作為脈沖神經網絡硬件化的一個器件，為未來做出相關硬件網絡道出了一種可行性。

第六章主要是針對STDP的學習機制擴大網絡規(guī)模，將數據集擴展到MNIST手寫數據集，使用STDP無監(jiān)督學習網絡[16]對數據進行訓練，之后再對訓練好的神經元進行分類。得到我們想要的結果。

第七章主要是總結本文的工作得到的結論，以及對于未來硬件神經網絡的發(fā)展的一些展望與看法

 

 

1.1.2  硬件神經網絡的實現

一般硬件神經網絡的實現方式有三種，即采用電子學方法——依靠微電子技術實現人工神經網絡, 采用光電方法——依靠半導體光電集成技術實現人工神經網絡, 采用光學方法實現人工神經網絡[18]。微電子技術應該是通過各種電路設計，例如放大電路，差分電路等集成電路，實現神經網絡的reference部分。依靠光電實現的硬件神經網絡是本文的重點，利用電學元器件，憶阻器器件，或者是光電器件，模擬生物神經元的膜電位變化曲線，與人類大腦的權重學習規(guī)則，從而實現神經網絡的硬件化。采用光學的方法實現網絡計算的方法十分有趣，UCLA大學的研究小組發(fā)明了一種全光的深層神經網絡，通過光的反射與折射傳遞信號，利用光入射的相位差記錄權值變化，實現了全光的神經網絡，而且由于光的傳播速度是光速，在整個網絡的效率與速度上都十分驚人，能耗也十分低[21]。神經網絡的電子學硬件實現方法主要有四種，其中分別是數字實現、模擬實現、混合數/模實現和脈沖技術實現等[18]。通過數字實現的神經網絡一般精度很高[1,2]，權值易存儲也容易改變，并且能夠通過電路實現并行處理，克服傳統(tǒng)計算機串行處理數據的弊病，但是缺點是電路難以集成，體積很大，很難適用于計算機新型芯片這種地方。通過模擬實現的神經網絡能夠很好克服上面的缺點[3,4,5]，但是由于突觸和神經元器件對參數敏感，準確度下降，更關鍵是對于權值的存儲存在困難。1987年是一個轉機，即脈沖技術第一次用于了神經網絡，使用VLSI技術作為實現，從這以后，神經網絡的脈沖技術受到了很多關注[9,12]。

脈沖技術，簡單來說就是將神經元的興奮或者抑制狀態(tài)通過一定的編碼方式轉化到脈沖的波形上，編碼的方法一般有高斯編碼，或者可以自定義的編碼方式。由于脈沖化的信號是離散的，因此一定程度上可以簡化運算電路：例如突觸電路。神經元與一般的電路元件不同，它本身的密度很高，正如人類神經元的密度很高一樣。這種緊密的排列方式使得脈沖信號把芯片和外圍設備的接口變得更容易連接。本文正是利用從脈沖神經網絡出發(fā)，制備出硬件化的元件，通過數值模擬硬件的實際可行性，并且對于未來硬件化神經網絡的方向提出一些看法

21.2  硬件神經網絡研究進展當前的人工神經網絡存在三種模式，第一種是非學習型神經網絡，即網絡的前饋過程與權值計算過程全部由軟件進行實現，權值是固定不變的，只用神經網絡的電路結構完成之后，再與實際電路結構匹配即可。另外一種是on-chip的模式，即前饋過程通過微電子電路進行實現，權值的更新與計算通過計算機實現。還有一種off-chip模式，即是一種全自動的自主性芯片，從神經網絡的前饋環(huán)節(jié)到神經網絡的BP算法實現都一并完成。目前的研究狀況，我們已經能夠熟練通過電路的設計實現非學習神經網絡。在on-chip式的人工神經網絡上，我們也能通過一定的模擬方式得到實現?，F在的當務之急是開發(fā)off-chip式的神經網絡，使用硬件對權值的存儲與改進是必要的。自從20世紀60年代后期引入憶阻器概念以來，由于其簡單性和功能相似性，它們被認為是模擬突觸裝置的最有希望的候選者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，開拓了RRAM和憶阻器之間聯系，做出了一定的應用之后以非易失性存儲器件和神經突觸晶體管為代表開始成為神經突觸器件的基礎。但將這些器件用于第二代神經網絡（也就是多層感知機）上，取得了一定的成就，現在關于這方法的也在如火如荼的進行著，但是由于第二代神經網絡的基礎仍然是基于計算機的算力達到的深度，也就是說，加深隱含層的數目提高準確度，知識因為有著強大的計算芯片作為支持。我們需要考慮一種完全類似于人腦思考問題的神經網絡與算法，于是脈沖神經網絡開始興起，并且被譽為第三代神經網絡，這是一種完全基于人腦計算模式的神經網絡，從長程記憶可塑性LTP，時間可塑依賴性STDP等研究的深入，這一網絡的硬件化也成為了可能

31.3  從生物神經元到人工神經網絡1.3.1 生物神經元介紹

人的大腦中有超過 1011個神經元，這些神經元之間的連接的突觸又大約有10^15個，這些突觸使得神經元互相連接，從而構成了復雜多變而又有條不紊的神經網絡[7]。這些神經元的單獨處理信息的速度并不算很快，但是人類的大腦能夠很有效的利用這些神經元并行處理。即大量神經元一起處理一個任務，這有些類似于計算機里的多線程并行操作算法。人類大腦的神經元數目雖然龐大，但是它的能耗低卻是特點，我們每日攝入的熱量與一些機器的能源是不能夠比擬的，然而我們的大腦就能夠實現很多計算功能，有數據顯示，腦神經系統(tǒng)一個動作每秒消耗的能量比最優(yōu)秀的處理器能耗小1010個數量級。

人的生物神經元有兩個部分，分別是細胞體和突起。具有處理并且整合輸入的神經信號，然后傳出這些信息的作用。突起有樹突和軸突兩種。樹突相對較短但分枝很多，其作用是接受其他神經元軸突傳來的沖動并傳給細胞體。軸突長而分枝少，常常出現在軸丘，一般為粗細均勻的細長突起，其作用是接受外來刺激，再由細胞體傳出。神經元與神經元之間的連接被稱為神經突觸，兩個神經元之間連接強度或者關聯程度體現在突觸的連接強度。一般而言神經元有以下的特點[8]：

1）：可塑性：即神經元之間的突觸可以連接，也可以取消，連接可以變強，也可以慢慢變弱，方便與人類去適應不同的環(huán)境。

2）：興奮與抑制：神經元受到外界刺激之后，會產生膜內外滲透壓的差別從而導致Na+或者Ca2+的流入或者流出，這些離子的遷移會產生動作電位，導致膜電位的上升或者下降，也就對應了人類神經元的興奮和抑制過程。

3）：學習與遺忘：由于可塑性的存在，當人類在長時間受到同一種刺激的時候，會產生我們的所說的學習功能，而這種功能其實是神經元之間的連接得到了加強，同理，如果我們慢慢遺忘了一些東西，是因為長期不去使用從而神經元之間的連接衰弱了。對應的有LTP,LTD圖像來進行表征。

4）：突觸的延時和不應期。神經沖動的傳遞在突觸中是需要時間的，一般這個時間是1-150ms。另外，神經元也不會在短時間內接受兩次沖動，一般需要間隔一定的時間，這個被稱為不應期。

從上面可以看到，想要用神經元器件模擬人類的生物的神經元，一定要從生物本質和特征去進行模擬。本文后面的數值模擬會再把這些特征一一強調一次，從而達到一種仿真的目的。

1.3.2 人工神經元介紹

早在1943 年 McCulloch 和 Pitts 提出了神經元的形式化模型, 神經元可用簡單的zha值函數表示，并完成邏輯函數功能[19]。20世紀初期，美國心理學家Willian Jame 提出，一個神經元應該是同時接受來自不同神經元的信號后，由于不同神經元之間的突觸連接強度不同，神經元相當于是一個加權和，并且由于興奮存在一個閾值電壓，需要一定的電壓值才會fire，因此神經元可以用一個數學模型來勾畫，即著名的MP模型。

y=f(∑i=1nwixi+b)

                        （2-1）

 

其中，表征每個神經元的輸入值，表征神經元之間的連接強度，b代表閾值電壓。外界的f函數則是一種神經元的處理函數。

 

圖1-1 MP 神經元模型

Fig.1.1 Neurons model

可以看到，對于神經元的硬件實現實際上是一個乘法器的實現以及加權和非線性處理，這個可以通過放大電路等進行實現。后續(xù)本文也將探究一下神經元應該具備怎樣的條件，或者怎么樣的器件適合作為神經元器件。

1.3.3 人工神經網絡介紹20世界80年代,J.Hopfield 提出了 Hopfiel 神經網絡, 引起了神經網絡理論在優(yōu)化學術界的轟動。然而熱潮還遠遠沒有結束。1986年，Rumelhart和McCelland提出了BP神經網絡，這種神經網絡是現在很多網絡算法的基礎，它是一種依靠逆向傳播輸出值與實際值誤差修正網絡權值的網絡，利用梯度下降算法或者隨機梯度下降法降低目標值與實際值的誤差，隨機梯度下降算法時為了加速算法收斂速度提出的更好的方式，現在很多網絡也應用這種方法

 

圖 1-2 經典的神經BP神經網絡模型

從圖中我們可以看到的是，網絡一般由輸入層，隱含層和輸出層三個部分構成，其中輸入層可以是圖像的像素值，音頻信號等等，因此神經網絡現在廣泛用于人臉識別，圖像識別，聲音識別等等領域。隱含層的多少是決定一個網絡是否是深層網絡的基本要素，隱含層如果越多，那么挖掘的信息，提取的特征就越難以用表面語言描述，訓練的精度也會逐步的提升。輸出層是網絡的輸出，網絡的輸出后往往會選擇一個損失函數，這個損失函數是用于衡量目標值與實際值的差值從而進行誤差反向傳播計算。常見的損失函數有MSE函數,Cross-Entorpy函數等等。

 

圖1-3 硬件神經網絡的一種實現[15]

基于經典的BP神經網絡MLP的硬件實現如上圖所示，使用電路模擬整個網絡的結構，在電路橫向與縱向的cross_bar 的地方放置突觸裝置，利用電流與電壓的比值進行權值的存儲與更新。這樣的網絡往往需要得到的I-V曲線是對稱的，就是說，權值的變化需要是隨著強度的增加而增加，減少而減少，呈現一種線性的變化，從而保證在進行BP算法時，誤差能夠不斷減小。

1.3.4 脈沖神經網絡介紹隨著在21世紀早期計算能力的顯現，DNN（多層感知器，深層信念網絡，傳統(tǒng)神經網絡等等）迅速發(fā)展，DNN的基本特征是有很多隱含層，這些神經網絡能夠實現監(jiān)督與非監(jiān)督學習，并且能夠優(yōu)秀的完成有大量數據的任務。然而實際上，現在的DNN的優(yōu)秀來源于GPU的并行加速機制，是在計算機多核算力上的體現，在其本身的算法上，其效率遠遠不如人腦高。SNN（脈沖神經網絡）最近引起了很多關注，因為它們與生物系統(tǒng)非常相似，在SNN中，輸入信號是尖峰，而不是傳統(tǒng)神經元中的恒定饋送。 人們普遍認為能夠處理尖峰是大腦在序列識別和記憶方面如此壯觀的主要原因之一[9]。序列識別是計算中更重要的主題之一，因為它直接影響系統(tǒng)處理強烈時序依賴的刺激的能力，例如語音識別和圖像檢測[10]

 

圖1-4  STDP圖像

對應STDP的最簡單理解是，如果前突觸神經元的信號在后突觸神經元的信號之前達到，有理由認為前突觸的信號導致后突觸神經元的信號產生，那么這兩者之間的突觸連接強度應該增加，反之就該減少。但如何保證這種訓練模式一定是有效的呢？Bengio 和 Fischer 兩人在2015發(fā)表的文章[11]指出具有對稱反饋權重的網絡將具有以下特性：“輸出單元”的小擾動將向更好的預測傳播到內部層，使得隱藏單元移動到大致遵循預測誤差J相對于隱藏單元的梯度。而STDP規(guī)則大致對應于預測誤差的梯度下降，即STDP的規(guī)則其實和SGD算法有著異曲同工之妙。Scellier和Bengio（2016）報告的實驗已經真實地表明這些近似值可以工作并且能夠訓練有監(jiān)督的多層神經網絡[12]。

脈沖神經網絡被稱為新一代神經網絡，與經典的神經網絡不同在于它的輸入實際上不是一個連續(xù)值而是一系列脈沖，更為重要的是他的神經元膜電位，一旦達到了膜電位的峰值，那么這個神經元就被激活，后面的脈沖會進入一段不應期。關于神經元的模型，已經提出了HH模型，Izhikevich模型與LIF模型，其中以LIF模型為例，其微分方程的表示如下：

τdVdt=?(V?Vr)+RI

                      （2-2）

 

τ

是膜的時間常數，R為膜電阻，V是膜電位，Vr是復位電位，I是注入電流，當膜電壓超過一個閾值時，神經元會發(fā)送一個脈沖。如果后面沒有連續(xù)的刺激，這個產生的脈沖信號會不斷衰退，膜電位也會恢復到復位電位后穩(wěn)定。之后再接受電流再刺激。

 

針對脈沖神經網絡的學習過程，也分為有監(jiān)督學習和無監(jiān)督學習，無監(jiān)督學習主要以STDP為主[13,14]，有監(jiān)督學習包括Tempotron算法，ReSuMe算法和SpikeProp算法等等。本文主要采用Tempotron算法，下面做個詳細的介紹：

在Tempotron算法中，考慮在閾值下，突觸前神經元產生的脈沖信號，對突觸后膜電位（PSPs）的貢獻是來自所有脈沖輸入的加權和：

V(t)=∑iωi∑tiK(t?ti)+Vrest

                  （2-3）

 

ti

表示第i個神經元的脈沖發(fā)送時間，

K（t?ti）

表示第i個脈沖對于膜電位的貢獻，即突觸前神經元發(fā)出的脈沖對于突觸后神經元膜電位的影響。其標準形式如下：

 

K(t?ti)=V0(exp[?(t?ti)/τ]?exp[?(t?ti)/τs])

          （2-4）

 

τ,τs

是時間常數，為了保證K(t)在（0,1）之內變動，我們需要用V_0進行歸一化處理，K(t)圖像繪制如下圖：

 

 

圖1-5 K(t)隨時間變化圖

由監(jiān)督學習的重點是要將權重更新向著誤差減少的方向進行，獲得期望的輸出脈沖，更新規(guī)則如下：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （2-5）

 

即以二分類為例，ti

為突觸前神經元峰值的產生時間，這里的

tmax

設定為我們設置的時間序列的終點，默認為突觸后神經元的峰值的產生時間，但這和一般的STDP不一樣，因為STDP的神經網絡訓練規(guī)則實際是不需要有監(jiān)督的，而這里有一個參數

λ

，用于控制輸出值與期望值的誤差方向，如果突觸前神經元產生峰值超過閾值電壓的神經脈沖，并且突觸后神經元指向分類標準與前神經元指向的分類相同，則不需要修改權值（說明這個連接正確），如果突觸前神經元峰值未超過閾值電壓，那么需要根據上式指定

λ

>0，并且計算需要增加的權值。反之當

λ

<0時，需要進行減小權值?？傮w看來，這是在借助有監(jiān)督學習的條件下，在明白誤差修正方向下利用STDP中的LTP與LTD曲線獲得修正的幅度（可以認為是學習的速率），從而使我們獲得期望的輸出。注意上面提出一種概念：即在有監(jiān)督學習的條件下，后突出神經元的峰值由標簽值決定，并且根據誤差值指明誤差修正放向（體現為

λ

的正負性），然后依靠STDP決定修正幅度。這也是一種將STDP曲線用于有監(jiān)督學習的可行性展示。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二章  實驗部分12.1  陣列化基于硅納米晶體雜化結構的神經突觸器件制備2.1.1  制備技術路線在本論文里面，采用了冷等離子方法制備了摻B的Si量子點，相比于其他的摻雜方法，冷等離子法是借助了動力學的原理，從而實現了對硅納米晶體的高效摻雜，一定程度上避免了利用熱力學原理來摻雜的過程中出現的“自潔凈”現象。相比之下能夠實現比較高濃度的摻雜。

 

圖2.1 使用冷等離子法制備摻雜硅納米晶體示意圖

使用冷等離子體法制備摻雜硅納米晶體的裝置設計示意如圖2.1所示。先準備每分鐘流量值12標準公升的硅烷氬氣混合氣（20% SiH4）、157 sccm的硼烷氬氣混合氣（其中含有0.5% B2H6）和105 sccm的高純氬氣通入到石英管中混合，調節(jié)系統(tǒng)尾部的真空泵，使腔體內的氣壓穩(wěn)定在6 mbar。石英管中間部位套有兩個銅環(huán)，分別接匹配箱和射頻發(fā)生器的正負兩級。在射頻發(fā)生器（功率約為150 w）的激發(fā)下，銅環(huán)之間的石英管內將產生等離子體，混合氣體在通過等離子體區(qū)域時將會發(fā)生分解反應，這個反應的產生是因為氣體受到了高能粒子和電子的轟擊產生的，具體化學反應式如下：

SiH4?Si+H2B2H6?2B+3H2

 

在器件制備方面，本文利用硅納米顆粒的光電性能與以及表面缺陷對載流子具有俘獲的性質，首先與鈣鈦礦進行雜化形成混合容易。通過旋涂工藝制備成了太陽能電池結構的神經器件，器件的結構是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au。在該結構里面，ITO是通過光學刻蝕得到。PCBM, 鈣鈦礦與硅量子點雜化層， Spiro是通過旋涂方法得到。其中鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF.。Si量子點在溶液里面的濃度為10mg/ml.雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200nm。Au電極采用熱蒸發(fā)工藝得到，厚度大約為100nm。

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:15:00'w

NOTE: '這一段是不是應該要刪掉？']2.1.1  器件制備路線

在器件制備方面，本文準備利用硅納米顆粒的光電性能與decay長的性質，與鈣鈦礦進行雜化形成自驅動電池，在制備電池的工藝上，選擇旋涂工藝做成太陽能電池的結構，器件結構分別是：Ito/pcbm/鈣鈦礦與硅量子點雜化層/spiro/Au，之后使用熱蒸發(fā)工藝將電極Au安裝上，設置厚度大約為100nm。鈣鈦礦CH3PbI3與硅量子在DMF溶液（461mg PbI2, 159mg MAI,  71uL DMSO, 630 ul DMF. Si以DMF為溶劑，濃度為10mg/ml. 雜化旋涂后就制備出了膜。）里面。硅量子點摻雜B，摻雜B的硅納米晶體尺寸是6nm, 鈣鈦礦膜厚大概在300nm左右，晶粒尺寸大概在200多納米。段落內容。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 第三章  數值模擬13.1 神經元硬件化數值模擬3.1.1  神經網絡結構對于神經元的模擬，和突觸的模擬不同，神經元的功能由上文中的MP模型已經表述很清楚，他承擔一個乘法器和加權和、還有實現一個神經元函數的功能，這個功能也是我們下面模擬要探索的。

 

圖3-1 MINST數據集對于的神經網絡結構

采用常用的MNIST手寫識別數據集作為整個網絡的輸入，先將圖像的RGB值轉換成一個單位的灰度值，設計輸入層應該有784個節(jié)點，隱含層300個節(jié)點，輸出層設置10個節(jié)點，分別對應0-9個數字的pattern。在實際模擬時，采用兩種方式處理，第一種是利用STDP非線性函數直接對輸入的圖像像素值進行處理，意在將灰度值轉換為強度值。再用網絡進行訓練。第二張利用STDP非線性函數作為神經網絡中的激活函數，意在探究神經元的基本性質。

訓練模式采用SGD算法，樣本集總共55000個圖片，每張圖片28×28有784個輸入值，epoch設置掃描樣本集10次以上，損失函數使用交叉熵函數，激活函數選擇softmax函數進行激活分類，因為這個函數比較適合于多分類問題，在優(yōu)化上也得到了理論的證明。首先我們先將實驗中得到的STDP數據擬合結果如下：

 

圖3-2 STDP Positive 擬合圖像

這里故意選擇了一個與常規(guī)激活函數相關性為負的激活函數，一般的激活函數比如sigmod，relu激活函數，其強度其實和輸入值是呈

[ANNOTATION:

BY 'wenhuang'

ON '2019-05-23T10:23:00'w

NOTE: '什么意思']現正相關的，這里選取的作為負相關的原因是想探究是否能夠作為激活函數使用。其結果如下：

 

圖 3-3 擬合的Loss與Accuracy隨訓練次數的變化圖

可以看到上述的結果是可觀的，也就是說，激活函數的選取，與是否與輸入值正相關沒有關系。另外我比較了理論激活函數，實驗激活函數，與對輸入直接非線性處理得到結果的異同性：

 

圖3-4 三種不同方法得到Loss函數變化情況

 

圖3-5 三種方法得到的Accuracy變化情況

可以看到，理論激活函數（紅色）在準確率上仍然時最高的，最后的樣本內準確率有98.42%，但在loss的下降速度上，實驗激活函數體現的更好，但實驗的激活函數最后準確率只有96.69%。

3.1.2  神經元硬件化結論根據上面的模擬結果我們可以得到結論，對于神經元的硬件模擬，作為激活函數，只需完成非線性這個條件即可，但是在實現乘法器的過程中，需要電路由很好的線性度。這個線性度的要求實際是從BP算法的推導中獲得的，這里簡單的推導一下：

Δw=?Loss?w=?Loss?y??y?output??output?w

              （3-1）

 

上式想說明的是，我們需要調節(jié)權值w使得我們計算出的loss函數達到最小值，因此我們需要求其導數從而獲得調整的方向，可以看到等式右邊第一項實際是損失函數對于輸入值的導數，第二項時激活函數對于輸入值的導數，這兩項在有輸入值的條件下是可以求出的。而根據神經網絡的矩陣運算：

output=w?x+b

                       （3-2）

 

可以看到，output值與輸入的值時存在線性關系的，那么也就是說，我們權值變化量Δw

與輸入的x需要滿足線性關系。因此神經元硬件化需要實現的線性度不僅僅影響了加權的效果，還影響到權值更新的效率性。很多關于神經網絡硬件化的論文一定會提到這個線性度，因為這個線性度時實現神經網絡算法達到收斂的基本保障。

 

 

圖3-6.a SET與RESET模式下的I-V曲線；b SET模式下的權值變化隨刺激次數的變化；c RESET模式下的權值變化隨刺激次數的變化[15]

如上圖清華大學完成的憶阻器神經突觸器件，選取電導作為權值時，需要I-V曲線在第一二想象有近似的對稱值，其導數值(即權值)隨著固定電壓的刺激次數線性增加或者減小。一般而言，在硬件神經網絡進行權值跟新的時候，會選擇一個固定更新電壓，在這個指定的電壓下，我們需要保證權值的正向更新與負向更新有近似的值，這個在圖像上體現為圖像的對稱。之前也有文章在圖像的對稱性上做了相關的材料探究。證明這樣的對稱性是必要的

23.2 有監(jiān)督脈沖神經網絡數值模擬3.2.1  脈沖編碼脈沖神經網絡與第二代神經網絡最為不同的一點在于，它的輸入并不是一系列連續(xù)的值，不是像圖像像素一樣一個個數據連續(xù)計入，也沒有二值化的操作。而是離散的脈沖值，就圖像識別而言，簡單的多層感知器輸入是輸入圖像的RGB值或者是圖像的灰度值，將這些值進行標準化后作為網絡的輸入。而脈沖神經網絡需要對于輸入進行一定的脈沖編碼處理，這個處理可以自己選擇，但轉化的思想很重要。即將圖像的灰度值信息編程處理成一系列脈沖，并且將脈沖發(fā)出的時間作為網絡的輸入。下面介紹本文中tempotron算法的編碼方式。

選取26個英文字母A-Z作為需要識別的樣本集。每一個字母由一張16×16像素的圖像組成，且該圖像只有0和1兩種灰度，即非黑即白。因此我們輸入一張圖片后，它會編程一個16×16的二值矩陣，我們將這一的二維矩陣一維化，使其變成1×256的一維數組，然后我們對其進行編碼，每次隨機從256個數中隨機去8個數且不放回，組成一個32×8的新矩陣，對于每一行數，得到的是一個8位的二進制數，因此我們將其轉化成十進制數，得到一個0-255范圍的數，將原來的矩陣轉化成了32×1的矩陣。且每一行代表一個脈沖的發(fā)送時間，即將一張16×16的圖像矩陣轉化成了在不同時間一共發(fā)送32次脈沖的輸入值。

3.2.2  權值更新按照tempotron算法的權值更新規(guī)則：

Δωi=λ∑ti?tmaxK(tmax?ti)

                     （3-3）

 

我們需要設置一個時間軸，并且對于這個時間軸上進行時間窗口的劃分，等于說我們需要將這個時間軸切割成一份份來進行一個個的循環(huán)。由于之前在輸入編碼的時候，我們將16×16像素的黑白圖像轉換成了發(fā)送32次脈沖的輸入，這些輸入的脈沖的時間是0-255，也就是說，我們建立一個長度為256ms的時間軸，并且以1ms為一個時間窗口，每次檢查在當前時間窗口前是否有脈沖輸入，并且每次都選取在當前時間之前能夠發(fā)送脈沖的數據，認為他們發(fā)送一次脈沖，將這個脈沖與核函數相乘，作為我們膜電壓，如果膜電壓超過了我們設置的threshold電壓值，我們則認為該神經元處于fire狀態(tài)，并且會進入一段不應期，即shut down后面在256ms內的所有脈沖輸入。我們輸入是5個神經元，這是因為我們需要對26個英文字母分類，即用5個二進制數最大可以表示到0-31的每個數，于是我們用5個二進制數表示我們分類的pattern，例如字母A我們使用00001表示，字母B用00010表示。以此類推。當神經處于fire狀態(tài)時，它會表現出1的狀態(tài)，反之如果它沒有能夠達到閾值電壓，它會處于0的狀態(tài)，我們將網絡的輸入與我們準備好的標簽值進行對比，如果說產生了不同，即分類產生了誤差，我們就需要對其進行權值更新，從而在慢慢的訓練過程中，獲得我們期望得到的脈沖值。

即如果網絡發(fā)出了脈沖，但是實際沒有發(fā)送脈沖，我們降低該脈沖產生的權值，從而讓其在后面慢慢變得不發(fā)出脈沖。

如果網絡沒有發(fā)出脈沖，但是實際輸入應該發(fā)出脈沖，我們應該強化該脈沖的產生，即增大其權值。

 

圖3.7 訓練前脈沖與訓練后脈沖對比圖

我們設置1.0 v為閾值電壓，可以看到，隨著訓練次數的增大，一開始正的脈沖傾向于在后面發(fā)出超過閾值電壓的脈沖。但是一開始負的脈沖，雖然一開始超過了閾值電壓，但是由于隨著訓練次數的增大，變得不斷被抑制，不再發(fā)出脈沖。我們的網絡就是基于這樣一種思路去訓練與優(yōu)化。

3.2.3  數值模擬結果數值模擬上，本文選取了兩組實驗數據進行了權值更新法則函數的模擬，即使用實驗得到的LTP與STDP數據進行了數值模擬，并且對比了兩者在應用于tempotron算法的差異，提出一定看法。

3.2.4  LTP權值改變法數值LTP曲線是模擬人類大腦學習時候的長程可塑性，在圖像上體現為，施加一段固定脈沖間距和脈沖峰值的脈沖，使突觸器件的模擬膜電壓升高，經過一段時間再進行了衰減。表現的圖像如下：

 

圖3.8 LTP擬合圖像

線是得到實驗的LTP數據后，使用神經網絡算法進行擬合，得到完美擬合的曲線，這樣保證了能夠使用完全的實驗數據。另外由于實驗的數據僅僅有LTP數據，然而對于我們的模擬也需要LTD數據，基于我們對于這兩個圖像的了解，他們在一定程度上是中心對稱的。我們通過對于LTP數據的神經網絡擬合，外推LTD的數據，將LTD的數據應用于模型的抑制環(huán)節(jié)，保證權值的增加與減少對稱。

將LTP的數據帶入，進行訓練，設置最大epoch數為100次，設置閾值電壓為1 v。訓練結果如下：

 

圖 3.9 準確率隨訓練次數的變化圖像(LTP)

可以看到，在100 epoch下，準確率在隨訓練次數的增加而增加，最終穩(wěn)定在89%左右。

3.2.5  STDP權值改變法人腦的學習模式是STDP已經被大部分論文和實驗所證實，因此也許基于STDP的權值改變方法能夠更加促進學習的效率。STDP的本質定義是說：如果突出前神經元的峰值脈沖到達時間小于突觸后的神經元峰值脈沖，那么認為突觸前神經元脈沖的產生可能是有利于突觸后神經元的產生，即這兩者之間是存在一定的聯動關系的。于是加強這兩個神經元的連接。反之則減弱它們之間的連接。

利用實驗得到對的STDP Positive數據，波張選取375nm的光做刺激。得到光驅動下的STDP。但實驗與理論存在偏差的一點，是光刺激下的STDP圖像實際上是存在于一、二象限的，這樣意味著，無論是突出前神經元的脈沖先到達還是后到達，產生的權值更新過程，都是加強該兩個神經元之間的連接。在保證權值更新雙向對稱性的情況下，這樣的情況顯然是不允許。于是在三象限部分，本文選取了其他數據作為替代，這個數據是從電突觸元器件得到的。這里也可以得出一個設想，是否可以有光與電合并的突觸器件，使用光完成第一象限的STDP工作，由電器件完成第三象限STDP工作。為何要選擇光器件是因為，光學突觸器件的耗能相比于電學突觸器件要節(jié)省很多。如果能夠使用光電混合信號實現光電STDP，也不失為一種選擇。

擬合后正向STDP函數表達式如下：

y=?0.346ln(x)+2.708

 

負向STDP函數表達式如下：       

y=0.302ln(?x)?2.546

 

根據上面的STDP函數更新法則，帶入我們的temportron算法進行求解。得到準確率變化情況如下，設置參數與LTP更新規(guī)則相同。

 

圖3.10 準確率隨訓練次數變化情況(STDP)

可以看到，經由STDP訓練的網絡，在epoch=60左右的時候，已經達到了準確率100%，在訓練的準確度與效率上，高于使用LTP訓練的結果。這也可能是為什么當前很多的研究都著眼于STDP權重更新機制。這可能也和STDP實際上與人類大腦的學習機制十分相似，本次模擬也證明了大腦學習模式在權值調整上的優(yōu)越性，基于LTP的調制模式，更多是對于算法當中核函數K(t)的模擬，而并非是對于本質上人類大腦學習模式的仿真。

3.2.6  結論無論選取LTP，STDP作為權值更新的方式，神經網絡的權值更新一定要是對稱，這樣在梯度下降算法過程中，才能夠有正和負梯度，使得最后的結果收斂于局部最小點。另外，在學習機制上，STDP是存在一定優(yōu)越性的。后面本文將針對SDTP學習機制，將網絡擴展到更大的規(guī)模，展現STDP學習機制的強大之處。

33.3 無監(jiān)督脈沖神經網絡數值模擬3.3.1  理論背景與基礎這SNN的發(fā)展之所以廣受著名，是因為它網絡的元器件要求是有一定硬件基礎的，不論是在神經元的設計上，如LIF模型，HH模型，還是電導突觸，指數型的衰減機制，閾值電壓。都可以通過我們設計的電學或者光學器件進行實現。

本文基于2015年Peter發(fā)表的關于STDP無監(jiān)督學習網絡的代碼基礎上，加上實驗得到的數據，進行數值模擬。模擬之前，先了解一下網絡的具體結構與基本理論。

對于神經元的設置，應用integrated -and-fire model模型：

τdVdt=(Erest?V)+ginh(Einh?V)+gexc(Eexc?V)

            （3-6）

 

這里V是膜電壓，Erest

是神經元在沒有外界刺激下的一種靜息電壓。

τ

是抑制或者興奮神經元的時間時間常數，這個常數時間上就是用于控制各種不同的STDP圖像。

galignlink

和

gexc

是抑制性神經元和興奮性神經元的電導值，這個值在神經網絡中表現為權重，也是我們需要訓練的東西。訓練模式與tempotron算法類似，當膜電壓到達閾值電壓的時候，就會發(fā)送尖峰脈沖信號，然后膜電位復位到靜息電壓。如果有神經元的尖峰信號達到突觸，那么突觸就會提升權值，即電導，如果沒有，那么權值就會指數型的衰減。權值更新的模式仍然是取決于突觸前神經元與突觸后神經元的尖峰達到時間差。如圖3.11所示，由于前后神經元的脈沖尖峰抵達時間差不一樣，產生了興奮和抑制兩種模式

 

 

圖 3.11 STDP權值更新模式圖[17]

我們需要定義興奮性神經元與抑制性神經元的權值改變方式。對于興奮性神經元的電導更新模式如下：

τgedgedt=?ge

                      （3-7）

 

抑制性電導的更新模式其實只需要更換常數：

τgidgidt=?gi

                      （3-8）

 

時間常數得控制會影響STDP得學習曲線，人腦或者生物的時間常數一般是10 ms-20 ms量級。我們由實驗得到得時間常數數值也靠近這個值

然后是基于STDP的權值更新法則：

Δw=η(xpre?xtar)(wmax?w)u

               （3-9）

 

實際上，STDP的更新規(guī)則很多，還有指數型的，這里選取一種更新規(guī)則，他們大多大同小異。這里的η

是學習的速率，

Xpre

是該脈沖產生時的上一次脈沖值，每當有一次脈沖到達突觸時，

Xpre

會增加1，如果沒有，它會按照指數型進行衰減。

Xtar

是前一次的突觸前神經元產生的脈沖，其反應在突觸后神經元的目標值。這其實也是在將突觸前神經元和后神經元產生的時間在進行比較，從而正確的更新權值。

 

3.3.2  網絡設計脈沖神經網絡的設計與普通的經典神經網絡有所不同，由圖5.2看到，Input輸入層圖像的像素編碼脈沖數據，脈沖的頻率由圖像像素點的灰度值，即成正比關系，28×28的像素值會變成一個784×1的一維序列，每一個值代表一定頻率的脈沖信號。

 

圖3.12 SNN神經網絡結構[16]

 

之后進入激活層，激活層放置激活神經元，然后再進入抑制層，放置抑制層神經元。這里可以看到，非監(jiān)督學習網絡的結構是不存在標簽值的。更新完全依靠激活層與抑制層之間的關系。從圖3.12可以看到，輸入層與激活層實際上時全連接模式，即每一個像素點產生的脈沖序列都會再激活層有一個對應權重。激活層與抑制層之間時一一對應連接，但抑制層與激活層的連接卻是全連接模式，除了激活層已經與抑制層產生連接的神經元。這樣的網絡設計模式實際上是由理由的。這應用的winter take all法則，即當某個激活層的神經元產生興奮后，該興奮傳遞到抑制層后，抑制層會抑制其他所有神經元產生脈沖。也就是說，不斷的訓練后，能夠產生脈沖的神經元會趨向于越來越容易產生脈沖，而其他神經元會越來越無法產生脈沖。從而達到訓練的目的。這和傳統(tǒng)的K-means算法也有異曲同工之妙，但不同的是STDP 非監(jiān)督學習存在抑制層，從而避免了某幾個神經元一直占據某個pattern。

3.3.3  模擬結果數值模擬將MNIST 六萬個訓練數據編碼后作為脈沖輸入，整個訓練集進行了6次迭代，一共是36萬張圖片，訓練結束后學習慮被置為零，動態(tài)閾值被鎖定。之后輸入每一類的數字圖片，記錄每個神經元對應該類圖片的激活次數，并且選取其中激活次數最多的為該神經元的標簽。之后使用測試集的一萬張圖片作為脈沖輸入，觀察每當一張圖片輸入時，哪個神經元的激活頻率最高，如果該神經元的標簽與輸入圖片屬于同一pattern，那么認為分類正確。統(tǒng)計10000萬張圖片的平均準確率，得到網絡的訓練的評價值即Accuracy。

 

圖3.13 神經網絡權值矩陣圖

這里訓練后激活層的權值矩陣。之前提到了，當網絡訓練完成后，我們會輸入每一個圖片的pattern，以激活次數最高的神經元作為該pattern的標簽，在這樣經過改進后，圖5.3是激活層神經元重組后的權值分布，可以看到，不同神經元對于不同pattern的適應程度不同，體現在顏色的深淺上。

 

圖3.14 輸入層到激活層權值矩陣可視化圖

 

圖3.15 激活層到抑制層權值矩陣可視化圖

從圖3.14我們可以看到，只有很少部分的權值很高，即呈現黃色小點模式，體現即只有少數pattern才能夠產生脈沖，其他的脈沖都被抑制，這個圖像很好體現了我們在學習過程中的winer-take-all的模式。圖3.15體現的更加明顯的是，因為網絡的設計是激活層與抑制層一對一連接，抑制層與激活層反向全連接，但除去了從激活層連接過來的神經元，因此在權值的對角線上都是winer，而其他的神經元都被抑制，從而達到了我們從眾多神經元中選取出適合當前輸入的正確pattern。

之后我們輸入10000個MNIST的test集圖片進行外推，結果是：Sum response - accuracy:  91.43  number incorrect:  857。即我們在驗證集上達到了91.43%的準確度?？偟膩碚f還是比較可觀的。

結  論本文用了三個數值模擬的方法，分別對于神經元硬件化條件，神經突觸硬件化條件，神經元學習規(guī)則優(yōu)越性做了探究。在神經元硬件化上，通過使用不同的非線性函數進行數值模擬，得到了其實在當選取激活函數時，函數與輸入值的正相關性并不是必要的，非線性才是最為重要的基準。并且作者使用簡單的鏈式求導法則，證明了神經元的硬件化需要有加權乘法器的功能，并且強調了乘法器的線性程度。也就推出了權值更新時，權值該變量與輸入值的正相關性的重要性，也可以說是正負變化的對稱性是對隨機梯度下降法達到收斂的充分條件。在SNN數值模擬上，本文先嘗試了tempotron有監(jiān)督SNN算法，并且對其權值改變的方程做出了LTP與STDP法則的兩種試探，發(fā)現STDP的效果更好，也不愧是貼近人類大腦的學習模式。這里也需要指出tempotron算法的缺點在于該算法只能針對單神經元，即脈沖只能判斷單個神經元能不能發(fā)出脈沖，泛用性不是特別強，但是將輸入改成離散的脈沖輸入，在神經網絡的結構和理念上是一個很大的突破。接著文章以STDP學習機制更為優(yōu)秀的基礎上，在基于2015年Peter教授的無監(jiān)督STDP學習網絡[16]這篇論文的基礎上，使用實驗相關的數據進行了數值模擬，指出了該網絡的結構，采用winter-take-all模式與IF神經元結構，實現了在沒有任何標簽和領域知識的無監(jiān)督學習網絡的模擬，并且在MNIST的test數據集上達到了91.43%的正確率。從實驗上證實了STDP學習機制可以用于無監(jiān)督學習，指出了其在未來發(fā)展的巨大潛力。

最后本文提出一些對于當前硬件神經網絡研究的看法，目前實現硬件神經網絡的方法在緒論也有提出，主要有微電子方法、半導體突觸和光學實現。作者認為想要實現真正的類腦計算。我們就需要研究更與人類達到貼切的器件。盡管在微電子方面，目前的技術可以實現精度很高的數字模擬電路。但是實際上那也只是靠我們強大的算力與耗費了很多資源達到的結果。再說全光學的神經網絡，這樣的設想只能夠用天才來形容，這樣的網絡耗能少，效率高，速度快。但這并不能夠算是類腦計算，只是從物理的角度對于神經網絡進行了實現。真正的類腦計算我相信應該是基于STDP，LTP, LTD這些與人腦大腦對于信號實際反映做出的模型之上的。近年來已經發(fā)展了很多基于STDP或者類腦計算的算法，并且在數值模擬上都證實了其實現的可能性。目前的當務之急應該是制備出與這些理論符合的突觸器件或者神經元元件，然后進行集成，實現一個結合微電子設計電路與編碼處理，從而實現一個從輸入，到reference，再到自動Back Propagation修改誤差的自主型芯片，真正達到off-chip模式的神經網絡計算與硬件化。

參考文獻[1]Takao Watanabe, Katdutaka Kimura, Masakazu Aoki, et al. A Sinngle 1.5-V Digital Chip for a 106  Synapse Neural Network. IEEE Transactions on Neural Networks. May 1993,4(3): 387-39 

[2]Matthew S Melttn, Tan Phan, Douglas S Reeves, et al. The TInMANN VLSI Chip. 1993, 4(3): 394 -340 

[3]Hendrik C A M, Withagen. Neural Networks: Analog VLSI Implementation and Learning Algorithms. Ph.D thesis, Eindhoven,1997 

[4]高麗娜 邱關源. 一種連續(xù)可調權值 CMOS 神經網絡. 電子學報, 1998, 26(2): 120-122 

[5]Bernabé Linares-Barranco et al. A Modular T-Mode Design Approach for Analog Neural Network Hardware Implementations. IEEE Journal of Solid-State Circuits,1992, 27(5): 701-712 

[6]Strukov, Dmitri B, Snider, Gregory S, Stewart, Duncan R and Williams, Stanley R. The missing memristor found. Nature. 2008, 453: 80–83. doi:10.1038/nature06932. 

[7]賀靜, 基于CMOS 模擬技術的多種前饋人工神經網絡硬件的研究與實現 [D]. 湘潭大學, 2014 

[8]侯媛彬,杜京義,汪梅. 神經網絡 [M]. 西安:西安電子科技大學出版社, 2007: 16-19. 

[9]Q. Yu, S. Member, R. Yan, H. Tang, K. C. Tan, H. Li, IEEE Trans. Neural Networks Learn. Syst. 2016, 27, 621. 

[10]M. Giulioni, X. Lagorce, F. Galluppi, R. B. Benosman, Front. Neurosci. 2016, 10, 1 

[11]Bengio, Y. and Fischer, A. (2015). Early inference in energy-based models approximates back-propagation. Technical Report arXiv:1510.02777, Universite de Montreal. 

[12]Scellier. B. and Bengio, Y. (2016).Towards a biologically plausible backprop. arXiv:1602.05179 . 

[13]Markram H, Lübke J, Frotscher M, et al. Regulation of synaptic efficacy by coincidence of postsynaptic APs and EPSPs[J]. Science, 1997, 275(5297): 213-215. 

[14]Bi G, Poo M. Synaptic modifications in cultured hippocampal neurons: dependence on spike timing, synaptic strength, and postsynaptic cell type[J]. Journal of neuroscience, 1998, 18(24): 10464-10472. 

[15]Peng Yao, Xueyao Huang, Wenqiang Zhang,Qingtian Zhang.Face classification using electronic synapses.2017.5.12.DOI: 10.1038 

[16]Peter U. Diehl, Matthew Cook.Unsupervised learning of digit recognition using spike-timing-dependent plasticity.Front. Comput. Neurosci., 03 August 2015 | DOI:10.3389 

[17]Qingzhou Wan, Mohammad T. Sharbati, John R. Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing 

[18]陳瓊. 鄭啟倫.人工神經網絡系統(tǒng)硬件實現的研究進展.[J].電路與系統(tǒng)學報.2000 年 3 月 

[19]Cowan J D . Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J]. Bulletin of Mathematical Biology, 1990, 52(1-2):73-97. 

[20]Mcclelland J . Reflections on Cognition and Parallel Distributed Processing[J]. 1986. 

[21]Xing Lin, Yair Rivenson, Nezih T. Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018 

附  錄代碼具體說明請參考github.com/zhenghaobaby/graduated_design

作者簡歷姓名：鄭浩  性別：男  民族：漢族  出生年月：1997-04-11  籍貫：四川成都

教育背景：

2012.09-2015.07  成都七中

2015.09-2019.07  浙江大學攻讀材料科學工程學士學位

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

攻讀學位期間發(fā)表的學術論文與取得的其他研究成果已：

[1]XXXXXXX 

[2]XXXX 

待：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX 

[2]XXXX 

已授權專利：

[1]XXXXXX 

 

 

第9篇：神經網絡特征重要性范文

關鍵詞: 特征選擇；入侵檢測；粗糙集；信息熵

中圖分類號:TN 915.08

文獻標志碼:A文章編號:1672-8513(2011)04-0292-04

Study of Intrusion Detection Feature Selection Based on Rough Set and Information Entropy

WU Ping, JIANG Yiting

( School of Information, Yunnan Normal University, Kunming 650092, China )

Abstract: Feature selection is the removing process for the smallest feature subset satisfying the needs from the collection and application of selected characteristics related with great importance. It is important in the intrusion detection. For solving the problem of the existing intrusion detection system with less prior knowledge, the paper describes the intrusion detection feature set with the rough set knowledge representation system and determines the relative importance of each feature by calculating its information entropy. Finally, it gets a streamlined feature set. As a result, it simplifies the intrusion detection training set, reduces the detection time and effectively improves the classification accuracy of the invasion.

Key words: feature selection; intrusion detection; rough set; information entropy

入侵檢測需要對大規(guī)模的網絡數據流或主機審計信息進行數據分析，判定攻擊類型，而網絡中的行為一般都可以用一些特征來描述，如：源地址、目的地址、協議類型、服務類型、端口號及連接時長等，一條網絡記錄是正常行為還是攻擊行為通常是由許多特征組合取不同值來表征的，但是存在著一些特征對于最后的判定起的作用很小，即這些特征的變化與否與判定結果基本無關，可以約簡.過多的特征會給計算帶來困難，占用大量的存儲空間，會降低整個網絡系統(tǒng)的吞吐效率，耗費大量的時間，檢測的精準率也會降低，所以在進行數據處理之前需要進行特征選擇.

特征選擇技術[1]正是從原有的龐大的數據集中選擇出滿足需要的、重要性較高的一個精簡數據集合的過程，并且該精簡數據集可以保持原有數據集的完整性，且不會影響最后判定結果的準確性.文獻［2］中采用的特征選擇方法，是對單個特征進行評價，以對評估數據檢測的正確率和時間作為度量準則，這種選擇方法可以挑出前N個最有效的單個特征，但是這N個特征放在一起卻不一定是最佳的組合，所以對于約簡后的特征屬性集合的信息完整性缺乏可靠驗證[3].

為了解決上述問題，本文基于粗糙集的知識約簡理論，采用計算信息熵的方法來選擇重要特征，在保持知識庫的分類或決策能力不變的條件下，刪除不相關或不重要知識，得到保持分類正確的最小特征子集.

1 粗糙集中的知識表達系統(tǒng)在入侵檢測特征中的描述

粗糙集(Rough Set)理論是由波蘭學者Pawlak于1982年提出的[4]，它是一種刻畫具有不完整性和不確定性信息的數學工具，其基本思想是：在保持知識庫的分類能力不變的前提下，通過知識（屬性）約簡得出問題的決策或分類規(guī)則.粗糙集的優(yōu)點是[5]：在處理問題時不需要其他先驗知識，利用定義在數據集合U上的等價關系R對U的劃分作為知識.在不丟失信息的前提下，根據知識系統(tǒng)的條件屬性與決策屬性的依賴和關聯度，通過知識約簡算法得到具有最小決策規(guī)則的分類模型.

11 網絡攻擊特征數據的粗糙集知識表達

粗糙集中對知識進行表達和處理的基本工具是信息表知識表達系統(tǒng)[6]，下面就本文中的研究對象網絡攻擊特征數據集進行粗糙集的知識表達.

攻擊特征數據的知識表達：

設五元組T=＜U,C,D,V,f＞是一個網絡攻擊特征數據決策表知識表達系統(tǒng)，其中U是攻擊樣本的集合，C為攻擊特征（條件屬性）集合，D為攻擊類型（決策屬性）集合且D≠，V是屬性值的集合，Vr表示屬性r∈C∪D的屬性值范圍，即屬性r的值域， f:U×(C∪U)是一個信息函數，它指定U中每一個對象x的屬性值.

12 網絡攻擊特征的選擇

首先選定一個特征子集A，然后將其他特征屬性加入該特征子集中，如果加入的特征屬性并沒有使原有的特征的信息熵發(fā)生變化，則該屬性就是非必要特征屬性，可以對其進行約簡.可進行如下描述：

在網絡攻擊特征數據決策表系統(tǒng)T=＜U,C,D,V,f＞中，選定特征子集{A|AC}，將特征r∈C加入到特征子集A中，形成A′并計算A′的信息熵，如果A′的信息熵不發(fā)生變化，則說明r不能為特征子集A的分類增加信息，則A為相對于D的特征選擇.即：

H(A|C)=H(A′|C＼{r})

特征選擇的終止條件是在T中，有H(qf0g21xhbw6|A∪{r})=H(qf0g21xhbw6|A)，則A為C的相對于qf0g21xhbw6的特征選擇.

13 網絡攻擊特征數據決策表的核

對于一個網絡攻擊特征數據決策表系統(tǒng)T=＜U,C,D,V,f＞，C中所有對qf0g21xhbw6是必要的特征組成的集合稱為特征集合C相對于qf0g21xhbw6的核，記作COREqf0g21xhbw6(C).

2 信息熵的相關定義和計算模型

信息熵[7]是測量不確定性的一種度量方法，任何一個隨機變量的不確定性可以通過它的信息熵來表示.

信息熵的定義為：A為U上的一個條件屬性子集合，U/IND(A)={x1,x2,…，xn},d為u上一個決策屬性子集合,U/INDqf0g21xhbw6={y1,y2,…,yn}，則決策屬性qf0g21xhbw6相對于條件屬性子集合的信息熵為：

Entropy(DA)=－p+lb p+－p－lb p－

如果將屬性集分類進行合并[8]，在合并過程中，當一個分類對于另一個分類的概率相等的情況下，不會導致信息熵發(fā)生變化，就出現了上面介紹過的增加一個屬性并不能為原有的屬性子集分類增加任何信息，此時就可以將之約簡.

根據以上結論可以得出，可以將核作為計算信息熵的起點，則在特征選擇的過程中，不斷地向特征子集C′中增加屬性r∈C，然后判斷信息熵H(D|C′{r})是否發(fā)生變化.如果該信息熵值是遞減的，則特征屬性r為不可約簡的特征屬性.

即對于一個網絡攻擊特征數據決策表系統(tǒng)T=＜U,C,D,V,f＞，A為C經過攻擊特征選擇后得到的特征集合，C0是核.如果ri∈A\\C0是任意一個不能被約簡的特征屬性，有：

H(qf0g21xhbw6|C0)＞H(D|C0∪{ri})＞…＞H（D|C0∪{r1}∪{r2}∪…∪{ri}∪…）＞…＞H(D|A)

因為核肯定是在特征選擇的結果中，所以本文算法以核為起點，逐步向核的集合中增加特征，直到得到最后的特征選擇結果為止.

3 計算信息熵進行特征選擇的算法

攻擊特征的相對重要性[9]定義為：對于一個網絡攻擊特征數據決策表系統(tǒng)T=＜U,C,D,V,f＞，特征r∈C在C中對qf0g21xhbw6的重要性定義為：

SGE(r,C,D)=H(D|C\\{r})-H(D|C)

所以可以看出，在C確定的情況下，SGE(r,C,qf0g21xhbw6)越大，對于決策qf0g21xhbw6就越重要.當且僅當SGE(r,C,qf0g21xhbw6)＞0時，攻擊特征r是必要的.

網絡攻擊特征數據選擇的具體步驟如下：

1)計算攻擊數據決策表系統(tǒng)中的信息熵H(qf0g21xhbw6|C)：

H(qf0g21xhbw6|C)=-∑ni=1p(xi)∑mj=1p(yj|xi)log(p(yj|xi)).

2)求特征集合的核：

COREqf0g21xhbw6(C)={c∈C|SGF(c,C,qf0g21xhbw6)＞0}；

SGF(c,C,qf0g21xhbw6)=H(qf0g21xhbw6|C＼{c})-H(qf0g21xhbw6|c).

則可以求出條件屬性特征集的核C0.

3)計算核的信息熵：H(qf0g21xhbw6|COREqf0g21xhbw6(C0)).

4)以核為起點，選擇使信息熵最小的特征加入特征選擇子集中.

令C0為核，A={C-C0}，設ri∈A，則依次計算信息熵H(qf0g21xhbw6|C0∪{ri})，使H(qf0g21xhbw6|C0∪{ri})最小的ri加入C0中，C0′={C0+ri}，若H(qf0g21xhbw6|C0′)=H(qf0g21xhbw6|C)，則算法終止，得到了特征選擇的結果.

4 特征選擇結果分析

41 實驗數據的選取

本文選用的數據集KDDCup99[10]是一個網絡連接記錄集，其中包含了大量的有代表性的正常網絡流量和各種攻擊類型，具有很強的代表性.KDDCup99數據集中的每條數據有41維屬性特征和一個為標記正常與非正常的特征（即決策屬性）.前41維屬性特征被劃分為4個特征子集：基于TCP連接的特征屬性、基于內容的特征屬性、基于2s時間窗的流量特征屬性、基于主機的流量特征屬性.決策屬性分為5類，即正常、DOS攻擊、Probing攻擊、U2R攻擊和R2L攻擊.

本文選取KDDCup99離線測試數據的10%子集作為實驗基本數據，其各種攻擊類型所占比例為Normal(19.68%)、DOS(62.54%)、U2R(3.43%)、Probing(6.58%)、R2L(6.92%).

42 實驗結果分析

經過本文的算法對數據進行處理后，共約簡出21個攻擊特征，如表1~4所示.

經過粗糙集特征選擇后，各候選特征子集所包含的特征數相比全部41個特征而言大為減少，這對于神經網絡的學習訓練和入侵檢測系統(tǒng)的實時檢測而言，會有較好的性能提升.

根據特征屬性約簡的結果，對于樣本數據重新整合形成神經網絡的輸入向量，約簡后的特征屬性不會影響數據連接之間的內在聯系，且可以減少存儲空間和降低算法復雜性.在后面通過小波神經網絡進行入侵分類的時候，根據選擇出的特征屬性，對樣本數據集進行輸入向量的構建，并在訓練之前須對數據進行數值化和歸一化處理，使它們可以適合于小波神經網絡的處理，使用約簡前后的數據集對基于小波神經網絡的入侵檢測系統(tǒng)進行檢測，檢測率分別為88.1%和90.4%，說明特征屬性約簡并不會影響網絡的分類性能，而且可以縮短網絡的訓練時間.

5 結語

大量冗余特征的存在會加重入侵檢測系統(tǒng)的存儲負擔并降低網絡入侵檢測分類器的性能.為此本文提出了基于粗糙集和信息熵的入侵檢測特征選擇處理方法，針對于KDDCup99標準數據集，使用該算法對網絡入侵數據特征進行信息熵的計算、重要性的度量，完成了特征的選擇.結果表明去除冗余特征后，入侵檢測系統(tǒng)的檢測率與使用全部特征時是基本不變的，但是訓練和測試時間卻降低了，達到了預想的效果.

參考文獻:

［1］王元龍. 模式識別在發(fā)動機故障診斷中的應用［J］. 科技信息,2011,28(1):32-35.

［2］SUNG A H, MUKKAMALA S. Identifying important features for intrusion detection using support vector machines and neural networks ［C］ //Proceedings of the 2003 International Symposium on Applications and the Internet Technology.IEEE Computer Society Press,2003, 209-216.

［3］PAWLAK Z. Rough set theory and its applications to data analysis ［J］. Cybernetics and Systems 1998, 29(7):661-688.

［4］付磊，王金亮. 基于粗糙集理論的RBF神經網絡在LUCC分類淺析［J］. 云南師范大學學報:自然科學版,2010,30(3): 28-31.

［5］耿德志.基于粗糙集和模糊聚類方法的屬性約簡算法［J］. 軟件導刊,2010，9（12）：81-83.

［6］蔣桂蓮,徐蔚鴻.改進粗糙集屬性約簡算法和支撐向量機的特征選擇算法［J］.微計算機信息,2010,32 (27): 235-241.

［7］孟洋,趙方.基于信息熵理論的動態(tài)規(guī)劃特征選取算法［J］. 計算機工程與設計,2010,39(17): 1542-1548.

［8］鄧林峰,趙榮珍.基于特征選擇和變精度粗集的屬性約簡算法及其應用［J］. 機械科學與技術,2010,32(10): 384-389.