人工神經(jīng)網(wǎng)絡概念精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的人工神經(jīng)網(wǎng)絡概念主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：人工神經(jīng)網(wǎng)絡概念范文
論文摘要:隨著計算機技術的飛速發(fā)展,智能計算方法的應用領域也越來越廣泛。本文介紹了當前存在的一些智能計算方法,闡述了其工作原理和特點,同時對智能計算方法的發(fā)展進行了展望。
The Analysis for Several Classic Algorism of Intellegence Computation
YANG Ming-hui
(Wuhan University of Technology, Wuhan 430074, China)
Abstract: As the computer technology develops fast, the field for intelligence algorism become wider and wider.In this paper, I introduce some methods for intelligence, and analyze their Principles and characters, finally make a Forecast of the develop of integellence computation.
Key words:Intelligence Computation; Artificial Neural Network Algorithm;Genetic algorithm;Annealing Algorithm
1 引言
智能算法也稱作為“背影算法”,是人們從現(xiàn)實的生活中的各種現(xiàn)象總結出來的算法。它是從自然界得到啟發(fā),模仿它的原理而得到的算法,這樣我們可以利用仿生原理進行設計我們的解決問題的路徑,這就是智能計算的思想。這方面的內(nèi)容很多,如人工神經(jīng)網(wǎng)絡技術、遺傳算法、模擬退火算法等,下面分別對其進行分析。
2 人工神經(jīng)網(wǎng)絡算法
2.1 人工神經(jīng)網(wǎng)絡(ARTIFICIAL NEURAL NETWORK,簡稱ANN)
人工神經(jīng)網(wǎng)絡是在對人腦組織結構和運行機制的認識理解基礎之上模擬其結構和智能行為的一種工程系統(tǒng)。早在本世紀40年代初期,心理學家McCulloch、數(shù)學家Pitts就提出了人工神經(jīng)網(wǎng)絡的第一個數(shù)學模型,從此開創(chuàng)了神經(jīng)科學理論的研究時代。其后,F Rosenblatt、Widrow和J. J .Hopfield等學者又先后提出了感知模型,使得人工神經(jīng)網(wǎng)絡技術得以蓬勃發(fā)展。
2.2 人工神經(jīng)網(wǎng)絡的特點
人工神經(jīng)網(wǎng)絡的知識存儲容量很大。在神經(jīng)網(wǎng)絡中,知識與信息的存儲表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系。它分散地表示和存儲于整個網(wǎng)絡內(nèi)的各神經(jīng)元及其連線上。每個神經(jīng)元及其連線只表示一部分信息,而不是一個完整具體概念。只有通過各神經(jīng)元的分布式綜合效果才能表達出特定的概念和知識。
由于人工神經(jīng)網(wǎng)絡中神經(jīng)元個數(shù)眾多以及整個網(wǎng)絡存儲信息容量的巨大,使得它具有很強的不確定性信息處理能力。即使輸入信息不完全、不準確或模糊不清,神經(jīng)網(wǎng)絡仍然能夠聯(lián)想思維存在于記憶中的事物的完整圖像。只要輸入的模式接近于訓練樣本,系統(tǒng)就能給出正確的推理結論。
正是因為人工神經(jīng)網(wǎng)絡的結構特點和其信息存儲的分布式特點,使得它相對于其它的判斷識別系統(tǒng),如:專家系統(tǒng)等,具有另一個顯著的優(yōu)點:健壯性。生物神經(jīng)網(wǎng)絡不會因為個別神經(jīng)元的損失而失去對原有模式的記憶。最有力的證明是,當一個人的大腦因意外事故受輕微損傷之后,并不會失去原有事物的全部記憶。人工神經(jīng)網(wǎng)絡也有類似的情況。因某些原因,無論是網(wǎng)絡的硬件實現(xiàn)還是軟件實現(xiàn)中的某個或某些神經(jīng)元失效,整個網(wǎng)絡仍然能繼續(xù)工作。
人工神經(jīng)網(wǎng)絡是一種非線性的處理單元。只有當神經(jīng)元對所有的輸入信號的綜合處理結果超過某一門限值后才輸出一個信號。因此神經(jīng)網(wǎng)絡是一種具有高度非線性的超大規(guī)模連續(xù)時間動力學系統(tǒng)。它突破了傳統(tǒng)的以線性處理為基礎的數(shù)字電子計算機的局限,標志著人們智能信息處理能力的一大飛躍。
3 遺傳算法
3.1 特點
遺傳算法是解決搜索問題的一種通用算法,對于各種通用問題都可以使用。搜索算法的共同特征為:(1)首先組成一組候選解;(2)依據(jù)某些適應性條件測算這些候選解的適應度;(3)根據(jù)適應度保留某些候選解,放棄其他候選解;(4)對保留的候選解進行某些操作,生成新的候選解。在遺傳算法中,上述幾個特征以一種特殊的方式組合在一起:基于染色體群的并行搜索,帶有猜測性質的選擇操作、交換操作和突變操作。這種特殊的組合方式將遺傳算法與其它搜索算法區(qū)別開來。
遺傳算法還具有以下幾方面的特點:
(1)遺傳算法從問題解的串集開始嫂索,而不是從單個解開始。這是遺傳算法與傳統(tǒng)優(yōu)化算法的極大區(qū)別。傳統(tǒng)優(yōu)化算法是從單個初始值迭代求最優(yōu)解的;容易誤入局部最優(yōu)解。遺傳算法從串集開始搜索,覆蓋面大,利于全局擇優(yōu)。
(2)許多傳統(tǒng)搜索算法都是單點搜索算法,容易陷入局部的最優(yōu)解。遺傳算法同時處理群體中的多個個體,即對搜索空間中的多個進行評估,減少了陷入局部最優(yōu)解的風險,同時算法本身易于實現(xiàn)并行化。
(3)遺傳算法基本上不用搜索空間的知識或其它輔助信息,而僅用適應度函數(shù)值來評估個體,在此基礎上進行遺傳操作。適應度函數(shù)不僅不受連續(xù)可微的約束,而且其定義域可以任意設定。這一特點使得遺傳算法的應用范圍大大擴展。
3.2 運用領域
前面描述是簡單的遺傳算法模型,可以在這一基本型上加以改進,使其在科學和工程領域得到廣泛應用。下面列舉了一些遺傳算法的應用領域:(1)優(yōu)化:遺傳算法可用于各種優(yōu)化問題。既包括數(shù)量優(yōu)化問題,也包括組合優(yōu)化問題;(2)程序設計:遺傳算法可以用于某些特殊任務的計算機程序設計;(3)機器學習:遺傳算法可用于許多機器學習的應用,包括分類問題和預測問題等。
4 退火算法
模擬退火算法來源于固體退火原理,將固體加溫至充分高,再讓其徐徐冷卻,加溫時,固體內(nèi)部粒子隨溫升變?yōu)闊o序狀,內(nèi)能增大,而徐徐冷卻時粒子漸趨有序,在每個溫度都達到平衡態(tài),最后在常溫時達到基態(tài),內(nèi)能減為最小。根據(jù)Metropolis準則,粒子在溫度T時趨于平衡的概率為e-ΔE/(kT),其中ΔE為溫度T時的內(nèi)能,ΔE為其改變量,k為Boltzmann常數(shù)。用固體退火模擬組合優(yōu)化問題,將內(nèi)能E模擬為目標函數(shù)值f ,溫度T演化成控制參數(shù)t,即得到解組合優(yōu)化問題的模擬退火算法:由初始解i和控制參數(shù)初值t開始,對當前解重復“產(chǎn)生新解計算目標函數(shù)差接受或舍棄”的迭代,并逐步衰減t值,算法終止時的當前解即為所得近似最優(yōu)解,這是基于蒙特卡羅迭代求解法的一種啟發(fā)式隨機搜索過程。退火過程由冷卻進度表(Cooling Schedule)控制,包括控制參數(shù)的初值t及其衰減因子Δt,每個t值時的迭代次數(shù)L和停止條件S。
5 展望
目前的智能計算研究水平暫時還很難使“智能機器”真正具備人類的常識,但智能計算將在21世紀蓬勃發(fā)展。不僅僅只是功能模仿要持有信息機理一致的觀點。即人工腦與生物腦將不只是功能模仿,而是具有相同的特性。這兩者的結合將開辟一個全新的領域,開辟很多新的研究方向。智能計算將探索智能的新概念,新理論,新方法和新技術,而這一切將在以后的發(fā)展中取得重大成就。
第2篇：人工神經(jīng)網(wǎng)絡概念范文
隨著我國經(jīng)濟的快速發(fā)展，大量的工程建設也相繼展開，同時在工程建設中也出現(xiàn)了邊坡穩(wěn)定性的問題，而這些邊坡是影響工程建設質量的重要因素。邊坡的穩(wěn)定性是工程建設研究的重要方向，在建筑工程、道路工程等很多工程中都與邊坡的穩(wěn)定性有關。邊坡工程是一個不斷變化的動態(tài)過程，其變形破壞機理非常復雜。邊坡穩(wěn)定的因素有很多，如地質因素、工程因素等，還有其本身的不確定性。邊坡的穩(wěn)定性對工程建設具有重大的影響，因此，如何科學合理的設計邊坡工程對工程建設的順利進行具有非常重要的意義。目前，邊坡穩(wěn)定性的評價方法有很多，但是這些方法由于受到人為因素的影響，且應用起來有不確定性，并沒有得到廣泛的應用。本文利用人工神經(jīng)網(wǎng)絡的知識來評價邊坡的穩(wěn)定性，通過人工神經(jīng)網(wǎng)絡結構上的特點探索影響邊坡穩(wěn)定性的因素，從而保證邊坡工程的穩(wěn)定性，促進工程建設的快速發(fā)展。
關鍵詞：人工神經(jīng)網(wǎng)絡；邊坡工程；穩(wěn)定性；貢獻
Abstract:With the rapid development of our country's economy, a lot of engineering construction, one after another in the engineering construction at the same time also appeared a slope stability problem, and the slope are important factors affecting the quality of project construction. Slope stability is one of the important direction, construction research in construction engineering, road engineering, etc. Many projects are related to the stability of the slope. Slope engineering is a constantly changing dynamic process, the deformation failure mechanism is very complicated. Slope stability factors are many, such as geological factors, engineering factors and so on, and its uncertainty. Slope stability has a significant influence on engineering construction, therefore, how to scientific and reasonable design of slope engineering smooth going on of the project construction has very important significance. At present, the slope stability evaluation method are many, but these methods under the influence of artificial factors, and the application to have uncertainty, has not been widely used. In this paper, using the knowledge of the artificial neural network to evaluate the slope stability, by artificial neural network structural characteristics to explore the influencing factors of slope stability, thus ensuring the stability of the slope engineering, to promote the rapid development of engineering construction.
Keywords: artificial neural network; Slope engineering; Stability; Contribution to the
中圖分類號： TP183文獻標識碼：A
1 邊坡穩(wěn)定性的研究現(xiàn)狀
邊坡的變形和破壞會對工程建設造成重大的影響，邊坡的穩(wěn)定性受到很多因素的影響，從范圍上來說，主要包括自然因素和人為活動因素。水文、地質、人為工程活動都可能造成邊坡穩(wěn)定性的破壞，其中邊坡應力的變化和發(fā)展是造成邊坡穩(wěn)定性破壞的根本原因。具有代表性的造成邊坡失穩(wěn)的因素如下：地下工程開挖后，由于地下土層應力的突然釋放對邊坡原有應力狀態(tài)的影響；邊坡上堆積物的載重傳播到邊坡上的影響；邊坡土層暴露在自然環(huán)境中遭受外部環(huán)境風化的影響；地下水的流動對邊坡土層強度的影響。
工程地質是邊坡穩(wěn)定性問題需要考慮的重要因素，它主要有以下兩個主要任務：第一是要準確的評價和預測與人為工程活動關系密切的天然邊坡和人工邊坡的穩(wěn)定性、變化規(guī)律和發(fā)生破壞的幾率；第二是為科學合理的設計邊坡、保證邊坡的穩(wěn)定性、采取有力的邊坡防治措施提供準確可靠的依據(jù)。而邊坡問題的出現(xiàn)總是和邊坡的變形和破壞有關，為了準確的評價和預測邊坡工程的穩(wěn)定性，首先要確定邊坡是否可能發(fā)生變形與破壞以及變形和破壞的方式和規(guī)模。因此邊坡穩(wěn)定性的工程地質要分析和研究邊坡變形和破壞的規(guī)律。邊坡變形和破壞表明了邊坡土層在不同的條件下變化的過程，同時為邊坡變形破壞力學模型的建立提供了重要依據(jù)。
邊坡工程穩(wěn)定性的研究邊坡工程的重要組成部分，越來越多的專家和研究人員加入到邊坡穩(wěn)定性研究的隊伍中，它會隨著邊坡工程的建設一直發(fā)展下去。
2 人工神經(jīng)網(wǎng)絡概述
2.1 人工神經(jīng)網(wǎng)絡的概念
人工神經(jīng)網(wǎng)絡是人工智能科學的一個重要分支，在21世紀得到了快速發(fā)展，通過人工神經(jīng)元之間的連接來處理網(wǎng)絡信息，來實現(xiàn)類似人的活動和行為，以網(wǎng)絡元件建立知識與信息的關系，而構成的一種信息處理體系。神經(jīng)元之間的變化過程決定了網(wǎng)絡的學習。神經(jīng)網(wǎng)絡在學習、信息處理、網(wǎng)絡模式識別等方面起著重要的作用，因此，它能將所有的控制因素考慮進去。
2.2 評價信息表達
由于邊坡穩(wěn)定性的影響因素很多，定性的數(shù)據(jù)和資料錯綜復雜，因此，要把這些定性的數(shù)據(jù)進行量化，然后再輸入神經(jīng)網(wǎng)絡。邊坡結構的高度、坡角等數(shù)據(jù)可直接進行實際測定；巖體結構類型和質量類別等無法直接測定的數(shù)據(jù)要通過等級數(shù)字代碼來確定；巖體的巖性、破壞類型等定性數(shù)據(jù)則通過數(shù)字代碼來確定。將這些定性的數(shù)據(jù)進行量化處理后，所有的信息數(shù)據(jù)就可以通過神經(jīng)網(wǎng)絡來處理，同時還能影響邊坡穩(wěn)定性因素的影響程度。顯而易見，當我們獲得更多的原始信息，就能更加準確的確定邊坡的特征，同時表達邊坡穩(wěn)定性因素的關系也更加復雜，通過神經(jīng)網(wǎng)絡的計算，就能確定邊坡穩(wěn)定性的評價信息，也就是邊坡的穩(wěn)定狀態(tài)。
2.3 人工神經(jīng)網(wǎng)絡的算法
人工神經(jīng)網(wǎng)絡是通過對人類大腦的結構和運行模式進行研究而模擬其結構和行為的工程系統(tǒng)。從20世紀40年代開始，人工神經(jīng)網(wǎng)絡的數(shù)學模型被第一次提出，從此人工神經(jīng)網(wǎng)絡的研究得到了快速發(fā)展，隨后很多專家和研究人員提出了其他的模型，極大地豐富了人工神經(jīng)網(wǎng)絡的研究內(nèi)容。
近年來，前饋神經(jīng)網(wǎng)絡模型BP是在工程建設中應用最為廣泛的模型，其結構由輸入層、隱含層和輸出層三部分組成，其中輸入層由N個神經(jīng)元組成，隱含層由P個神經(jīng)元組成，輸出層由q個神經(jīng)元組成。假設有i個學習樣本，F(xiàn)為輸出層神經(jīng)元的平方誤差，就構成了BP網(wǎng)絡結構。在學習的過程中，神經(jīng)元連接出現(xiàn)的錯誤為網(wǎng)絡輸出的誤差，輸入層接收輸出層的神經(jīng)元的誤差后，分配給每一個神經(jīng)單元，最終確定各層神經(jīng)元的參考誤差。
前向計算過程和誤差接收過程共同組成了BP網(wǎng)絡學習過程，其分為以下三步進行：
（1）網(wǎng)絡初始化：輸入學習率a和b，確定學習誤差e，確定權重矩陣U、V的初始值；
（2）確定學習樣本的輸入值和期望輸出值，計算網(wǎng)絡節(jié)點的具體數(shù)值，計算輸出層和隱含層的誤差，最后對各邊權值進行調(diào)整；
（3）通過改變學習效率a和b，使BP算法更加合理，重復進行計算一直到代價函數(shù)F小于學習誤差e，整個學習過程就結束了。
3 人工神經(jīng)網(wǎng)絡在邊坡穩(wěn)定性中的應用
由于影響邊坡穩(wěn)定的因素的多樣性和不確定性，這些影響因素和邊坡穩(wěn)定性之間的關系非常復雜，所以邊坡工程是一個極其復雜的非線性系統(tǒng)。而人工神經(jīng)網(wǎng)絡通過人工神經(jīng)元之間的連接來獲取網(wǎng)絡信息，它能解決復雜的非線性問題，所以人工神經(jīng)網(wǎng)絡在邊坡工程穩(wěn)定性中的應用是非常必要的。通過對現(xiàn)實中的邊坡工程進行學習，人工神經(jīng)網(wǎng)絡把學習得到的結果儲存起來，并作為網(wǎng)絡的權值。輸入影響邊坡工程穩(wěn)定性的各種因素，包括定性和定量因素，通過人工神經(jīng)網(wǎng)絡系統(tǒng)的計算和處理，就會輸出邊坡穩(wěn)定性的實際情況，人工神經(jīng)網(wǎng)絡就會建立影響邊坡穩(wěn)定性的因素和邊坡穩(wěn)定性現(xiàn)實情況的非線性關系。人工神經(jīng)網(wǎng)絡通過建立的這種非線性關系就能夠對新的邊坡穩(wěn)定性做出詳細準確的評價。大量的應用實例表明，通過人工神經(jīng)網(wǎng)絡對邊坡工程的穩(wěn)定性進行評價是一種切實可行且科學合理的方法。
4 結語
通過人工神經(jīng)網(wǎng)絡在邊坡穩(wěn)定性中的應用實例可以看出，人工神經(jīng)網(wǎng)絡對邊坡穩(wěn)定性的應用具有較好的適應性，并且可以準確地分析和評價邊坡工程的穩(wěn)定性。影響邊坡穩(wěn)定性的定性和定量因素會被納入到人工神經(jīng)網(wǎng)絡系統(tǒng)中，因為人工神經(jīng)網(wǎng)絡是以邊坡工程變形和破壞的實例作為主要內(nèi)容，所以學習樣本的準確性和內(nèi)容的完備性決定了邊坡工程穩(wěn)定性的評價是否準確，如果信息準確完備，就能達到預期的效果。人工神經(jīng)網(wǎng)絡在邊坡穩(wěn)定性評價中具有很好的實用性，相信在以后的邊坡工程建設中會得到廣泛的應用。
參考文獻
[1] 童樹奇.人工神經(jīng)網(wǎng)絡在邊坡工程中的應用研究[J]. 廣東土木與建筑. 2006(09).
[2] 陳華明.基于神經(jīng)網(wǎng)絡技術的邊坡穩(wěn)定性研究[J]. 科技創(chuàng)新導報. 2007(35).
第3篇：人工神經(jīng)網(wǎng)絡概念范文
【關鍵詞】 圖像識別技術 神經(jīng)網(wǎng)絡識別
模式識別研究的目的是用機器來模擬人的各種識別能力―比如說模擬人的視覺與聽覺能力，因此圖像識別的目的是對文字、圖像、圖片、景物等模式信息加以處理和識別，以解決計算機與外部環(huán)境直接通信這一問題?？梢哉f，圖像識別的研究目標是為機器配置視覺“器官”，讓機器具有視覺能力，以便直接接受外界的各種視覺信息。
一、圖像識別系統(tǒng)
一個圖像識別系統(tǒng)可分為四個主要部分：被識圖像、圖像信息獲取、圖像預處理、圖像特征提取、分類判決。
二、圖像識別方法
圖像識別的方法很多，可概括為統(tǒng)計（或決策理論）模式識別方法、句法（或結構）模式識別方法、模糊模式識別方法以及神經(jīng)網(wǎng)絡識別方法。重點介紹神經(jīng)網(wǎng)絡識別方法。
2.1神經(jīng)網(wǎng)絡識別方法
2.1.1人工神經(jīng)網(wǎng)絡的組成
人工神經(jīng)網(wǎng)絡（簡稱ANN）是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡，用來模擬腦神經(jīng)系統(tǒng)的結構和功能。而這些處理單元我們把它稱作人工神經(jīng)元。
2.1.2人工神經(jīng)網(wǎng)絡的輸出
2.1.3人工神經(jīng)網(wǎng)絡的結構
人工神經(jīng)網(wǎng)絡中，各神經(jīng)元的不同連接方式就構成了網(wǎng)絡的不同連接模型。常見的連接模型有：前向網(wǎng)絡、從輸入層到輸出層有反饋的網(wǎng)絡、層內(nèi)有互聯(lián)的網(wǎng)絡及互聯(lián)網(wǎng)絡。
2.1.4 學習算法
1）感知器模型及其算法
算法思想：首先把連接權和閾值初始化為較小的非零隨機數(shù)，然后把有n個連接權值的輸入送入網(wǎng)絡中，經(jīng)加權運算處理后，得到一個輸出，如果輸出與所期望的有較大的差別，就對連接權值參數(shù)按照某種算法進行自動調(diào)整，經(jīng)過多次反復，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。
2）反向傳播模型及其算法
反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學習算法。
算法思想是：B-P算法的學習目的是對網(wǎng)絡的連接權值進行調(diào)整，使得調(diào)整后的網(wǎng)絡對任一輸入都能得到所期望的輸出。學習過程包括正向傳播和反向傳播。正向傳播用于對前向網(wǎng)絡進行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡計算后求出它的輸出結果；反向傳播用于逐層傳遞誤差，修改神經(jīng)元之間的連接權值，使網(wǎng)絡最終得到的輸出能夠達到期望的誤差要求。
B-P算法的學習過程如下：
第一步：選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結果兩部分組成；第二步：從訓練樣例集中取出一樣例，把輸入信息輸入到網(wǎng)絡中；第三步：分別計算經(jīng)神經(jīng)元處理后的各層節(jié)點的輸出；第四步：計算網(wǎng)絡的實際輸出和期望輸出的誤差；第五步：從輸出層反向計算到第一個隱層，并按照某種原則（能使誤差向減小方向發(fā)展），調(diào)整網(wǎng)絡中各神經(jīng)元的權值；第六步：對訓練樣例集中的每一個樣例重復一到五的步驟，直到誤差達到要求時為止。
3）Hopfield模型及其學習算法
它是一種反饋型的神經(jīng)網(wǎng)絡，在反饋網(wǎng)絡中，網(wǎng)絡的輸出要反復地作為輸入再送入網(wǎng)絡中，使得網(wǎng)絡具有了動態(tài)性，因此網(wǎng)絡的狀態(tài)在不斷的改變之中。
算法思想是：
（a） 設置互連權值
其中xis是s類樣例的第i個分量，它可以為1或0，樣例類別數(shù)為m，節(jié)點數(shù)為n。
（b） 未知類別樣本初始化。 Yi（0）=Xi 0≤i≤n-1
其中Yi（t）為節(jié)點I在t時刻的輸出，當t=0時，Yi（0）就是節(jié)點I的初始值，Xi為輸入樣本的第I個分量。
（c） 迭代直到收斂
第4篇：人工神經(jīng)網(wǎng)絡概念范文
關鍵詞 人工神經(jīng)網(wǎng)絡模型，人工語法學習，自動聯(lián)系者，序列學習，簡單循環(huán)網(wǎng)絡。
分類號 B842
1 引言
人工神經(jīng)網(wǎng)絡模型（Artificial Neural Network Model，簡稱ANN），顧名思義，就是用人造的程序、機械或設備來模擬人腦神經(jīng)網(wǎng)絡的模型。人工神經(jīng)網(wǎng)絡模型的用途有二：（1）發(fā)明基于神經(jīng)網(wǎng)絡的人工智能系統(tǒng)，來模擬人的學習、記憶、推理等智能活動，以服務于人類的現(xiàn)實生活；（2）構建各種心理活動和心理過程的模型，以為各種心理學理論提供支持。前者是自動化、通信、制造、經(jīng)濟領域關注的，我們平時所見的語音識別、經(jīng)濟領域使用的股票走勢預測等智能系統(tǒng)大多是基于人工神經(jīng)網(wǎng)絡模型研制出來的。而后者則是心理學家所關注的領域。至今，人工神經(jīng)網(wǎng)絡模型已被用來模擬諸如知覺、記憶、學習、判斷等各種心理活動，以解釋矛盾的實驗數(shù)據(jù)，為有關的心理學理論提供豐富的證據(jù)。
和其他領域的研究者們一樣，內(nèi)隱學習領域的研究者們也注意到了這一行之有效的工具。Cleeremans（1993）指出根據(jù)已有的內(nèi)隱學習理論構造人工神經(jīng)網(wǎng)絡模型，將模型的輸出數(shù)據(jù)與人類被試的實驗數(shù)據(jù)進行比較，能為原有的理論觀點提供證據(jù)[1]。Dienes和Perner（1996）也有類似的看法[2]。然而，在發(fā)揮人工神經(jīng)網(wǎng)絡模型在內(nèi)隱學習研究上的功效之前，必須解決如下問題：人工神經(jīng)網(wǎng)絡模型是否正如Cleeremans等所言適用于內(nèi)隱學習研究？如果是，用哪類人工神經(jīng)網(wǎng)絡模型來模擬內(nèi)隱學習？
2 人工神經(jīng)網(wǎng)絡模型的工作原理及其研究內(nèi)隱學習的適用性
人工神經(jīng)網(wǎng)絡模型之所以適用于內(nèi)隱學習，是因為它的基本工作原理和內(nèi)隱學習的兩個本質特征有著驚人的相似。
2.1 人工神經(jīng)網(wǎng)絡模型的工作原理
早在20世紀40年代，便有研究者對人工神經(jīng)網(wǎng)絡模型的工作原理做了最初的嘗試。1943年，McCulloch和Pitts用類似“開關”的閾限邏輯單元（Threshold Logic Unit）**來模擬神經(jīng)元，并將多個這樣的單元以相等的強度（權重）連接起來，形成網(wǎng)絡，這就是著名的MP模型[3]。1949年，Hebb在論述條件反射的形成時，無意間提到了神經(jīng)元間連接強度更新的重要法則，即兩個彼此相連的神經(jīng)元同時激活或同時抑制，都能增加神經(jīng)元間的連接強度，后人稱此為Hebb法則[4]。然而，MP模型和Hebb法則都不能構成真正意義**上的神經(jīng)網(wǎng)絡模型，雖然，MP模型已經(jīng)具備將多個神經(jīng)元連接起來，形成網(wǎng)絡的雛形，但是由于不同單元間的連接強度相等，且恒定不可變化，MP模型不具備人工神經(jīng)網(wǎng)絡的基本特征――學習性；而Hebb雖然提出了權重變化的一條有效法則，但卻未將其應用到人工神經(jīng)網(wǎng)絡中來。真正將神經(jīng)元連接成網(wǎng)絡的思想與借助于權重更新使網(wǎng)絡具有學習性的思想綜合在一起的要屬Rosenblatt。
Rosenblatt（1958）提出了第一個真正意義上的人工神經(jīng)網(wǎng)絡模型――感知器（Perceptron）[5]。其基本工作原理為：整個感知器由多個不同層次的加工單元組成，每個加工單元的功能類似于單個神經(jīng)元或一組神經(jīng)元，它能接收來自前一層的幾個加工單元的激活，并綜合這些激活，對此進行簡單運算（例如：判斷總激活量是否達到某一閾限），然后將運算的結果傳遞給下一層的加工單元。第一層單元的激活模式反映了外部刺激狀態(tài)，即模型的輸入，而最后一層單元的激活模式則為模型的輸出反應。某個單元對下一層的另一個單元的影響取決于兩個單元之間連接的強度（權重）。為了在給定輸入的情況下，使模型獲得類似于人類被試的輸出反應，必須不停地調(diào)節(jié)單元與單元間的連接權重。所以，在構建合適的人工神經(jīng)網(wǎng)絡模型時，研究者往往會先設置一系列初始權重，然后不斷地給予模型不同的輸入模式，在每個特定輸入后，比較模型輸出與正確輸出間的差異，并據(jù)此調(diào)整單元間的連接權重，這一過程不斷進行，直到模型輸出和正確輸出間的差異達到最小值，此時，模型便完成了整個學習過程。圖1為一個典型感知器的例子，它旨在判斷呈現(xiàn)于視網(wǎng)膜的光條是垂直的還是水平的。整個感知器由3個加工單元層組成，第一層為網(wǎng)膜層，即將整個視網(wǎng)膜分割為10×10的網(wǎng)格，用每個網(wǎng)膜單元對應于一個網(wǎng)格，共100個單元，當光條落
圖1 感知器例子（資料來源：文獻[3]）
在視網(wǎng)膜的某幾個網(wǎng)格上時，這些網(wǎng)格所對應的網(wǎng)膜單元被激活。第二層為聯(lián)系層，其中的每個單元總是和某些網(wǎng)膜單元間存在興奮或抑制連接，不論興奮還是抑制連接，強度都是恒定的1或-1，當與聯(lián)系單元連接的網(wǎng)膜單元的總激活量達到聯(lián)系單元的激活閾限時，聯(lián)系單元被激活，例如圖1，Aj的接收到的總激活量為1＋1＋1-1＝2，如果Aj的閾限為2，那么2＝2，Aj被激活。第三層為反應層，其中只包括一個反應單元，它與所有的聯(lián)系單元連接，連接權重為Wj，其中，j表示第j個聯(lián)系單元。反應單元將綜合來自聯(lián)系單元的激活信息，即將每個聯(lián)系單元的激活量乘以它們之間的連接權重，然后簡單求和，得出總激活量，并判斷激活是否達到閾限，公式表示如下：
aR為反應單元的激活水平，aj為聯(lián)系單元的激活水平，θ為閾限值。如果，總激活量達到反應單元的閾限，反應單元被激活（激活量為1），感知器決定光條為垂直，否則，反應單元不被激活（激活量為0），感知器反應光條為水平。當然，感知器必須經(jīng)過一個漫長的學習階段，才能完成這一簡單的判斷任務。在學習階段，感知器接受各種不同的水平和垂直光條刺激，并一一做出反應，當反應正確時，連接權重不做任何調(diào)整，一旦反應錯誤，感知器會自動調(diào)整聯(lián)系單元與反應單元間的權重，比如：當反應單元的激活量為0時，而實際光條為垂直，說明反應單元所接收到的總激活量小于閾限，此時，則應增大那些被激活的聯(lián)系單元與反應單元間的連接權重，以提高總激活量，使其更有可能達到閾限，致使在下次刺激呈現(xiàn)時，感知器更易做出正確反應。當然，Rosenblatt的感知器除了能調(diào)整權重外，還會調(diào)整反應單元閾限。這種通過逐步調(diào)整連接權重和閾限，以減少感知器反應和正確反應間的差距的方法就是著名的感知器收斂法則（perceptron convergence rule）。不過，調(diào)整閾限的方法對于擁有多個反應單元的模型來說過于復雜，所以未被以后的人工神經(jīng)網(wǎng)絡模型采納。
可見，Rosenblatt的貢獻是卓越的，他給出了人工神經(jīng)網(wǎng)絡的基本工作原理，基于感知器收斂法則發(fā)展而來的delta法則與斜率遞減（gradient descent）法已成為如今人工神經(jīng)網(wǎng)絡最主要的算法，本文第3點中將對此做詳細介紹。然而，值得注意的一點是感知器僅在聯(lián)系層和反應層間使用了權重概念，學習過程也僅發(fā)生在這兩層之間，所以從本質上講，感知器只屬于包含一個輸入層和一個輸出層的單層網(wǎng)絡（single layer network），這種單層網(wǎng)絡在解決某些實際問題時，遇到了障礙。Minsky等（1969）指出感知器甚至無法模擬諸如XOR（異或）等簡單運算[3]。因此，在接下來的將近20年中，人工神經(jīng)網(wǎng)絡的發(fā)展一度進入低迷期。直到80年代中期，逆向傳導法（back propagation）[6]、自動聯(lián)系者（atuoassociator）[7]、循環(huán)模型（recurrent model）[8,9]一一提出，多層網(wǎng)絡廣泛應用智能模擬任務中，人工神經(jīng)網(wǎng)絡才得以迅速發(fā)展。然而，這些算法和模型的基本工作原理與最初的感知器卻并無兩樣。
2.2 人工神經(jīng)網(wǎng)絡模型研究內(nèi)隱學習的適用性
如上述，人工神經(jīng)網(wǎng)絡的工作原理為通過調(diào)整權重逐步學會正確反應。那么，這些基于調(diào)整權重來學習正確反應的人工神經(jīng)網(wǎng)絡模型是否適于研究內(nèi)隱學習呢？內(nèi)隱學習這一概念強調(diào)的是兩個特征：第一，它是學習的一種形式；第二，這種學習是內(nèi)隱的、無需意識努力的。人工神經(jīng)網(wǎng)絡的工作原理極好地匹配了這兩個特征。首先，要建立針對某一心理活動的合適的網(wǎng)絡模型，必須要經(jīng)過長期的訓練和學習過程，即向模型呈現(xiàn)許多刺激，要求其做出反應，并將模型反應與要求的正確反應進行比較，據(jù)此逐步調(diào)整內(nèi)部結構，使模型在以后的刺激情景中，更易做出正確反應。這種學習過程和人類的學習有著驚人的相似，人類在幼年時，雖然腦神經(jīng)已發(fā)展完全，但是他們?nèi)匀徊荒軋?zhí)行各種認知任務，這時候的人腦就好比初始狀態(tài)的神經(jīng)網(wǎng)絡模型，雖然，已對模型基本結構做了設定（比如，模型由幾個加工單元層組成，每層有幾個單元，哪些單元和哪些單元間存在聯(lián)系），但是由于所有的連接權重都是隨機設置的，模型不知道刺激與反應間的聯(lián)系，常常會給出錯誤反應，而當經(jīng)過幾年的學習之后，人類嬰孩不斷地從外界接收刺激，做出反應，并接收來自外界的反饋，將之與自己的反應做比較，逐步通過內(nèi)部結構的改變，來調(diào)整自己的行為，從而能夠知覺事物、理解言語、控制自身的機體運動，這就好比初始狀態(tài)的網(wǎng)絡模型，能夠通過調(diào)整權重，達到穩(wěn)定狀態(tài)，對刺激模式做出正確反應?？梢?，人工神經(jīng)網(wǎng)絡模型很好地匹配了內(nèi)隱學習地第一個特征――兩者都是學習過程。其次，內(nèi)隱學習強調(diào)學習是內(nèi)隱地進行的。由于無法直接探索學習過程是否是內(nèi)隱的，研究者往往通過驗證學習中所獲得的知識是內(nèi)隱的來間接推斷學習過程是內(nèi)隱的，當被試在分類或選擇任務中的表現(xiàn)高于隨機，卻不知道自己是依據(jù)何種知識做出正確判斷時，習得的知識被認為是內(nèi)隱的，從而進一步推斷學習過程也是內(nèi)隱的[10~12]。人工神經(jīng)網(wǎng)絡模型也一樣，從根據(jù)輸出結構來調(diào)整權重的過程來看，根本無法判斷學習過程是否是內(nèi)隱的，而類似的，人工神經(jīng)網(wǎng)絡的知識表征形式顯示神經(jīng)網(wǎng)絡模型所獲得的知識很有可能是內(nèi)隱的。當人工神經(jīng)網(wǎng)絡能做到正確反應時，指導模型該如何反應的知識似乎是存在于單元的組織結構和他們之間的連接權重上，根本無法直接從這種無序而雜亂的結構和權重上看出什么規(guī)則，例如：上述判斷光條垂直和水平的感知器，我們并無法從直觀上判斷哪些單元表征垂直光條，哪些單元表征水平光條，這種知識表征形式很有可能是內(nèi)隱的。這種知識的表征形式被稱為分布式表征（distributed representation），它和傳統(tǒng)的局部表征（local representation）很不一樣，局部表征中，每個用不同的單元表征不同的事物，例如：單元1表征事物1，單元2表征事物2……，在知識提取時，就好比查字典一樣，根據(jù)不同的事物，找到表征的位置，便可以獲悉有關事物的各種知識。而分布表征可以將不同的事物表征在同一組單元中，比如垂直光條和水平光條，在知識提取時，往往只需輸入新刺激的內(nèi)容，比如光條激活了視網(wǎng)膜的哪些區(qū)域，便能根據(jù)內(nèi)容找到合適的反應。
3 廣泛應用于內(nèi)隱學習領域的兩種人工神經(jīng)網(wǎng)絡模型
人工神經(jīng)網(wǎng)絡模型很好地匹配內(nèi)隱學習的兩大基本特征。因此，許多研究者針對不同的內(nèi)隱學習任務，選擇不同的人工神經(jīng)網(wǎng)絡模型來擬合內(nèi)隱學習過程，以探討內(nèi)隱學習的本質和機制[13~17]。
縱觀近40年來的內(nèi)隱學習研究，雖然不同的研究者開發(fā)了許多不同的任務形式，獲得了許多可喜的研究成果，但是這些任務都離不開兩種根本的任務形式――人工語法學習和序列學習。相應地，根據(jù)兩個任務的不同特點，研究者選擇了兩種不同的模型――自動聯(lián)系者和簡單循環(huán)網(wǎng)絡（simple recurrent network，簡稱SRN）――分別對之加以模擬。
3.1 人工語法學習與自動聯(lián)系者
人工語法學習任務通常是：在學習階段，要求被試在不知道內(nèi)在規(guī)則的情況下記憶一大堆合法字符串，然后，在測試階段，向被試呈現(xiàn)一批新的合法和非法字符串，并告知前面學習的字符串是一類符合語法規(guī)則的合法字符串，要求被試根據(jù)前面的學習，判斷新的字符串是否合法[10]。從測試階段的要求、學習階段的要求和所學習的知識這三個不同的角度來看，人工語法學習具有三個主要特征：
第一，測試階段要求被試進行的是一項典型的分類任務。相應地，檢索1943年以來，人工神經(jīng)網(wǎng)絡模型發(fā)展的這段歷史，便可以發(fā)現(xiàn)只有模式聯(lián)系者（pattern associator）是專門針對模式識別和分類而開發(fā)出來的模型。模式聯(lián)系者的誕生源自于條件反射的思想，即建立刺激和反應間的聯(lián)系。用模式聯(lián)系者的話說，就是對于特定的輸入刺激模式，給出相應的反應模式。有趣的是，當用一組單元表示輸入模式，另一組單元表示輸出模式，它們兩兩連接在一起（如圖2），并使用Hebb法則Wij=εαiαi更新權重時（其中，ΔWij為輸入單元j和輸出單元i之間權重的變化量，ε為學習速率，是常數(shù)，aWi為輸出單元的激活量，aWj為輸入單元的激活量），模式聯(lián)系者便能在同一個模型中存儲不同的輸入模式，將反應模式相同的輸入模式歸于同一類，并且當模式中的某些量缺失時，比如某個輸入單元損壞，模型仍能正常運行[3]?？梢姡Ｊ铰?lián)系者能夠有效地模擬分類任務，甚至是某些腦神經(jīng)受損病人（相當于某些輸入或輸出單元受損）的分類活動。然而，人工語法學習并不僅是單純的分類任務，它還具有其他特征，因此，只模擬測試階段的分類任務是遠遠不夠的。
第二，人工語法學習的另一個特征是，學習階段要求被試在沒有任何指導（反饋）的情況下學習字符串，即并沒有在被試學習某一字符串的同時，告訴他們這一字符串屬于哪一類，合法還是非法。投射到模式聯(lián)系者中，就是在學習對特定刺激模式的分類時，不伴隨相應的反應模式，即沒有輸出單元。事實上，人類的許多學習過程都是在沒有外部指導的情況下進行的。比方說，當孩子看到麻雀和燕子（刺激模式）時，家長告訴他這是鳥（反應模式），但很多時候，家長并不在身邊，比如，當孩子看到鴿子時，沒有外在反應模式指導，孩子仍能反應為鳥，人類似乎能夠在沒有外在的反應模式引導教育的情況下，學會分類。人工語法學習也是一樣，雖然在學習時，沒有被告知哪些合法，哪些不合法，但是被試仍能學會分類規(guī)則。這些事實提示研究者：必須開發(fā)一種沒有外在引導者的自適應模型。于是，McClelland 和Rumelhart（1985）在對模式聯(lián)系者稍做調(diào)整的基礎上，提出了模式聯(lián)系者的一個自適應特例――自動聯(lián)系者[7]。由于沒有外部引導，任何自適應模型必須具備自我反饋的功能，自動聯(lián)系者也一樣，如圖3所示，每個單元除了接收外部輸入（e）以外，還必須接收來自其他單元的內(nèi)部輸入（i），這種存在內(nèi)部反饋的模型被稱為循環(huán)模型。為了達到分類的目的，自動聯(lián)系者旨在再現(xiàn)單元的外部輸入模式，就好像人工語法學
圖3 含有8個單元的自動聯(lián)系者（資料來源：文獻[7]）
習中，記憶字符串一樣。而為了達到這一點，必須調(diào)節(jié)連接權重，使單元的內(nèi)部輸入能匹配外部輸入，用公式表示為：
aWj為單元j的激活量。雖然，自動聯(lián)系者模型沒有可比對的反應模式，但是，上述算法的核心仍是用內(nèi)部狀態(tài)去匹配外部狀態(tài)，盡量減少兩者間的差異，因此，上述公式仍可看成delta法則*的變式。當然，除了使用delta法則來訓練自動聯(lián)系者外，也有研究者（例如，文獻[14]）使用類似模式聯(lián)系者的Hebb法則訓練該模型。和模式聯(lián)系者一樣，自動聯(lián)系者也能習得不同的外部輸入模式，并對此做出分類?？梢?，自動聯(lián)系者能夠很好地模擬人工語法學習任務學習和測試階段的表面屬性――無外部引導的分類學習任務。然而，它是否能模擬語法學習這一內(nèi)部屬性呢？
第三，人工語法學習的本質特征在于所獲得的是有關語法的知識。雖然，如前所述，自動聯(lián)系者獲得的是一種無法外顯的分布性表征的知識，但是，有意思的是這種表征似乎代表了某一類別的原型。而原型或許就好比語法的抽象表示方法。McClelland 和Rumelhart（1985）曾構建了一個由24個單元組成的自動聯(lián)系者，將一些有關狗的信息輸入這24個單元[7]，其中前8個單元輸入的是狗的名字信息，后16個單元輸入的是狗的外貌信息，結果發(fā)現(xiàn)經(jīng)過訓練后，模型的權重矩陣呈現(xiàn)出特殊的構造，即前8個單元之間及前3個單元與后16個單元間的權重處于隨機水平，而后16個單元間的權重卻出現(xiàn)某種固定的模式，McClelland和Rumelhart認為這種固定的模式就是狗視覺表象的原型。雖然，無法從這種固定的權重模式中，看出典型的狗應該具有哪些特征，但是至少可以認為，如果兩個單元間的連接權重比較大，那么當這兩個單元同時被激活時，模型有可能將目標判斷為狗。也就是說，原型所表征的是每個視覺特征間的聯(lián)系。這就好比，人工語法學習中的語法知識，語法或許是由字母間的聯(lián)系所表征的。所以，從這點意義上來，自動聯(lián)系者習得的原型或許就是語法知識。
3.2 序列學習和簡單循環(huán)網(wǎng)絡
序列學習任務要求被試對一系列規(guī)則序列進行選擇反應，其假設為：如果被試習得了序列間存在的固定規(guī)則，則他們可以依據(jù)前面呈現(xiàn)的序列來預測下一個項目是什么，成功的預測將會縮短被試的反應時[11]。序列學習和人工語法學習之間的本質區(qū)別在于：它是一項預測任務，而非分類任務，被試對某一項目的反應依賴于前面的項目。
1990年，Elman開發(fā)了簡單循環(huán)網(wǎng)絡，專門用來模擬這類預測任務[9]。簡單循環(huán)網(wǎng)絡的目的是根據(jù)當前輸入的項目來預測下一個項目，它的基本結構如圖4所示，由4個加工單元層組成，它們分別是輸入單元層、隱含單元層、上下文單元層和輸出單元層。輸入單元層用于表征當前輸入的項目，輸出單元層用于表征模型所預測的項目，上下文單元層用于表征在當前項目之前出現(xiàn)的項目序列，而隱含單元層負責在輸入、輸出和上下文單元層間的信息傳遞。簡單循環(huán)網(wǎng)絡的工作原理為：在接收第一
圖4 簡單循環(huán)網(wǎng)絡的基本結構（資料來源：文獻[16]）
個項目時，輸入層中的某些單元被激活，并將激活傳遞給隱含層中的單元，隱含層除了將激活進一步傳遞給輸出層，由輸出層預測第二個項目外，還將自己的激活水平復制于上下文層，當接收第二個項目時，隱含層除了收到來自輸入層的激活外，還將收到來自上下文層的激活，因此，它向輸出層傳遞的激活則包含了第一和第二兩個項目的信息，依此類推，輸出層所做出的預測是基于包含當前項目之內(nèi)的所有項目的信息。當然，和其他許多人工神經(jīng)網(wǎng)絡模型一樣，簡單循環(huán)模型依據(jù)delta法則來調(diào)整權重的，即將模型給出的預測與真實出現(xiàn)的后續(xù)項目進行比較，來調(diào)整權重。不過，簡單循環(huán)網(wǎng)絡所使用的delta法則和自動聯(lián)系者有兩點差異：（1）權重調(diào)整是通過斜率遞減法進行的，即尋求預測反應和真實項目之間誤差方差的最小值，用公式表示為：
其中，tout為真實的正確輸出，aout為模型的預測輸出；（2）不同于自動聯(lián)系者，簡單循環(huán)網(wǎng)絡是多層模型，當調(diào)整輸出層單元和隱含層單元間的權重時，計算預測和真實項目間的誤差方差是可以直接計算獲得的，然而當要調(diào)整隱含層單元與輸入層單元或上下文層單元間的權重時，由于不存在真實的正確反應，誤差方差則無從計算，所以Rumelhart和McClelland（1986）提出可以用輸出層單元的誤差來估計隱含層單元的誤差，即某一隱含單元的誤差為所有與之連接的輸出層單元的誤差與它們之間權重乘積求和的函數(shù)[6]
然后，同樣用斜率遞減法求出權重的變化量，這種誤差計算的法則和簡單循環(huán)網(wǎng)絡中原有的信息流方向正好相反，所以又被稱為逆向推導。
簡單循環(huán)網(wǎng)絡能有效地模擬序列學習中的預測機制，因此，它剛提出不久，就被用于模擬內(nèi)隱序列學習，用來研究序列學習的抽象性等問題[13,15,16]。
總之，針對不同的內(nèi)隱學習任務，為了得到更佳的模擬效果，研究者往往傾向于選擇不同人工神經(jīng)網(wǎng)絡模型加以模擬。然而，就像是任務之間的劃分并不絕對一樣（比如：Cleeremans等就曾將人工語法和序列學習結合在同一個任務中），神經(jīng)網(wǎng)絡模型和內(nèi)隱學習任務間的匹配也并不絕對，比如：Boucher等（2003）就層用簡單循環(huán)網(wǎng)絡來模擬序列學習[17]。
4 小結
基于權重調(diào)整來學習正確反應的人工神經(jīng)網(wǎng)絡模型和內(nèi)隱學習的兩大本質特征間有著極優(yōu)的匹配，人工神經(jīng)網(wǎng)絡模型在內(nèi)隱學習領域的適用性毋庸置疑。在這樣的背景下，出于深入探討內(nèi)隱學習的目的，研究者紛紛根據(jù)不同的內(nèi)隱學習任務，選用不同的人工神經(jīng)網(wǎng)絡模型對之加以模擬[18]。到目前為止，針對兩種較為普遍的內(nèi)隱學習任務，也相應地出現(xiàn)了兩種使用較為廣泛的神經(jīng)網(wǎng)絡模型――自動聯(lián)系者和簡單循環(huán)網(wǎng)絡。在實際研究中，合理地使用這兩個模型，必將為內(nèi)隱學習的理論和人工模擬提供更有力的證據(jù)。
參考文獻
[1] Cleeremans A. Mechanisms of Implicit Learning: Connectionist Models of Sequence Processing. In: Jeffrey L E ed. Neural Network Modeling and Connectionism. London: MIT Press, 1993
[2] Dienes Z, Perner J. Implicit knowledge in people and connectionist networks. In: Underwood G.. Implicit cognition. Oxford: Oxford University Press, 1996
[3] McLeod P, Plunkett K, Rolls E T. Introduction to Connectionist Modelling of Cognitive Processes. Oxford: Oxford University Press, 1998
[4] Milner P. A Brief History of the Hebbian Learning Rule. Canadian Psychology, 2003, 44(1): 5~9
[5] Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Reviews, 1958, 65: 386~408
[6] Rumelhart D, McClelland J. Parallel distributed processing (vol. 1). Cambridge: MIT press, 1986a
[7] McClelland J, Rumelhart D. Distributed Memory and the Represantation of General and Specific Information. Journal of Experimental Psychology: General, 1985, 114(2): 159~188
[8] Jordan M. An introduction to linear algebra in parallel distributed processing. In: Rumelhart D, McClelland J ed. Parallel distributed processing (vol. 1). Cambridge: MIT press, 1986a. 365~422
[9] Elman J. Finding structure in time. Cognitive Science, 1990, 14(2): 179~212
[10] Reber A S. Implicit learning of artificial grammars. Journal of Verbal Learning and Verbal Behavior, 1967, 6(2): 317~327
[11] Nissen M J, Bullemer P. Attentional requirement of learning: Evidence from performance measures. Cognitive Psychology, 1987, 19(1): 1~32
[13] 郭秀艷, 鄒玉梅, 李強等. 中學生顏色內(nèi)隱學習特征的實驗研究. 心理與行為研究, 2003, 1(2): 122~127
[14] Cleeremans A, McClelland J L. Learning the Structure of Event Sequence. Journal of Experimental Psychology: General, 1991, 120(3): 235~253
[15] Dienes Z. Connectionist and Memory-Array Models of Artificial Grammar Learning. Cognitive Science, 1992, 16(1): 41~79
[16] Jiménez L, Méndez C, Cleeremans A. Comparing Direct and Indirect Measures of Sequence Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1996, 22(4): 948~969
[17] Dienes Z, Altmann G, Gao S J. Mapping across Domains Without Feedback: A Neural Network Model of Transfer of Implicit Knowledge. Cognitive Science, 1999, 23(1): 53~82
第5篇：人工神經(jīng)網(wǎng)絡概念范文
計算智能（Computational Intelligenee，簡稱CI），又稱軟計算，該詞于1992年被美國學者J.C.Bezdekek首次提出，1994年全計算智能大會明確提出了計算智能的概念，標志著計算智能作為一門獨立學科的誕生。傳統(tǒng)的人工智能問題的處理、結論的得出都需要在建立精確的數(shù)字模型的基礎上才能實現(xiàn)，但現(xiàn)實中有很多的數(shù)據(jù)都是模糊的，無法建立精確的模型，使得人工智能的應用范圍相對狹窄，而計算智能則突破了人工智能的瓶頸，以模型為基礎，模擬人的理論與方法，只需要直接輸入數(shù)據(jù)，系統(tǒng)就可以對數(shù)據(jù)進行處理，應用范圍更加的廣泛。
計算智能的本質是一類準元算法，主要包括進化計算，人工神經(jīng)網(wǎng)絡、模糊計算、混沌計算、細胞自動機等，其中以進化計算、人工神經(jīng)網(wǎng)絡及模糊系統(tǒng)為典型代表。
1.1 進化計算 進化計算是采用簡單的編碼技術來表示各種復雜的結構，并通過遺傳操作和優(yōu)勝劣汰的自然選擇來指導學習和確定搜索的方向，具有操作簡單、通用性強、效率高的優(yōu)點，其工作原理是通過種群的方式進行計算，借助生物進化的思想來解決問題，分為遺傳算法、進化規(guī)劃及進化策略三大類。
1.2 人工神經(jīng)網(wǎng)絡 人工神經(jīng)網(wǎng)絡是一個高度復雜的非線性動力學系統(tǒng)，具有模糊推理、并行處理、自訓練學習等優(yōu)勢，其工作原理是仿照生物神經(jīng)網(wǎng)絡處理信息方式，通過不同的算法和結構，將簡單的人工神經(jīng)細胞相互連接，通過大量的人工神經(jīng)單元來同時進行信息的傳播，并將信息儲存在改革細胞單元的連接結構中，快速地得到期望的計算結構。生物神經(jīng)網(wǎng)絡的細胞是在不斷的生成和更新著的，即部分細胞壞死，整個神經(jīng)網(wǎng)絡仍能維持正常的運轉秩序而不會驟然崩潰，同樣人工神經(jīng)網(wǎng)絡也有著這樣的特性，即使部分神經(jīng)細胞發(fā)生問題，整個網(wǎng)絡也能夠正常的運轉。人工神經(jīng)網(wǎng)絡按照連接方式的不同分為前饋式網(wǎng)絡與反饋式網(wǎng)絡，前饋式網(wǎng)絡結構中的神經(jīng)元是單層排列的，分為輸入層、隱藏層及輸出層三層，信息的傳播是單向的，每個神經(jīng)元只與前一層的神經(jīng)元相連，即信息只能由輸出層傳向隱藏層再傳向輸入層，而不能由輸出層直接傳向輸入層；反饋式網(wǎng)絡結構中每個人工神經(jīng)細胞都是一個計算單元，在接受信息輸入的同時還在向外界輸出著信息。不同的行業(yè)和領域可以根據(jù)自身的需要將不同的網(wǎng)絡結構和學習方法相結合，建立不同的人工神經(jīng)網(wǎng)絡模型，實現(xiàn)不同的研究目的。
1.3 模糊系統(tǒng) 客觀世界中的事物都具有不同程度的不確定性，如生活中的“窮與富”、美與丑”、“相關與不相關”無法用一個界線劃分清楚，對于事物不確定研究的過程中產(chǎn)生了模糊數(shù)學，所謂模糊性是指客觀事物差異的中間過渡中的“不分明性”。美國專家L.A. Zdahe教授首次運用了數(shù)學方法描述模糊概念，自此之后模糊數(shù)學形成了一個新的學科，并在世界范圍內(nèi)發(fā)展起來，在醫(yī)學、農(nóng)業(yè)等方面得到了應用。
2 計算智能在機械制造中的應用
機械制造業(yè)是國民經(jīng)濟的基礎產(chǎn)業(yè)，機械制造業(yè)的發(fā)展對于促進工業(yè)生產(chǎn)領域的發(fā)展，保持經(jīng)濟穩(wěn)步增長，滿足人們?nèi)粘Ｉ畹男枨螅岣呷藗兊纳钯|量有著重要意義。一個國家機械制造業(yè)水平的高低是衡量該國工業(yè)化程度的重要指標。由于研究角度的不同，機械制造業(yè)有著不同的分類，如國家統(tǒng)計局將機械制造行業(yè)分為通用設備、專用設備、交通運輸設備、電氣設備、儀器儀表及辦公設備五大類，證券市場將機械制造行業(yè)分為機械、汽車及配件、電氣設備三大子行業(yè)。根據(jù)調(diào)查顯示，2013年我國制造業(yè)產(chǎn)值規(guī)模突破20萬億元，同比增長17.5%，產(chǎn)值占世界比重的19.8%，經(jīng)濟總量位居世界首位，利潤4312.6億元，增長0.33%，增加值累計同比增長10.4%。
隨著計算智能研究的深入，計算智能在機械制造中得到了應用。伴隨著機械行業(yè)的飛速發(fā)展，各類生產(chǎn)安全事故也時有發(fā)生。造成安全事故的原因是多方面的，首先是操作人員安全意識淡??；其次是企業(yè)的安全管理和監(jiān)督缺失，我國相當多的機械制造企業(yè)不重視勞動安全衛(wèi)生方面的數(shù)據(jù)統(tǒng)計和資料積累，為了追求最大利潤在安全生產(chǎn)方面投入的資金過少，缺乏對員工開展安全教育的培訓。建立科學的安全生產(chǎn)評價方式對于防止各類安全事故，提高安全效益有著積極意義。人工智能的安全評價方法以線性函數(shù)為基礎，而安全生產(chǎn)評價體系是一個復雜的系統(tǒng)，涉及的內(nèi)容繁雜，需要考慮的因素很多，存在很大的不確定性，導致得到的結論與實際現(xiàn)場常常不能一致，計算智能以選擇非線性函數(shù)建立安全生產(chǎn)評價模型，實現(xiàn)對非線性函數(shù)關系的擬合，解決了這一難題。
在機械制造中存在著大量的模糊信息，如機械設備的損耗、零件設計目標等信息都是用比較模糊的術語來表達，傳統(tǒng)的人工智能進行新的零件生產(chǎn)制造時，設計人員對零件進行設計，確定零件的尺寸，然后試生產(chǎn)零件應用在設備中，如不符合要求，再進行調(diào)整，這就要求設計人員有著豐富的知識和實踐經(jīng)驗，能夠根據(jù)需要設計出適合的零件，而計算智能以系統(tǒng)論作為基礎的，對選擇的自變量進行適當?shù)膬?yōu)化和控制，只需要設計人員將零件的形狀、大小、作用等輸入計算機，并對零件制造的程序編排，利用計算機確定零件的制造技術，同時控制零件的質量，使零件設計、制造的過程更加便捷。
第6篇：人工神經(jīng)網(wǎng)絡概念范文
本研究應用神經(jīng)網(wǎng)絡的原理，基于BP網(wǎng)絡使用MATLAB語言建立一個剩余油分布的預測系統(tǒng)。該系統(tǒng)通過學習在地理坐標和孔隙度之間建立一個非線性函數(shù)關系，以此來預測任何區(qū)域的孔隙度，再通過孔隙度與剩余油飽和度之間的關系達到剩余油分布預測的目的。
關鍵詞：神經(jīng)網(wǎng)絡；剩余油分布；BP網(wǎng)絡；預測
中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)36-2706-03
BP Artificial Neural Networks for the Remaining Oil Prediction
SHI Xiao-song, CHENG Guo-jian
(School of Computer Science, Xi'an Shiyou University, Xi'an 710065, China)
Abstract: After a majority of our oilfield and secondary recovery, we just get 30% of the total reserves, which means that 60% to 70% of the remaining residual oil in the ground become remaining oil . China's 2007 crude oil output grew only by 1.6 percent to 12.872 million tons. Clarifying the law of distribution of the remaining oil and improving oil recovery is not only an economic effect, but also a National oil strategic issue.
In this study, we used MATLAB language to establish a forecast system of distribution of remaining oil based on BP network. After studying, this system can get a nonlinear function between the geographical coordinates and porosity. We can get the regional porosity using this system. Then using the relationship the porosity and the remaining oil, we can known the distribution of the remaining oil.
Key words: artificial neural networks; distribution of remaining oil; BP network; prediction
1 引言
我國多數(shù)油田經(jīng)過一次、二次采油后，僅能采出地下總儲量的30%左右，這意味著有60%～70%的剩余石油仍然殘留在地下成為剩余油。對剩余油分布預測的研究可以提高石油開發(fā)的效率和節(jié)約開發(fā)成本。人工神經(jīng)網(wǎng)絡是計算機中重要的一門學科，它具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入－輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結果。本文就是用人工神經(jīng)網(wǎng)絡，基于已知的數(shù)據(jù)來預測剩余油的分布。神經(jīng)網(wǎng)絡技術有著逼近任意非線性映射的能力，通過學習獲知系統(tǒng)差分方程中的位置非線性函數(shù)，這使得它在系統(tǒng)建模和預測中有著很好的應用。
2 剩余油分布預測的研究
從20世紀80年代開始，研究剩余油分布和提高采收率問題已引起世界各石油生產(chǎn)國的普遍關注。針對剩余油分布的研究方法在各個層面都有了一定的突破。目前，剩余分布的研究方法主要有：地質方法，油藏工程、試井及數(shù)值模擬方法和室內(nèi)實驗技術等。
2.1 剩余油分布預測的研究現(xiàn)狀
目前，國內(nèi)外對剩余油研究的重點主要集中在三個方面：1）對生于有分布的描述；2）對剩余油飽和度的測量與監(jiān)測技術的研究；3）對剩余油挖潛技術的研究。
2.2 剩余油分布預測要用到的主要參數(shù)
影響剩余油分布的因素很多，通常劃分為兩類：地質因素和開發(fā)因素。地質因素主要包括有：油藏非均質性、構造、斷層等。開發(fā)因素主要包括有：注采系統(tǒng)的完善程度、注采關系和井網(wǎng)布井、成產(chǎn)動態(tài)。前者屬于內(nèi)因，后者屬于外因。它們的綜合作用就導致了目前剩余油分布的多樣性。
剩余油飽和度是描述剩余油的重要概念。某種流體的飽和度是指：儲層巖石孔隙中某種流體所占的體積百分數(shù)。它表示了孔隙空間為某種流體所占據(jù)的程度。巖石中由幾相流體充滿其孔隙，則這幾相流體飽和度之和就為1(100%)。隨著油田發(fā)開油層能力的衰減，即使是經(jīng)過注水侯還會在地層孔隙中存在著尚未驅盡的原油，這些油在巖石孔隙中所占體積的百分比稱為剩余油飽和度
3 人工神經(jīng)網(wǎng)絡
人工神經(jīng)網(wǎng)絡（Artifical Neural Network,ANN），亦稱為神經(jīng)網(wǎng)絡（Neural Networks,NN），是由大量處理神經(jīng)單元（神經(jīng)元Neuros）廣泛互聯(lián)而成的網(wǎng)絡，是對人腦的抽象、簡化和模擬，反應人腦的基本特征。神經(jīng)網(wǎng)絡的基本功能有聯(lián)想記憶、非線性映射、分類與識別、優(yōu)化計算、知識處理等。ANN在解決復雜的或是非線性問題時，具有獨特的性能。近年來，國內(nèi)外眾多學者將其應用到石油等領域，取得了不少成果。人工神經(jīng)網(wǎng)絡具有以下幾個特征：1）并行分布處理；2）非線性映射； 3）通過訓練進行學習，神經(jīng)網(wǎng)絡是通過研究過去的數(shù)據(jù)記錄進行訓練的，一個經(jīng)過適當訓練的神經(jīng)網(wǎng)絡具有歸納全部數(shù)據(jù)的能力，因此，神經(jīng)網(wǎng)絡能夠解決那些由數(shù)學模型或描述規(guī)則難以處理的控制過程問題；4）適應與綜合； 5）分類與識別，神經(jīng)網(wǎng)絡可以很好地解決對非線性曲面的逼近問題，因此比傳統(tǒng)的分類器具有更好的分類與識別能力。
目前，BP算法已經(jīng)成為應用最多且最主要的一種訓練前饋人工神經(jīng)網(wǎng)絡的學習算法，也是前饋網(wǎng)絡得以廣泛應用的基礎。BP算法的學習目的是對網(wǎng)絡的連接權值進行調(diào)整，使得調(diào)整后的網(wǎng)絡對任一輸入都能得到所期望的輸出。BP算法的基本思想是學習過程由正向傳播和反向傳播組成。正向傳播用于對前饋網(wǎng)絡進行計算，即對某一輸入信息，經(jīng)過網(wǎng)絡計算后求出它的輸出結果；反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權值，以使網(wǎng)絡對輸入信息經(jīng)過計算后所得到的輸出能達到期望的誤差要求。BP網(wǎng)絡算法的指導思想是：網(wǎng)絡權值的修正與閾值的修正，使誤差函數(shù)沿梯度方向下降。
圖1給出了整個BP算法學習過程的流程圖。
第7篇：人工神經(jīng)網(wǎng)絡概念范文
關鍵詞：徑向基神經(jīng)網(wǎng)絡（RBFN）； 超高壓； 繼電保護； LLS； 梯度下降法
中圖分類號：TN911-34; TP332 文獻標識碼：A
文章編號：1004-373X(2011)20-0196-04
Algorithm of EHV Relaying Protection Based on RBF Neural Network
ZHANG Dong1, WANG Tao2
(1. Inner Mongolia Electric Power Group, Hohhot 010080, China;
2. School of Electronics and Information Engineering, Soochow University, Suzhou 215021, China)
Abstract： An algorithm of EHV (extra high voltage) relaying protection based on RBFN (radial basis function neural network) is proposed. The algorithm can conduct the training according to the existing relaying data sample set because the RBFN has learning ability, find the internal relations of fault detection, fault location, self-adaptive automatic reclosing technology, differential protection and distance protection by analysis, and realize the self-adaptive control over the future relaying protection data samples. The highlight of this algorithm is that the factors of both predicting precision and training time of RFBN are taken into consideration in the process of construction. The linear least squares (LLS) and the gradient descent method are employed for MATLAB simulation experiment to obtain a more accurate result of prediction.
Keywords： RBFN; EHV; relaying protection; LLS; gradient descent
0 引 言
隨著電力工業(yè)的不斷發(fā)展，現(xiàn)代電力系統(tǒng)已成為┮桓齦囈追竅咝?、高竻矀蝙o拇笙低常人們對系統(tǒng)運行的可靠性、持續(xù)性和穩(wěn)定性要求也越來越高，這就使得電力系統(tǒng)中問題的解決越來越困難。
繼電保護的任務就是檢測故障信息，識別故障信號，進而決定保護是否跳閘。傳統(tǒng)的繼電保護和故障診斷方法自適應能力有限，不能適應各種運行方式和診斷復雜故障。
徑向基神經(jīng)網(wǎng)絡（RBFN）具有很強的自適應能力、學習能力、非線性映射能力和容錯能力，并且魯棒性好，應用在電力系統(tǒng)繼電保護有很大優(yōu)勢，很多難以列出方程式或難以求解的復雜的非線性問題，應用徑向基神經(jīng)網(wǎng)絡（RBFN）方法都可以得到很好的解決。
1 人工神經(jīng)網(wǎng)絡概述
1.1 人工神經(jīng)網(wǎng)的概念
人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，ANNs）也簡稱為神經(jīng)網(wǎng)絡（NNs）或稱作連接模型（Connectionist Model），它是一種模范動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，可以通過預先提供一批相互對應的輸入-輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結果，這種學習分析的過程被稱為“訓練”。
人工神經(jīng)網(wǎng)絡是一門模擬人腦生物過程的人工智能技術,是根據(jù)大腦神經(jīng)元電化學活動抽象出來的一種多層網(wǎng)絡結構，它是由大量的神經(jīng)元互聯(lián)形成的復雜的非線性系統(tǒng)。神經(jīng)元結構如圖1所示。所有輸入M通過一個權重K進行加權求和后加上閾值d，再經(jīng)傳遞函數(shù)f的作用后即為該神經(jīng)元的輸出a，且有：
Иa=f(MK+d)(1)И
1.2 徑向基神經(jīng)網(wǎng)絡理論
徑向基神經(jīng)網(wǎng)絡(RBFN)是一個三層的前饋神經(jīng)網(wǎng)絡，包括一個輸入層、一個徑向基層(即隱含層)和┮桓鍪涑霾恪F浠本原理是以徑向基函數(shù)作為隱層單元的基，構成隱含層空間，隱含層對輸入矢量進行變換將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，使得在低維空間內(nèi)的線性不可分問題在高維空間內(nèi)線性可分。徑向基函數(shù)它模擬了人腦中局部調(diào)整、相互覆蓋感受野(Receptive Field)，因此是一種局部逼近網(wǎng)絡，科學界已經(jīng)證明它能以任意精度逼近任意函數(shù)，其拓撲結構如圖2所示。
圖1 人工神經(jīng)元模型
圖2 RBF網(wǎng)絡結構圖
輸入層節(jié)點獲取輸入向量后，傳遞輸入向量到隱含層。隱含層節(jié)點由徑向基函數(shù)構成，徑向基函數(shù)可采取多種形式(通常采用Gaussian函數(shù))。隱含層執(zhí)行非線性變換，將輸入空間映射到一個新的空間。輸出層通常是簡單的線性函數(shù)。隱含層節(jié)點和輸出層節(jié)點以不同的權重完全連接。隱含層節(jié)點的激活函數(shù)對輸入激勵產(chǎn)生一個局部響應，輸入向量越靠近基函數(shù)的中心，隱含層節(jié)點做出的響應越大。隱含層第j結點的輸出響應為：
ИGj(x)=exp－x－μj2σ2j （2）И
式中：x= ［ X1,X2,…,Xn ］ 為輸入向量；μj,σj分別為第j個神經(jīng)元的中心和大??；c為神經(jīng)元的個數(shù)。
輸出層為隱含層各個單元的加權和:
И=f(x)=∑cj=1wjGj(x)（3）И
式中：wj為第j 個神經(jīng)元對應的權值。
2 基于RBF的超高壓繼電保護算法
2.1 訓練數(shù)據(jù)的樣本采集
訓練所需要的樣本數(shù)據(jù)，直接關系到訓練出來經(jīng)驗函數(shù)精度的優(yōu)劣，所以一組好的訓練樣本是經(jīng)驗函數(shù)精度的保證。本文采用內(nèi)蒙古電力集團公司超高壓局近幾年對繼電保護數(shù)據(jù)記錄，其中樣本數(shù)據(jù)繁多，從中選取了5 000個有效數(shù)據(jù)作為樣本，用其中4 000來訓練經(jīng)驗函數(shù)，后1 000個用來檢測訓練效果。
2.2 RBF神經(jīng)網(wǎng)絡混合學習算法
RBF網(wǎng)絡的學習分為兩個過程。第一個過程：根據(jù)所有輸入向量確定各隱含層節(jié)點的高斯函數(shù)的中心值cj。第二個過程：在確定了隱含層j的參數(shù)后，根據(jù)樣本，利用最小二乘法原則求出輸出層的權值wjt。建立RBF神經(jīng)網(wǎng)絡的關鍵問題是根據(jù)給定的訓練樣本確定徑向基函數(shù)的中心。因為一旦確定了徑向基函數(shù)的中心cj，則對于所有的訓練樣本而言Gj和預期輸出yt 是已知的，輸出權值`jt可以通過最小二乘法求出。
2.2.1 調(diào)整隱層神經(jīng)元中心及寬度
梯度下降法的構造過程中首先定義誤差函數(shù)：
ИE=12∑Nn=1En（4）И
式中：N為樣本個數(shù)；En為輸入第nЦ鲅本是的誤差定義為：
ИEn=∑sk=1(tnk－ynk)2， n=1,2,…,N(5)И
要使誤差函數(shù)最小化，則參數(shù)的修正量應與其負梯度成正比則有：ЕCj=－η1ECj和Δσj=－η2E鄲要j Т入后得：
ИЕCj=2η1∑Nn=1∑sk=1(tnk－ynk)•Rnjwn(k,j)•pn－cnj(σnj)2(6)
Δσj=2η2∑Nn=1∑sk=1(tnk－ynk)•Rnjwn(k,j)pn－cnj2(σnj)3(7)И
當所有樣本輸入完成后，運用迭代的方法對參數(shù)進行調(diào)整，如下所示：
ИCj(m+1)=Cj(m)+ΔCj(8)
σj(m+1)=σj(m)+Δσj(9)И
式中:Cj是中心的學習速率；σj是高斯寬度的學習速率；m為迭代次數(shù)。為了保證分類器的泛化性能，采用的高斯寬度的學習速率通常大于中心的學習速率，因為小的學習速率使算法收斂過慢，而過大的學習速率可能會導致算法變得不穩(wěn)定。
2.2.2 RBF網(wǎng)絡的權值確定
首先設定輸入矩陣為：M∈Rr×N，隱層輸入矩陣為：P∈Ru×N；輸出層矩陣為：K∈Rs×N；其中n為訓練樣本。若RBF網(wǎng)絡的待定輸出層權值W∈Rs×u，其三者關系為：
ИK=W×P（10）И
樣本的目標輸出為：T=(t1,t2,…,ts)T∈Rs×N，在這里采用線性最小二乘法(LLS)來使得目標輸出與網(wǎng)絡實際輸出之間的誤差達到最小,運用R的R+來求得W為R+T。
2.2.3 經(jīng)驗函數(shù)訓練流程圖
本文所訓練的經(jīng)驗函數(shù)的算法流程圖分為兩個階段，第一階段是樣本處理，由于樣本具有重復性，在經(jīng)過樣本處理后，就保證了存儲在樣本庫中的樣本都具有代表性，消除重復訓練，提高訓練速率；第二階段是訓練經(jīng)驗函數(shù)。訓練過程如圖3所示。
圖3 經(jīng)驗函數(shù)的算法流程圖
3 實驗結果與分析
該研究采用Matlab 7.0.0來做仿真實驗,針對關注的5個重要的超高壓繼電保護指標分別進行預測，實驗數(shù)據(jù)來自內(nèi)蒙古電力集團公司超高壓局近幾年對繼電保護數(shù)據(jù)記錄，實驗采用大量超高壓繼電保護值來訓練RBF神經(jīng)網(wǎng)絡，當網(wǎng)絡訓練達到誤差平方和目標0.01時，網(wǎng)絡訓練結束。
圖4~圖8分別為故障檢測、故障定位，自適應自動重合閘技術、差動保護以及距離保護的預測值與實際值之間的比較(其中橫軸均為時間序列，縱軸為超高壓繼電保護的相應指標值)。
通過仿真結果可以看出：曲線的擬合度較好，說明通過RBF神經(jīng)網(wǎng)絡短期預測超高壓繼電保護取得了較好的效果。但是長期的預測則需要考慮超高壓繼電保護各衡量指標的突變情況，此時RBF神經(jīng)網(wǎng)絡無法對其做出準確的預測。
4 結 語
本文將RBF神經(jīng)網(wǎng)絡及其相關算法應用到超高壓繼電保護預測上，可以更好、更快地動態(tài)預測繼電保護的工作狀態(tài)。在其中RBF網(wǎng)絡大大提高了訓練的速度，節(jié)省了時間且預測精度更高，在局部的短期預測中占有優(yōu)勢。怎樣進一步改進優(yōu)化預測算法是RBF神經(jīng)網(wǎng)絡預測超高壓繼電保護的下一步研究方向。
參考文獻
［1］馬銳.人工神經(jīng)網(wǎng)絡原理\.北京：機械工業(yè)出版社,2010.
［2］劉學軍.繼電保護原理\.北京：中國電力出版社,2007.
［3］賀張萍.深度探討繼電保護裝置狀態(tài)檢修需求及應用難點\.科技資訊,2010(32):120-122.
［4］黃懿.繼電保護可靠運行的控制分析\.中國科技博覽,2010(3):61-64.
［5］MOHAMED E A, TALAAT H A; KHAMIS E A. Fault diagnosis system for tapped power transmission lines \. Source: Electric Power Systems Research, 2010, 80 (5): 599-613.
［6］Eissa M M, Sowilam G M A, Sharaf A M. A new protection detection technique for high impedance fault using neu-ral network \// Proceedings of 2006 Large Engineering Systems Conference on Power Engineering. \: \, 2006: 146-151.
［7］DUTTA A A, KADU A N. Pattern recognition method for detecting fault in EHV transmission lines \// Proceedings of2nd International Conference on Mechanical and Electrical Technology. \: ICMET, 2010: 24-27.
［8］劉田田,燕潔.人工神經(jīng)網(wǎng)絡在電力系統(tǒng)繼電保護中的應用\.電力學報,2007(2):190-192.
［9］呂衛(wèi)勝.人工智能技術在電力系統(tǒng)繼電保護中的應用\.山東電力技術,2006(1):61-63.
［10］KHORASHADI-ZADEH H, EBRAHIMI M R A. AN ANN based approach to improve the distance relaying algorithm \// Proceedings of the 2004 IEEE Conference on Cybernetics and Intelligent Systems. Singapore: IEEE, 2004:1374-1379.
［11］曾曉林,薛建輝,洪剛.粒子群優(yōu)化神經(jīng)網(wǎng)絡在高壓斷路器機械故障診斷中的應用\.電網(wǎng)與清潔能源，2010,26(6):57-61.
［12］李風光,楊志.基于BP網(wǎng)絡的自適應接地保護研究\.電網(wǎng)與清潔能源，2010,26(10):31-34.
第8篇：人工神經(jīng)網(wǎng)絡概念范文
關鍵詞:灰色神經(jīng)網(wǎng)絡;商品銷售;算法;銷售預測
中圖分類號:F71文獻標識碼:A文章編號:1009-3044(2009)27-7743-02
市場銷售是根據(jù)根據(jù)市場過去和現(xiàn)在的信息,運用一定的數(shù)學方法,對產(chǎn)品的需求進行評估推測,市場預測可以減少企業(yè)風險,為企業(yè)決策提供依據(jù)。做為市場預測組成部分的需求預測,是直接影響企業(yè)生產(chǎn)企業(yè),投資取向,庫存保有量的重要依據(jù),精確的需求預測可以減少庫存,降低訂單流失率,更有效的配置資源。對于商品銷售預測來說,有很多種方法,本文采用灰色神經(jīng)網(wǎng)絡來預測商品銷量。
1 灰色系統(tǒng)和神經(jīng)網(wǎng)絡概述
1.1 灰色系統(tǒng)
灰色系統(tǒng)理論是一種研究少數(shù)據(jù)、貧信息、不確定性問題的新方法,它以“部分信息已知,部分信息未知”的“小樣本”,“貧信息”不確定系統(tǒng)為研究對象,通過對“部分”已知信息的生成、開發(fā)、提取有價值的信息,實現(xiàn)對系統(tǒng)運行行為、演化規(guī)律的正確描述和有效監(jiān)控。它是我國學者鄧聚龍教授在1982年首先提出的,經(jīng)過20年的發(fā)展,灰色系統(tǒng)已基本建立起一門新興學科的結構體系,其主要內(nèi)容包括以灰色朦朧集為基礎的理論體系,以灰色關聯(lián)空間為依托的分析體系,以灰色序列生成為基礎的方法體系,以灰色模型為核心的模型體系和以系統(tǒng)分析、評估、建模、預測、決策、控制、優(yōu)化為主體的技術體系。
灰色系統(tǒng)中建立的模型稱為灰色模型(GreyModel)簡稱GM模型,是以原始數(shù)據(jù)序列為基礎做某種生成后建立的微分方程。建模中最有代表性的是針對時間序列的GM建模,它直接將時間序列數(shù)據(jù)轉化為微分方程,利用系統(tǒng)信息,使抽象的模型量化,量化的概念模型化,最后進行模型優(yōu)化,從而使所建的GM模型在尋求不到系統(tǒng)的概率特性或隸屬特性的情況下顯示其優(yōu)越性。
1.2 神經(jīng)網(wǎng)絡
人工神經(jīng)網(wǎng)絡理論(ArtificialNeuralNetworks)是智能算法理論的一種,由于其具有大規(guī)模并行處理、分布式信息存儲,容錯性,自組織性和自適應性等特點,目前已經(jīng)得到了國內(nèi)外學者的廣泛關注。目前,人工神經(jīng)網(wǎng)絡已成功應用在函數(shù)擬合、數(shù)據(jù)預測、模式識別、優(yōu)化控制等很多工程領域,并在一些傳統(tǒng)方法難以解決的問題上取得了滿意的結果。
人工神經(jīng)是由一些稱為神經(jīng)元的基本部件按一定規(guī)則組合形成的,它由神經(jīng)元,神經(jīng)元間連接方式和訓練規(guī)則三個因素組成。其中最主要的部分是神經(jīng)元,它由由輸入,非線性變換和輸出三部分構成,是一個基本計算單元,計算過程為,輸入經(jīng)過權值連接到內(nèi)部后求和,和值首先與一個閥值做比較,然后經(jīng)過非線性變化,得到輸出。神經(jīng)元的非線性變換有多種形式,比較常用的有Sigmoid函數(shù),限幅函數(shù)等。神經(jīng)元間不同的連接方式構成了不同類型的神經(jīng)網(wǎng)絡,比如信號由一層單向傳播到另一層的前饋型神經(jīng)網(wǎng)絡,信號在層與層之間傳播的反饋型神經(jīng)網(wǎng)絡等。目前,比較典型的神經(jīng)網(wǎng)絡包括BP網(wǎng)絡,RBF網(wǎng)絡、小波網(wǎng)絡等。
2 基于灰色神經(jīng)網(wǎng)絡的銷量建模
2.1 網(wǎng)絡建模
對于銷量預測的問題來說,灰色模型GNNM(1,N)的微分表達式為:
其中, y1是商品的銷售量,y2-yn是影響銷售量的因子。
求解微分方程(1)可得如下的離散響應方程:
令 ,則式2變?yōu)?
y1的閥值設為: 。
BP網(wǎng)絡LB層神經(jīng)元的激活函數(shù)取為Sigmoid函數(shù):
將式(3)變型后映射到BP網(wǎng)絡中,得到如下的映射銷量問題的灰色神經(jīng)網(wǎng)絡模型,如圖1所示。
2.2 學習算法
該模型中各個參數(shù)根據(jù)網(wǎng)絡輸出和實際輸出的誤差進行調(diào)整,從而是網(wǎng)絡輸出不斷逼近實際輸出,學習算法如下:
Step 1.根據(jù)系統(tǒng)數(shù)據(jù)列特征,選取兩個較小的值做為 a,b1,b2,…,bn-1
Step 2.根據(jù)網(wǎng)絡權值定義計算ω11,ω21,ω22, …,ω2n,ω31,ω32,…,ω3n
Step 3.對每一個輸入序列(t,y(t)),(t=1,2,3,…,N)進行如下操作:
t輸入LA層節(jié)點,對LB、LC、LD層的節(jié)點進行如下計算:
計算每層輸出
計算網(wǎng)絡輸出與期望輸出的誤差
調(diào)整隔層權值:
調(diào)整LB到LC的連接權值:
調(diào)整LA到LB的連接權值:
調(diào)整閥值:
Step 4重復步驟3,直至滿足結束條件為止。
2.3 總體設計
采用灰色神經(jīng)網(wǎng)絡進行銷量預測,總的步驟分為灰色神經(jīng)網(wǎng)絡構建,灰色神經(jīng)網(wǎng)絡訓練和灰色神經(jīng)網(wǎng)絡預測三步,其中灰色神經(jīng)網(wǎng)絡構建是根據(jù)輸入輸出變量構建灰色神經(jīng)網(wǎng)絡,灰色神經(jīng)網(wǎng)絡訓練是對網(wǎng)絡進行訓練,灰色神經(jīng)網(wǎng)絡預測是對訓練好的網(wǎng)絡對數(shù)據(jù)進行預測,其灰色神經(jīng)網(wǎng)絡預測系統(tǒng)總體框圖如圖2所示。
3 基于灰色神經(jīng)網(wǎng)絡的銷量預測
采用灰色神經(jīng)來對某型冰箱的銷售的做預測,分析得出影響該型冰箱的市場需求的因素為以下幾個指標,1)競爭對手;2)市場特征;3)成本;4)廣告力度;5)品牌認可;6)售后服務;7)價格性價比。輸出數(shù)據(jù)為銷售量,用模糊神經(jīng)網(wǎng)絡進行訓練預測,設置輸入節(jié)點數(shù)為8,輸出節(jié)點數(shù)為1,即為預測銷售量,網(wǎng)絡共迭代100次,得到的預測值和實際值的結果如圖3所示。
從圖3中可以看到,灰色神經(jīng)網(wǎng)絡預測的銷量值和實際值非常接近,說明了灰色神經(jīng)網(wǎng)絡預測的有效性。
第9篇：人工神經(jīng)網(wǎng)絡概念范文
1 傳統(tǒng)工業(yè)的優(yōu)化設計應用
傳統(tǒng)機械優(yōu)化設計方法大多應用于機械結構和零件功能的優(yōu)化設計，針對機械結構的性能和形態(tài)進行優(yōu)化。在機械結構上，內(nèi)點罰函數(shù)優(yōu)化法，能夠對剛度和壓彎組合強度結構進行良好的優(yōu)化，既能夠滿足尺寸要求又能良好的控制結構自重。在形態(tài)方面，典型的是軸對稱鍛造部件的毛坯形狀的優(yōu)化。在性能方面，采用坐標轉換法和黃金分割法對部分兩岸結構進行優(yōu)化設計，使得機械結構更加準確保持運動平衡性，提高了傳力性能。這樣看來，傳統(tǒng)機械優(yōu)化設計方法依然能夠取得良好的效果，所以在機械設計發(fā)展中不能忽略傳統(tǒng)優(yōu)化方法的
作用。
2 現(xiàn)代工業(yè)的優(yōu)化設計應用
現(xiàn)代高新設計方法在機械優(yōu)化設計中的應用已越來越廣泛。但應該看到，現(xiàn)代的設計不僅僅是單一的完成給定產(chǎn)品的設計，而應該要將產(chǎn)品使用及設備維修等因素統(tǒng)一進行考慮。所以，機械優(yōu)化設計在強調(diào)環(huán)保設計和可靠性設計等考慮綜合性因素的機械優(yōu)化設計應用工作更為活躍，機械優(yōu)化設計的應用領域更加廣泛，涉及到航空航天工程機械及通用機械與機床的機械優(yōu)化設計；涉及到水利、橋梁和船舶機械優(yōu)化設計；涉及到汽車和鐵路運輸行業(yè)及通訊行業(yè)機械優(yōu)化設計；涉及到輕工紡織行業(yè)、能源工業(yè)和軍事工業(yè)機械優(yōu)化設計；涉及到建筑領域機械優(yōu)化設計；涉及到石油及石化行業(yè)機械優(yōu)化設計；涉及到食品機械等機械優(yōu)化設計。機械優(yōu)化設計的應用還能夠解決具有復雜結構的系統(tǒng)問題。
2.1 優(yōu)化設計網(wǎng)絡軟件的應用
優(yōu)化算法的研究已經(jīng)有所成績，利用網(wǎng)絡平臺逐漸開發(fā)一些工業(yè)化在線優(yōu)化軟件，便于工業(yè)設計使用。對于在線機械優(yōu)化設計軟件來說，亟待解決的問題就是模型問題，對于非常復雜的系統(tǒng)來說，結構、流程、物料和系統(tǒng)參數(shù)等，都非常復雜，如果計算對象比較模糊，運算效率會受到嚴重的影響，這就給在線優(yōu)化軟件帶來了巨大的困難。為了解決這種情況，通過合適的算法解決辨別模型，結合神經(jīng)網(wǎng)絡和學習特點進行數(shù)據(jù)的識別，讓在線優(yōu)化軟件也能夠良好的應用于各種模型，比如國內(nèi)比較成熟的 NEUMAX 軟件包，基于神經(jīng)遺傳算法的在線優(yōu)化軟件包，都能夠良好的實現(xiàn)各種模型的遺傳算法，這些軟件已經(jīng)成功應用于甲醇合成機械設計的優(yōu)化工作中。
2.2 優(yōu)化設計在MATLAB中的應用
在機械設計中引入優(yōu)化設計方法不僅能使設計的機械零件滿足性能要求，還能使其在某些特定方面達到最優(yōu)。利用 MATLAB優(yōu)化工具箱求解機械優(yōu)化設計問題不僅避免了傳統(tǒng)的設計方法中人工試湊、分析比較過程中的繁雜與重復，而且編程簡單、結果可靠。在上述實例中，利用 MATLAB 軟件中FEMINCON函數(shù)求解夾具設計問題，最 終設計的 夾具要比采用傳統(tǒng)設計方法設計的質量輕、成本低，并且設計效率高。
2.3 人工神經(jīng)網(wǎng)絡法在機械優(yōu)化設計中的應用
人工神經(jīng)網(wǎng)絡是人類模仿大腦神經(jīng)網(wǎng)絡結構和功能而建立的一種信息處理系統(tǒng)，是理論化的人腦神經(jīng)網(wǎng)絡的數(shù)學模型。人工神經(jīng)網(wǎng)絡從事例中學習，可以處理非線性問題，特別擅長處理那些需要人直觀判斷的信息匱乏的問題，如不完全數(shù)據(jù)集合，模糊信息以及高度復雜問題等。人工神經(jīng)網(wǎng)絡應用于優(yōu)化設計，主要體現(xiàn)在以下兩個方面：
Hopfield 網(wǎng)絡 2.BP 網(wǎng)絡
2.4 模糊優(yōu)化方法在機械優(yōu)化設計中的應用應用模糊優(yōu)化理論能夠將設計中的模糊因素和模糊主觀信息定量化，通過合理給定約束函數(shù)、目標函數(shù)的容許值、期望值及其模糊分布 （隸屬函數(shù)） 來 “軟化”邊界條件，擴大尋優(yōu)范圍和體現(xiàn)專家的經(jīng)驗、觀點和某些公認的設計準則。把模糊技術應用于優(yōu)化設計建模，其特長不僅在于它善于表達模糊概念，處理模糊因素，而且還可將復雜問題簡化，使優(yōu)化模型更加合理。采用模糊理論建立優(yōu)化設計模型對求解復雜系統(tǒng)優(yōu)化設計問題具有重要意義。
