卷積神經網絡優勢精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的卷積神經網絡優勢主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：卷積神經網絡優勢范文

【關鍵詞】深度神經網絡 序列到序列網絡 卷積網絡 對抗式生成網路

1 深度神經網絡起源

人工神經網絡（ArtificialNeuralNetworks，ANN）研究是人工智能領域的一個重要分支，在對生物神經網絡結構及其機制研究的基礎上，構建類似的人工神經網絡，使得機器能直接從大量訓練數據中學習規律。其研究最早可以追溯到1957年Frank Rosenblatt提出的感知機模型，他在《The Perceptron： A Probabilistic Model for Information Storage and Organization in the Brain》建立了第一個人工神經網絡數學模型，19世紀80年代末期反向傳播（Back Propagation）算法的發明更是帶來了ANN的學習熱潮，但由于理論分析難度較大，訓練方法及技巧尚不成熟，計算機運算能力還不夠強大，這個時期ANN結構較為簡單，大部分都可等價為單隱層神經網絡，主要是進行淺層學習（Shallow Learning）研究。

2006年Geoffrey Hinton在《A Fast Learning Algorithm for Deep Belief Nets》中提出了逐層貪婪預訓練（layerwise greedy pretraining），顯著提高了MNIST手寫數字識別的準確率，開創了深度學習的新方向；隨后又在《Reducing the Dimensionality of Data with Neural Networks》中提出了deep autoencoder結構，在圖像和文本降維實驗上明顯優于傳統算法，證明了深度學習的正確性。以這兩篇論文為開端，整個學術界掀起了對深度學習的研究熱潮，由于更多的網絡層數和參數個數，能夠提取更多的數據特征，獲取更好的學習效果，ANN模型的層數和規模相比之前都有了很大的提升，被稱之為深度神經網絡（Deep Neural Networks，DNN）。

2 深度神經網絡的現代應用

2010年以來，隨著理論不斷創新和運算能力的增長，DNN被應用到許多領域并取得了巨大的成功。2011年微軟和谷歌的研究員利用DNN將語音識別的錯誤率降低了20%～30%；2012年在ImageNet圖像識別挑戰賽（ILSVRC2012）中DNN更是將識別錯誤率從26%降到了15%；2016年3月DeepMind團隊研發的圍棋軟件AlphaGO以4：1的巨大優勢戰勝了世界圍棋冠軍李世石，2017年1月初AlphaGO的升級版Master以60：0的戰績擊敗了數十位中日韓圍棋高手。當前對DNN的研究主要集中在以下領域：

2.1 語音識別領域

微軟研究院語音識別專家鄧立和俞棟從2009年開始和深度學習專家Geoffery Hinton合作，并于2011年宣布推出基于DNN的識別系統，徹底改變了語音識別的原有技術框架；2012年11月，百度上線了第一款基于DNN的語音搜索系統，成為最早采用DNN技術進行商業語音服務的公司之一；2016年微軟使用循環神經網絡語言模型（Recurrent Neural Network based Language Modeling，RNN-LM）將switchboard的詞識別錯誤率降低到了6.3%。

2.2 圖像識別領域

早在1989年，YannLeCun和他的同事們就提出了卷積神經網絡（Convolution Neural Networks，CNN）結構。在之后的很長一段時間里，CNN雖然在諸如手寫數字問題上取得過世界最好的成功率，但一直沒有被廣泛應用。直到2012年10月，Geoffrey Hinton在ILSVRC2012中使用更深的CNN將錯誤率從26%降到15%，業界才重新認識到CNN在圖像識別領域上的巨大潛力；2012年谷歌宣布基于CNN使得電腦直接從一千萬張圖片中自發學會貓臉識別；2013年DNN被成功應用于一般圖片的識別和理解；2016年DeepMind團隊基于CNN研發了圍棋AI，并取得了巨大成功。

2.3 自然語言處理領域

2003年YoshuaBengio等人提出單詞嵌入（word embedding）方法將單詞映射到一個矢量空間，然后用ANN來表示N-Gram模型；2014年10月NEC美國研究院將DNN用于自然語言處理（Natural language processing，NLP）的研究工作，其研究員Ronan Collobert和Jason Weston從2008年開始采用單詞嵌入技術和多層一維卷積的結構，用于POS Tagging、Chunking、Named Entity Recognition、Semantic Role Labeling等四典型NLP問題；2014年IlyaSutskever提出了基于LSTM的序列到序列（sequence to sequence，seq2seq）網絡模型，突破了傳統網絡的定長輸入向量問題，開創了語言翻譯領域的新方向；2016年谷歌宣布推出基于DNN的翻譯系統GNMT（Google Neural Machine Translation），大幅提高了翻譯的精確度與流暢度。

3 深度神經網絡常見結構

DNN能夠在各領域取得巨大成功，與其模型結構是密不可分的，現代DNN大都可歸納為三種基本結構：序列到序列網絡、卷積網絡、對抗式生成網絡，或由這三種基本網絡結構相互組合而成。

3.1 序列到序列網絡

序列到序列網絡的最顯著特征在于，它的輸入張量和輸出張量長度都是動態的，可視為一串不定長序列，相比傳統結構極大地擴展了模型的適應范圍，能夠對序列轉換問題直接建模，并以端到端的方式訓練模型。典型應用領域有：自動翻譯機（將一種語言的單詞序列轉換為另一種語言的單詞序列），語音識別（將聲波采樣序列轉換為文本單詞序列），自動編程機研究（將自然語言序列轉換為語法樹結構），此類問題的特點在于：

（1）輸入和輸出數據都是序列（如連續值語音信號/特征、離散值的字符）；

（2）輸入和輸出序列長度都不固定；

（3）輸入輸出序列長度沒有對應關系。

其典型如圖1所示。

網絡由編碼器（encoder）網絡和解碼器網絡（decoder）兩部分連接構成：

3.1.1 編碼器網絡

編碼器網絡通常是一個遞歸神經網絡（Recurrent Neural Networks，RNN），網絡節點一般使用長短期記憶模型（Long Short Term Memory，LSTM）實現，序列中里第t個張量xt的輸出yt依賴于之前的輸出序列（y0、y1…yt-1），輸入序列（x0、x1、x2…）那爸梁笠來問淙臚絡，整個序列處理完后得到最終的輸出Y以及各層的隱藏狀態H。

3.1.2 解碼器網絡

解碼器網絡是一個與編碼器網絡結構相同的RNN網絡，以解碼器的最終輸出（Y，H）為初始輸入，使用固定的開始標記S及目標序列G當作輸入數據進行學習，目標是使得在X輸入下Y和G盡量接近，即損失度函數f（X）取得最小值。

解碼器網絡屬于典型的監督學習結構，可以用BP算法進行訓練，而編碼器網絡的輸出傳遞給了解碼器網絡，因此也能同時進行訓練。網絡模型學習完畢后，將序列X輸入編碼器，并將起始標記S輸入解碼器，網絡就會給出正確的對應序列。

3.2 卷積神經網絡

卷積神經網絡將傳統圖像處理的卷積運算和DNN相結合，屬于前饋神經網絡，是在生物視覺皮層的研究基礎上發展而來的，在大型圖像處理上有出色表現。CNN一般由多個結構相似的單元組成，每個單元包含卷積層（convolution layer）和池化層（poolinglayer），通常網絡末端還連接全聯通層（fully-connected layer，FC）及Softmax分類器。這種結構使得CNN非常適合處理二維結構數據，相比其它DNN在圖像處理領域上具有天然優勢，CNN的另一優勢還在于，由于卷積層共享參數的特點，使得它所需的參數數量大為減少，提高了訓練速度。其典型結構如圖2所示：

3.2.1 卷積層（Convolutional layer）

卷積層由若干卷積核構成，每個卷積核在整個圖像的所有通道上同時做卷積運算，卷積核的參數通過BP算法從訓練數據中自動獲取。卷積核是對生物視覺神經元的建模，在圖像局部區域進行的卷積運算實質上是提取了輸入數據的特征，越深層的卷積層所能提取到的特征也越復雜。例如前幾個卷積層可能提取到一些邊緣、梯度、線條、角度等低級特征，后續的卷積層則能認識圓、三角形、長方形等稍微復雜的幾何概念，末尾的卷積層則能識別到輪子、旗幟、足球等現實物體。

3.2.2 池化層（Poolinglayer）

池化層是卷積網絡的另一重要部分，用于縮減卷積層提取的特征圖的尺寸，它實質上是某種形式的下采樣：將圖像劃分為若干矩形區塊，在每個區塊上運算池化函數得到輸出。有許多不同形式的池化函數，常用的有“最大池化”（maxpooling，取區塊中數據的最大值）和“平均池化”（averagepooling，取區塊中數據的平均值）。池化層帶來的好處在于：

（1）減小了數據尺寸，降低參數的數量和計算量；

（2）模糊了各“像素”相對位置關系，泛化了網絡識別模式。

但由于池化層過快減少了數據的大小，導致，目前文獻中的趨勢是在池化運算時使用較小的區塊，甚至不再使用池化層。

3.3 生成式對抗網絡（Generative Adversarial Network，GAN）

生成式對抗網絡最初由Goodfellow等人在NIPS2014年提出，是當前深度學習研究的重要課題之一。它的目的是收集大量真實世界中的數據（例如圖像、聲音、文本等），從中學習數據的分布模式，然后產生盡可能逼真的內容。GAN在圖像去噪，修復，超分辨率，結構化預測，強化學習中等任務中非常有效；另一重要應用則是能夠在訓練集數據過少的情況下，生成模擬數據來協助神經網絡完成訓練。

3.3.1 模型結構

GAN網絡典型結構如圖3所示，一般由兩部分組成，即生成器網絡（Generator）和識別器網絡（Discriminator）：

（1）生成器網絡的目標是模擬真實數據的分布模式，使用隨機噪聲生成盡量逼真的數據。

（2）識別器的目標是學習真實數據的有效特征，從而判別生成數據和真實數據的差異度。

3.3.2 訓練方法

GAN采用無監督學習進行訓練，輸入向量z一般由先驗概率概率pz（z）生成，通過生成器網絡產生數據G（z）。來自訓練集的真實數據的分布為pdata （x），GAN網絡的實質是學習該特征分布，因此生成的數據G（z）必然也存在對應的分布pg （z），而識別器網絡則給出數據來自于真實數據的概率D（x）以及D（G（z） ）。整個訓練過程的實質就是生成器網絡和識別器網絡的博弈過程，即找到

4 深度神經網絡研究展望

DNN雖然在各大領域都取得了重大的成功，甚至宣告了“智能時代”的來臨，但是與人類大腦相比，DNN在許多方面仍有顯著差距：

4.1 識別對抗樣本的挑戰

對抗樣本是指在數據集中添加微小的擾動所形成的數據，這些數據能使網絡以極高的置信度做出錯誤的判別。在網絡實際使用過程中會帶來非常大的問題，比如病毒制造者可能刻意構造樣本來繞過基于DNN的安全檢查網絡。部分研究指出問題的根因可能在于DNN本身的高度非線性，微小的擾動可能在輸出時產生巨大的差異。

4.2 構造統一模型的挑戰

DNN雖然在很多領域都取得了巨大的成功，但無論是序列到序列網絡、卷積網絡、還是對抗式生成網絡都只適應于特定領域，與此相對的則是，人類只用一個大腦就能完成語音、文本、圖像等各類任務，如何構建類似的統一模型，對整個領域都是極大的挑戰。

4.3 提高訓練效率的挑戰

DNN的成功依賴于大量訓練數據，據統計要使得網絡學會某一特征，平均需要50000例以上的樣本，相比而言人類只需要少量的指導即可學會復雜問題，這說明我們的模型和訓練方法都還有極大的提高空間。

參考文獻

[1]ROSENBLATT F.The perceptron：a probabilistic model for information storage and organization in the brain [M].MIT Press，1988.

[2]HINTON G E，OSINDERO S，TEH Y W.A fast learning algorithm for deep belief nets [J].Neural Computation，1989， 18（07）：1527-54.

[3]HINTON G E，SALAKHUTDINOV R R. Reducing the Dimensionality of Data with Neural Networks[J].Science， 2006，313（5786）：504.

[4]SEIDE F，LI G，YU D.Conversational Speech Transcription Using Context-Dependent Deep Neural Networks； proceedings of the INTERSPEECH 2011， Conference of the International Speech Communication Association， Florence，Italy，August，F，2011 [C].

[5]OQUAB M，BOTTOU L，LAPTEV I，et al. Learning and Transferring Mid-level Image Representations Using Convolutional Neural Networks； proceedings of the Computer Vision and Pattern Recognition，F，2014 [C].

[6]SILVER D，HUANG A，MADDISON C J，et al.Mastering the game of Go with deep neural networks and tree search [J].Nature，2016，529（7587）：484.

[7]XIONG W，DROPPO J，HUANG X，et al.The Microsoft 2016 Conversational Speech Recognition System[J].2016.

[8]LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient-based learning applied to document recognition [J].Proceedings of the IEEE，1998，86（11）：2278-324.

[9]BENGIO Y，DELALLEAU O， LE R N，et al.Learning eigenfunctions links spectral embedding and kernel PCA [J].Neural Computation，2004，16（10）：2197-219.

[10]LEGRAND J，COLLOBERT R.Recurrent Greedy Parsing with Neural Networks [J].Lecture Notes in Computer Science，2014，8725（130-44.

[11]SUTSKEVER I，VINYALS O，LE Q V. Sequence to Sequence Learning with Neural Networks [J].Advances in Neural Information Processing Systems，2014，4（3104-12.

[12]WU Y，SCHUSTER M，CHEN Z，et al. Google's Neural Machine Translation System：Bridging the Gap between Human and Machine Translation [J]. 2016.

[13]GOODFELLOW I J，POUGETABADIE J，MIRZA M，et al.Generative Adversarial Networks [J].Advances in Neural Information Processing Systems，2014，3（2672-80.

作者撾

第2篇：卷積神經網絡優勢范文

關鍵詞：人臉識別技術；病毒管控；人工智能；神經網絡

互聯網在今天的社會中發揮著舉足輕重的作用。如今社會，隨著許多人工智能技術、網絡技術、云計算等互聯網技術不斷發展，像人臉識別等技術的應用越來越廣泛，在控制病毒傳播途徑等場合發揮了巨大作用，不斷地提高著社會的安全性和便利性，不僅提高了防控中病毒檢測效率，也為病毒的控制提供了可靠的技術方法，能夠及時發現和控制公共場所的安全隱患因素，避免對社會經濟、居民生活造成破壞，。但目前的人臉識別等技術還存在許多缺陷，需要完善和革新，充滿著巨大的潛力和進步空間。

1人臉識別技術研究意義

人臉識別技術是一種生物特征識別技術，最早產生于上世紀60年代，基于生理學、圖像處理、人機交互及認知學等方面的一種識別技術。相比于其他人類特征像指紋識別、聲紋識別、虹膜識別等技術，人臉識別雖然存在人臉識別單一性低，且區分度難度高、易受環境影響等不足。但是人臉識別技術擁有速度快、大范圍群體識別及非接觸、遠距離可識別等優勢，都是其他生物識別識別技術所不具備的，而在傳播性強、感染風險大的病毒傳播過程中，這些顯然是必須要考慮的重要影響因素。通過將人臉識別等人工智能技術引入信息管理系統，綜合集成視頻監控、圖像處理、深度學習和大數據等技術，結合非接觸測溫、定位等技術，助力病情防控，在一定程度上推動病毒病情防控信息化、智能化發展進程。可作為加強公共場所的人員的體溫實時監測、地址信息定位的監控管理，規范公共場所針對病毒傳播的預防行為。

2人臉識別技術

2.1人臉檢測技術

人臉檢測是自動人臉識別系統中的一個關鍵環節。早期的人臉識別研究主要針對具有較強約束條件的人臉圖象（如無背景的圖象），往往假設人臉位置靜止或者容易獲取。人臉檢測分為前深度學習時期，AdaBoost框架時期以及深度學習時期。前深度學習時期，人們將傳統的計算機視覺算法運用于人臉檢測，使用了模板匹配技術，依賴于人工提取特征，然后用這些人工特征訓練一個檢測器；后來技術發展，在2001年Viola和Jones設計了一種人臉檢測算法，它使用簡單的Haar-like特征和級聯的AdaBoost分類器構造檢測器，檢測速度較之前的方法有2個數量級的提高，并且保持了很好的精度，稱這種方法為VJ框架。VJ框架是人臉檢測歷史上第一個最具有里程碑意義的一個成果，奠定了基于AdaBoost目標檢測框架的基礎，使用級聯AdaBoost分類器進行目標檢測的思想是：用多個AdaBoost分類器合作實現對候選框的分類，這些分類器組成一個流水線，對滑動窗口中的候選框圖像進行判定，確定檢測目標是人臉還是非人臉。Adaboost框架技術的精髓在于用簡單的強分類器在初期快速排除掉大量的非人臉窗口，同時保證高的召回率，使得最終能通過所有級強分類器的樣本數數量較少。在深度學習時期，開始將卷積神經網絡應用于人臉檢測領域。研究方向有兩種：一是將適用于多任務的目標檢測網絡應用于人臉檢測中；另一種是研究特定的的人臉檢測網絡。人臉檢測技術具有特殊唯一性和穩定性，在現今社會對于構建居民身份識別系統，病毒傳播防控系統，以及計算機視覺交互模型的構建具有廣泛的應用。人臉檢測技術不僅作為人臉識別的首要步驟，也在許多其他領域發揮巨大影響，如人臉關鍵點提取、人臉追蹤、基于內容的檢索、數字視頻處理、視頻檢測、安防監控、人證比對、社交等領域都有重要的應用價值。數碼相機、手機等移動端上的設備已經大量使用人臉檢測技術實現成像時對人臉的對焦、圖集整理分類等功能，各種虛擬美顏相機也需要人臉檢測技術定位人臉。評價一個人臉檢測算法好壞的指標是檢測率和誤報率，我們定義檢測率為：算法要求在檢測率和誤報率之間盡量平衡，理想的情況是達到高檢測率，低誤報率。

2.2人臉識別技術

目前主要流行的人臉識別技術包括幾何特征識別，模型識別，特征臉識別和基于深度學習/神經網絡的的人臉識別技術等。人臉特征識別主要通過對人臉面部結構特征如眼睛、鼻子等五官幾何特點及其相對位置分布等，生成圖像，并計算各個面部特征之間的歐式距離、分布、大小等關系該方法比較簡單，反應速度快，并且具有魯棒性強等優點，但是在實際環境下使用容易受檢測的環境的變化、人臉部表情變化等影響，精度通常不高，細節處理上不夠完善。模型識別技術主要包括隱馬爾可夫模型、主動表象模型、主動形狀模型等，識別率較高，并且對表情等變化影響較小。特征臉識別來源于主成分描述人臉照片技術（PCA技術），從數學上來講，特征臉就是人臉的圖像集協方差矩陣的特征向量。該技術能有效的顯示人臉信息，效率較高。基于深度學習的人臉識別是獲取人臉圖像特征，并將包含人臉信息的特征進行線性組合等，提取人臉圖像的特征，學習人臉樣本數據的內在規律和表示層次。可以采用如三層前饋BP神經網絡。BP神經網絡是1986年由Rumelhart和McClelland為首的科學家提出的概念，是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡，是應用最廣泛的神經網絡模型之一。BP網絡本質上是一種能夠學量的輸入與輸出之間的映射關系的輸入到輸出的映射，從結構上講，BP網絡具有輸入層、隱藏層和輸出層；從本質上講，BP算法就是以網絡誤差平方為目標函數、采用梯度下降法來計算目標函數的最小值。BP神經網路輸入層有n個神經元節點，輸出層具有m個神經元，隱含層具有k個神經元，采用BP學習算法訓練神經網絡。BP算法主要包括兩個階段：向前傳播階段和向后傳播階段。在向前傳播階段，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是在網絡完成訓練后正常運行時執行。將Xp作為輸入向量，Yp為期望輸出向量則BP神經網絡向前傳播階段的運算，得到實際輸出表達式為向后傳播階段主要包括兩大步驟：①計算實際輸出Op與對應理想輸出Yp之差；②按極小化誤差方法調整帶權矩陣。之所以將此階段稱為向后傳播階段，是對應于輸入信號的正常傳播而言的，因為該階段都需要收到精度要求進行誤差處理，所以也可以稱之為誤差傳播階段。(1)確定訓練集。由訓練策略選擇樣本圖像作為訓練集。(2)規定各權值Vij，Wjk和閾值Φj，θk參數，并初始化學習率α及精度控制參數ε。(3)從訓練集中取輸入向量X到神經網絡，并確定其目標輸出向量D。(4)利用上式計算出一個中間層輸出H，再用本式計算出網絡的實際輸出Y。(5)將輸出矢量中yk與目標矢量中dk進行比較，計算輸出誤差項，對中間層的隱單元計算出L個誤差項。(6)最后計算出各權值和閾值的調整量。所以，卷積神經網絡算法是通過訓練人臉特征庫的方式進行學習生成，對不同環境下不同表現情況的人臉圖像識別有更高的精確性。

2.3人臉識別軟件實現方式

(1)采集人臉數據集，然后對數據集進行標注，對數據進行預處理變成訓練格式。(2)部署訓練模型，根據訓練算法所需依賴部署電腦環境。(3)訓練過程，下載預訓練模型，將人臉數據集分批次作為輸入開始訓練，最終輸出為訓練好的模型。(4)部署訓練好的模型，捕獲畫面即可對畫面中的人臉進行實時檢測。

3人臉識別在病毒傳播防控中的應用

通過人臉識別技術，可以實現無接觸、高效率的對流動人員進行信息的收集、身份識別、定位地址信息等操作，大大減少了傳染的可能性，切斷了病毒傳播途徑，大大提高了工作效率。通過提前收錄人臉信息，采用深度學習對人臉特征模型的訓練學習，即可獲取人臉識別特征模型，再次驗證時即可實現人臉識別和個人信息快速匹配。AI人工智能幫助人們更好的解放雙手，為人們的生活和工作提供了重要的幫助。本文還提出了在人臉識別的系統基礎上，可以加入定位系統、測溫系統等，依托物聯網技術和云計算大數據，更加優化管控系統的效率。病毒傳播防控中人臉識別系統流程可以概括為圖2。

4結語

本文研究了一種人臉識別技術在病毒傳播管控系統中的應用，并分析設計了人臉識別實時監測及病毒管控系統的流程，大大提高了信息管理的效率，減弱了傳播風險。作為一門新興技術，目前的人臉識別技術還存在著諸多不足之處，像存在環境光的影響、人臉表情變化、妝容變化、佩戴口罩等都會影響到系統識別精度；另外安全問題也引人深思：現今人臉支付方式迅猛發展，錄入的人臉模型信息數據庫存在有一定的安全風險，一旦被不法分子盜取信息后果不堪設想，所以模型數據庫安全、網絡安全，也是系統開發中必須重視的問題。人臉識別為代表的人工智能技術的研究，在病毒傳播管控作出重大貢獻，依托我國領先的計算機網絡技術和5G等技術，加強人工智能技術與5G通信技術的結合，優勢互補，以此來加快大數據、人工智能和物聯網技術發展進程，對我國社會進步，促進城市建設和管理朝著高效、秩序、和諧穩定的方向不斷發展，增強我國的經濟實力有著重大價值和研究意義。

參考文獻

[1]王彥秋,馮英偉.基于大數據的人臉識別方法[J].現代電子技術,2021,44(7):87-90.

[2]李剛,高政.人臉自動識別方法綜述[J].計算機應用研究,2003,20(8):4-9,40.

[3]馬玉琨,徐姚文.ReviewofPresentationAttackDetectioninFaceRecognitionSystem[J].計算機科學與探索,2021,7(15):1195-1206.

[4]余璀璨,李慧斌.基于深度學習的人臉識別方法綜述[J].工程數學學報,2021,38.

[5]王紅星,胡永陽,鄧超.基于LBP和ELM的人臉識別算法研究與實現[J].河南理工大學學報(自然科學版),2005.

[6]鐘陳,王思翔,王文峰.面向疫情防控的人臉識別系統與標準研究[J].信息技術與標準化,2020,6,11-13,1671-539X.

[6]彭駿,吉綱,張艷紅,占濤.精準人臉識別及測溫技術在疫情防控中的應用[J].軟件導刊,2020,10,1672-7800.

第3篇：卷積神經網絡優勢范文

[關鍵詞]主動學習；深度神經網絡；反饋；目標識別

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1009-914X（2016）08-0383-01

Object Feedback Recognition System Base on Deep Learning

Hao Liu1，Junyu Dong1，Xin Sun1，Muwei Jian1

[Abstract]This paper proposed a novel deep neural network based object recognition method with a feedback process by using an appropriate active learning method. It selects better non-labeled samples to feedback and retrain the deep neural network model， which makes the accuracy and robustness of the object recognition system improved gradually during use. The experiments show that the proposed method can recognize the target object in a fast way and improve the accuracy of application in the real scene gradually.

[Key words]Active Learning； Deep Neural Network； Feedback； Object Recognition

1.介紹

目標識別一直以來都是機器學習領域研究的前沿問題，近些年來，出現了一些優秀的基于特征的物體識別方法，例如基于梯度信息的SIFT/SURF[1]算法等，但隨著數據集樣本的增多，逐漸達到了一定的瓶頸。近年來，基于深度學習所提取的抽象特征在物體識別中取得了非常好的表現。2012年Krizhevsky等人通過使用卷積神經網絡取得了較高的圖像分類準確率。2014年R. Girshick[2]等人所提出的Region Based CNN算法在目標識別領域也取得了較好的結果。雖然這些方法取得了較好的效果，但是日常生活中的場景是多變的，因此需要所得到的模型能夠自動學習和適應新的場景和需求，本文將基于RCNN方法提出一種帶反饋的自適應學習目標識別算法，它隨著反饋的增加，模型越來越完善和智能。

2.相關技術介紹

2.1 RCNN算法

Region Based CNN算法首先使用Selective search算法在圖像上產生約2000個候選窗口，進行目標檢測。然后使用CNN對每一個候選窗口提取4096維特征來表示每個Proposal，最后用SVM分類器對目標進行分類。

2.2 主動反饋學習

主動學習具有減少冗余和快速收斂的優勢。通過一定的主動學習方法選擇出一個或一批最有用的樣本，并向檢查者詢問標簽，然后利用獲得的新知識來訓練分類器和進行下一輪查詢。本文使用主動學習的思想對反饋識別過程進行控制。

3.基于主動學習的物體反饋識別

目標反饋識別是一個智能化的交互過程，它先使用有限訓練數據訓練出一個初始分類模型，這個模型對物體進行識別的準確率可能并不高。接下來，我們希望后續的每次識別都能夠為模型提供信息，模型依據這些信息重新訓練，實現對分類模型的修改與完善。本文基于RCNN算法，首先使用有限標定樣本進行訓練，利用RCNN 生成一個初始模型。然后每次使用主動學習的方法，從未標記樣本集中選擇出n0個最有用的、最利于完善分類模型的樣本圖像；最后利用檢查者對樣本所做的標記，進一步訓練分類器，完善模型，迭代進行，最終實現模型的自動更新達到最優的識別效果。

4.實驗

以1.1圖的Train圖像為例進行識別，圖1.2得到識別結果為Bus，識別發生錯誤，此時使用本文方法進行反饋，系統將結果反饋給分類模型，這樣選擇出的每張圖像都會反饋一個結果來優化模型，迭代進行。如果如圖1.3再次對這張圖像進行識別，得到識別結果“未檢測到Bus”，識別正確，說明反饋過程起到了應有的作用。通過實驗可以表明，本文提出的方法會使物體識別變得越來越智能。

5.結論

本文提出的基于深度神經網絡的目標反饋識別方法，使用主動學習來對反饋識別過程進行控制，通過對VOC2007數據集中的Train類圖像進行識別試驗的結果可以看到，本文提出的方法成功提升了目標識別系統的準確度和魯棒性，逐漸提升了在復雜多樣的真實場景下識別目標的準確度，使得系統越來越完善與智能，最終實現了非常好的目標識別效果。

參考文獻

第4篇：卷積神經網絡優勢范文

    20世紀80年代以來,全球范圍內移動無線通信得到了前所未有的發展,與第三代移動通信系統(3g)相比,未來移動通信系統的目標是,能在任何時間、任何地點、向任何人提供快速可靠的通信服務。因此,未來無線移動通信系統應具有高的數據傳輸速度、高的頻譜利用率、低功耗、靈活的業務支撐能力等。但無線通信是基于電磁波在自由空間的傳播來實現傳輸的。信號在無線信道中傳輸時,無線頻率資源受限、傳輸衰減、多徑傳播引起的頻域選擇性衰落、多普勒頻移引起的時間選擇性衰落以及角度擴展引起的空間選擇性衰落等都使得無線鏈路的傳輸性能差。和有線通信相比,無線通信主要由兩個新的問題。一是通信行道經常是隨時間變化的,二是多個用戶之間常常存在干擾。無線通信技術還需要克服時變性和干擾。由于這個原因,無線通信中的信道建模以及調制編碼方式都有所不同。

    1.無線數字通信中盲源分離技術分析

    盲源分離(bss:blind source separation),是信號處理中一個傳統而又極具挑戰性的問題,bss指僅從若干觀測到的混合信號中恢復出無法直接觀測的各個原始信號的過程,這里的“盲”,指源信號不可測,混合系統特性事先未知這兩個方面。在研究和工程應用中,很多觀測信號都可以看成是多個源信號的混合,所謂“雞尾酒會”問題就是個典型的例子。其中獨立分量分析ica(independent component analysis)是一種盲源信號分離方法,它已成為陣列信號處理和數據分析的有力工具,而bss比ica適用范圍更寬。目前國內對盲信號分離問題的研究,在理論和應用方面取得了很大的進步,但是還有很多的問題有待進一步研究和解決。盲源分離是指在信號的理論模型和源信號無法精確獲知的情況下,如何從混迭信號(觀測信號)中分離出各源信號的過程。盲源分離和盲辨識是盲信號處理的兩大類型。盲源分離的目的是求得源信號的最佳估計,盲辨識的目的是求得傳輸通道混合矩陣。盲源信號分離是一種功能強大的信號處理方法,在醫學信號處理,陣列信號處理,語音信號識別,圖像處理及移動通信等領域得到了廣泛的應用。

    根據源信號在傳輸信道中的混合方式不同,盲源分離算法分為以下三種模型:線性瞬時混合模型、線性卷積混合模型以及非線性混合模型。

    1.1 線性瞬時混合盲源分離

    線性瞬時混合盲源分離技術是一項產生、研究最早,最為簡單,理論較為完善,算法種類多的一種盲源分離技術,該技術的分離效果、分離性能會受到信噪比的影響。盲源分離理論是由雞尾酒會效應而被人們提出的,雞尾酒會效應指的是雞尾酒會上,有聲、談話聲、腳步 聲、酒杯餐具的碰撞聲等,當某人的注意集中于欣賞音樂或別人的談話,對周圍的嘈雜聲音充耳不聞時,若在另一處有人提到他的名字,他會立即有所反應,或者朝 說話人望去,或者注意說話人下面說的話等。該效應實際上是聽覺系統的一種適應能力。當盲源分離理論提出后很快就形成了線性瞬時混合模型。線性瞬時混合盲源分離技術是對線性無記憶系統的反應,它是將n個源信號在線性瞬時取值混合后,由多個傳感器進行接收的分離模型。

    20世紀八、九十年代是盲源技術迅猛發展的時期,在1986年由法國和美國學者共同完了將兩個相互獨立的源信號進行混合后實現盲源分離的工作,這一工作的成功開啟了盲源分離技術的發展和完善。在隨后的數十年里對盲源技術的研究和創新不斷加深,在基礎理論的下不斷有新的算法被提出和運用,但先前的算法不能夠完成對兩個以上源信號的分離;之后在1991年,法國學者首次將神經網絡技術應用到盲源分離問題當中,為盲源分離提出了一個比較完整的框架。到了1995年在神經網絡技術基礎上盲源分離技術有了突破性的進展,一種最大化的隨機梯度學習算法可以做到同時分辨出10人的語音,大大推動了盲源分離技術的發展進程。

    1.2 線性卷積混合盲源分離

    相比瞬時混合盲源分離模型來說,卷積混合盲源分離模型更加復雜。在線性瞬時混合盲源分離技術不斷發展應用的同時,應用中也有無法準確估計源信號的問題出現。常見的是在通信系統中的問題,通信系統中由于移動客戶在使用過程中具有移動性,移動用戶周圍散射體會發生相對運動,或是交通工具發生的運動都會使得源信號在通信環境中出現時間延遲的現象,同時還造成信號疊加,產生多徑傳輸。正是因為這樣問題的出現,使得觀測信號成為源信號與系統沖激響應的卷積,所以研究學者將信道環境抽象成為線性卷積混合盲源分離模型。線性卷積混合盲源分離模型按照其信號處理空間域的不同可分為時域、頻域和子空間方法。

    1.3 非線性混合盲源分離

    非線性混合盲源分離技術是盲源分離技術中發展、研究最晚的一項,許多理論和算法都還不算成熟和完善。在衛星移動通信系統中或是麥克風錄音時,都會由于乘性噪聲、放大器飽和等因素的影響造成非線性失真。為此,就要考慮非線性混合盲源分離模型。非線性混合模型按照混合形式的不同可分為交叉非線性混合、卷積后非線性混合和線性后非線性混合模型三種類型。在最近幾年里非線性混合盲源分離技術受到社會各界的廣泛關注,特別是后非線性混合模型。目前后非線性混合盲源分離算法中主要有參數化方法、非參數化方法、高斯化方法來抵消和補償非線性特征。

    2.無線通信技術中的盲源分離技術

    在無線通信系統中通信信號的信號特性參數復雜多變,實現盲源分離算法主要要依據高階累積量和峭度兩類參數。如圖一所示,這是幾個常見的通信信號高階累積量。

    在所有的通信系統中,接收設備處總是會出現白色或是有色的高斯噪聲,以高階累積量為準則的盲源分離技術在處理這一問題時穩定性較強,更重要的是對不可忽略的加性高斯白噪聲分離算法同時適用。因此,由高階累積量為準則的盲源分離算法在通信系統中優勢明顯。

    分離的另一個判據就是峭度,它是反映某個信號概率密度函數分布情況與高斯分布的偏離程度的函數。峭度是由信號的高階累積量定義而來的,是度量信號概率密度分布非高斯性大小的量值。

第5篇：卷積神經網絡優勢范文

關鍵詞：機器視覺與應用；創新實踐；郵電類高校

國務院印發的《新一代人工智能發展規劃》中提出了我國人工智能“三步走”戰略目標并深化實施“中國制造2025”，將人工智能上升到國家戰略層面。因此，必須加快推進人才培養模式改革，推進科教協同育人，完善高水平科研支撐拔尖創新人才培養機制。新工科背景下的核心課程機器視覺與應用是郵電類本科學生的基礎課程，許多高校主要面向自動化、計算機類等工科專業開設，此課程融合了機器學習理論，數字圖像處理，智能決策與最優化等技術[1]，教學內容涉及機器視覺系統的組成與標定、圖像濾波與分割、目標檢測與識別、成像原理與多視圖幾何、三維測量等。各個學校對該課程的教學內容側重點不同，培養目標也不盡相同，但普遍面臨的問題是：強調理論知識點的掌握如定理、證明等，理論教學內容不能與最新技術發展同步，實踐教學內容簡單、膚淺，不能有效聯系實際應用或案例。學生對這門課缺乏興趣，實驗設備老舊、編程語言傳統，不符合企業實際需求，影響學生就業與升學的競爭力。因此，為解決上述問題，《機器視覺與應用》這門課程的教學改革勢在必行。

一、理論教學課程體系改革的與時俱進

機器視覺在我們生活中的應用不斷擴大，如手機上的攝像頭系統，微信、支付寶的掃碼操作等，因此在《機器視覺與應用》這門課中，在深入講解經典機器視覺知識的同時，要將當前最新的機器視覺與應用的研究成果與行業前沿知識在課堂上對學生進行介紹，如基于稠密深度、輕量化卷積神經網絡的目標檢測與識別、圖卷積神經網絡等，讓他們了解最新的知識點與行業應用及當前流行的軟件、硬件平臺，為他們以后的學科研究與就業奠定良好的基礎。因此，對課程的培養目標與課程體系進行了修訂。

新版的《機器視覺與應用》課程以Python語言為基礎，要求學生掌握機器視覺的概念、原理、圖像處理方法及經典視覺成像模型，掌握多視圖幾何及三維重建的原理及實現方法，學會搭建基礎的輕量化卷積神經網絡，為進一步學習人工智能相關專業課以及從事本專業的研究和技術工作打下必要的基礎。

同時，要充分考慮企業的需求，以協同育人的視角構建教師和企業導師聯合育人團隊，因材施教，優勢互補。比如，通過理論講解掌握機器視覺的圖像濾波與目標檢測，借助于生產線現場缺陷目標檢測等工業應用案例掌握理論教學知識，并反饋理論教學中未涉及的實際應用要點，如算法的實時性、檢測成功率，影響誤檢測的因素等。

二、創新實踐教學平臺

為了緊跟當前機器視覺與應用技術發展的潮流，培養人工智能應用行業所急需的專業人才，在通過課堂將機器視覺與應用專業理論知識傳授給學生的同時，還需啟發學生將來在機器視覺應用方面有創新性的成果[2]。

我們構建了三種型號的基于機器視覺系統的無人車、無人機等創新實踐平臺，每一種型號分別采用英偉達Nano和樹莓派兩種開發板，每種開發板32套，總共192套基于機器視覺系統的無人平臺。這些平臺不僅更好地服務于機器視覺與應用課程的章節實驗及綜合性實驗，而且還作為實驗室的創新平臺，為智能車比賽，無人機競賽，機器人大賽提供強有力的支撐。

三、創新實踐教學機器視覺軟件的組成

本課程的章節實驗及綜合性實踐提供多種編程語言和工具箱平臺，學生可以根據自己的興趣、愛好及未來的學業、職業規劃選擇一種或多種編程語言及平臺[3]。在Matlab圖像處理工具箱與OPENCV工具箱的基礎上[4]，本課程的實踐教學創新性地引入基于Python的機器視覺與應用基礎工具箱、進階版深度學習工具箱，緊跟當前機器視覺與應用課程發展的技術潮流。因為Python是一種面向對象、解釋型、動態數據類型的高級程序設計語言。其代碼量小，簡潔清晰。還具有豐富的機器視覺標準庫和擴充庫，如Pytesseract、OpenCV等，是當前人工智能行業廣泛應用的編程工具。

此外，為進一步支撐機器視覺綜合性實驗及基于視覺導航的無人車進階實踐項目，建議學生學習ROS開源的元機器人操作系統，包括硬件抽象、底層設備控制、常用函數的實現、進程間消息傳遞以及包管理。上述的OpenCV，Python等機器視覺工具箱及激光雷達、IMU慣導模塊以及相應的多傳感器標定、圖像處理、目標識別與跟蹤、三維重建、SLAM等都可以在此環境下實現。

另外，學生還可以熟悉掌握常用的深度學習框架，如PyTorch、TensorFlow、Keras、MXNet等，為將來的工作和學業深造打下堅實的基礎。

四、創新實踐教學內容的設計

我結合機器視覺與應用的理論教學內容，并兼顧實驗室開放創新項目及競賽需求，設計了漸進式創新實踐教學內容，主要分為三個級別：驗證性機器視覺章節實驗、綜合性視覺及多傳感器融合實踐項目、創新性實踐項目。考慮到學生對知識的掌握程度不同，三個級別的項目由易到難，循序漸進，兼顧學生的興趣愛好及實際生活中的創意實現。三個級別的實驗及實踐項目舉例如下：

1.驗證性實驗：攝像頭啟動及驅動，圖像預處理如多彩色空間轉化、灰度變化、圖像增強、圖像濾波、銳化、圖像分割與二值化、腐蝕與膨脹、圖像特征提取與匹配等。

2.綜合性實踐：相機標定實驗及誤差分析，多傳感器聯合標定（相機、激光雷達、IMU聯合標定），圖像去霧、去雨、去模糊化等。

3.創新性實踐：視覺導航，無人車視覺避障，無人車視覺同時定位與重建，模擬工業機器視覺應用如智能產品缺陷檢測、視覺測量，快遞包裹視覺實時追蹤與定位，人流估計與預測等。

驗證性實驗是必選的，綜合性及創新性實踐是以小組完成的，學生可以跟蹤興趣、愛好選擇不同的題目，提高主觀能動性，并允許學生利用所學知識進行創新創意性擴展。

五、創新實踐教學方式改革探索

（一）梳理課程間內容關系，完善相應的平臺、硬件、軟件及相應的電子資源建設

學生的專業基礎不同，所掌握編程知識及實踐能力有一定的差異性，教師開課前應摸底學生所學的課程內容，了解學生不同的專業基礎，并進行合理的分組、引導，使學生互幫互助；完善實驗室的理論教學平臺，發展三種類型多套的無人硬件平臺，建立相應的課程電子資源網站，包括理論教學內容知識點和實踐教學內容及所需的軟件、教程、工具包，網站上包含專門的知識內容討論區，另外還包括國內外《機器視覺與應用》相應的多媒體課件、論文、書籍及經典算法的實現代碼，以適應當今人工智能行業內機器視覺知識的內容多、涉及范圍廣、知識更新快的特點，以便學生下載、查閱。同時，教師要合理利用一些即時通訊平臺，如微信群、QQ等工具，及時解答學生的疑問。

（二）優化小班化實驗室課堂，注重學生知識的掌握與應用

教師要改變往常以教師講解為主，學生機械地參與的滿堂灌模式，直接在實驗室采用小班化教學，一次32人，分為四個小組，每個小組都要完成三個級別的實驗，保證每個組員都要參與，都有相應的任務，實驗內容盡量避免雷同。每次課2個課時，教師進行0.5課時基礎理論知識進行透徹地講解；拿出1個課時讓學生進行驗證性實驗，對基礎知識進行實現、驗證，并進行組內討論；剩下的0.5個課時，學生進行綜合性實踐或創新型實踐的討論、演示、講解，任課教師進行點評、講解、指導。學生人手一臺實驗設備和電腦（或自帶筆記本），實驗室設備與學生一一綁定，不隨意更換，方便理論知識的掌握、實現以及相應軟件環境的安裝設置等，并改變以往提交紙質實驗報告的考核方式，采用分組答辯的形式，每個人講解展示自己所負責的工作，相互學習、相互進步。這樣可以較好的避免抄襲，避免雷同的實驗報告，激發學生學習的積極性和自主性，有利于知識的拓展和創新創意實踐。

（三）鼓勵學生進行應用性創新實踐，并為產學研合作及企業實踐提供支持

學生在完成多個實踐性項目的同時，后續可能要對系統硬件、算法軟件進行不斷的完善、優化。為了使更多的實踐成果走出實驗室，貼合實際生產生活，鼓勵學生帶成果走出去，教師要主動積極聯系有機器視覺應用需求的企事業單位，將創新成果與實際企業需求、工業現場要求進行深入溝通與協作，建立穩定的產學研機制。這種機制可以對校內課程體系進行有效擴充和延伸，并對創新實踐教學成果進行反饋，更好地貼近實際生產生活需求，做更接地氣的實踐教學內容改革探索。同時，教師要鼓勵學生進行相應專利的申請和論文的撰寫，保護好相應的知識產權。

第6篇：卷積神經網絡優勢范文

關鍵詞：辛烷值；快速檢測方法；氣相色譜法；紅外光譜法；拉曼光譜法

中圖分類號：TB 文獻標識碼：A doi：10.19311/ki.1672-3198.2016.07.092

辛烷值是表征車用汽油抗爆性的重要指標，1926年美國科學家埃得將辛烷值引入汽油性能指標。汽油在燃燒過程中，抵抗爆震的能力叫作抗爆性，辛烷值就是表示汽油抗爆性的指標。辛烷值越高，其抗爆性能越好，汽油在汽缸中燃燒越充分，燃燒效率越高，尾氣排放中的一氧化碳、碳氫化合物含量越低，對環境的危害相應越小。

馬達法辛烷值和研究法辛烷值是汽油的辛烷值的傳統測量方法，方法用樣品量大，時間長、費用高，不適于生產控制的在線測試。本文對近幾年出現的幾種辛烷值測量的快速分析方法進行總結和綜述，介紹相關方法的應用進展。

1 拉曼光譜法

拉曼分析方法作為一種光譜檢測技術，不僅樣品預處理簡單、分析速度快、效率高、重現性好，另外還具有受水分干擾小、樣品無損、可進行微量樣品探測、檢測頻帶寬、可快速跟蹤反應過程等特點；即便是非極性基團如c=c，c=c等紅外吸收較弱的官能團，在拉曼光譜中也可以得到很強的吸收譜帶。因此，特別適合用于對含碳、氫基團較高的汽油樣品的辛烷值檢測。

康健爽等2010年提出了一種使用拉曼分析測定汽油辛烷值的方法，并設計了辛烷值拉曼光譜在線檢測系統。這種辛烷值在線監控系統能夠實時監控乙醇汽油中的組分變化，并給出對應的拉曼分析曲線；根據光柵型和傅立葉變換型光譜儀各自特點，選用光柵型拉曼光譜儀應用于辛烷值在線檢測。以Lambert-Beer定律為基礎，采用化學計量學方法，將檢測數據和采用標準方法測得的屬性數據之間關聯，建立分析模型，在具體算法實現過程中，分別采用PCA和PLS兩種方法建立關聯分析模型，并用于乙醇汽油辛烷值的快速預測，指導實際調和過程。實踐證明，相對傳統的檢測手段，該系統具有測試速度快、分析時間短、檢測費用低、經濟效益高等特點。

2 氣相色譜法

李長秀等2003年建立了一種新方法，該方法將氣相色譜結果關聯建模用以計算汽油樣品的辛烷值。對汽油的組成采用高分辨毛細管柱進行測定，根據汽油單體烴組分的含量和純組分辛烷值乘積的大小，將單體烴組分分為兩組，每一組為一個變量，建立實測辛烷值與兩個變量間的回歸模型。實際分析時，根據樣品的類型帶入相應的模型進行關聯計算即可得到樣品的辛烷值。該方法與采用標準方法測定催化裂化汽油辛烷值的結果相比，測定結果的偏差約0.5個單位。該方法因為操作相對簡單，樣品量耗費少，且建模過程快速、簡便，適于穩定工藝過程中的汽油辛烷值的在線監測。

于愛東等采用毛細管氣相色譜法對汽油單體烴類進行分離，用PONA汽油組成軟件對汽油單體烴進行定性、定量、Pona組成計算.將汽油單體烴分為37組，建立實測辛烷值與37個變量之間的回歸模型，計算汽油辛烷值。該模型計算辛烷值與實測辛烷值的極差為0.26個單位，適用辛烷值在88～92之間的油品。辛烷值的計算公式能夠較好地反映汽油單體烴與辛烷值之間的關系。方法操作簡單，樣品用量少，結果準確，適合于煉廠蒸餾、催化過程中汽油辛烷值的實時監測。

3 近紅外光譜法

近紅外光譜分析方法是一種間接分析方法，它先利用一組汽油標準樣品，在汽油的近紅外光譜數據間和汽油辛烷值建立數據關聯分析模型，再用該模型預測未知汽油樣品的辛烷值。測量精度除受儀器精度影響外，還受所建分析模型精度影響。

韓言正等介紹了一種自主開發研制的汽油辛烷值近紅外光譜在線分析儀。該分析儀包括近紅外光譜在線測量、光譜預處理和實時建模等部分。對于原始的近紅外光譜數據，采用多項式卷積算法進行光譜平滑、基線校正和標準歸一化；通過模式分類與偏最小二乘進行實時建模。該分析儀已成功應用于某煉油廠生產過程的辛烷值在線監測。

汽油辛烷值預測體系具有非線性的特點，史月華等據此提出主成分回歸殘差神經網絡校正算法（PCRRANN）用于近紅外測定汽油辛烷值的預測模型校正。該方法結合了主成分回歸算法（PC），與PLS（PartialLeastSquare），PCR，PLS（NPLS，Non lin-earPLS）等經典校正算法相比，預測能力有明顯的提高。

第7篇：卷積神經網絡優勢范文

獨立分量分析(ICA)是統計信號處理近年來的一項發展。顧名思義,這是一種分解技術,其特點是把信號分解成若干相互獨立的成分。主分量分析(PCA)和奇異值分解(SVD)是人們較熟悉的分解信號的線性代數方法,ICA與它們的主要不同之處表現在:

(1)后者只要求分解出來的各分量互相正交(不相關),但并不要求它們互相獨立。用統計信號處理的語言來表達,即:后者只考慮二階統計特性,而前者則要更全面考慮其概率密度函數的統計獨立性。

(2)后者按能量大小排序來考慮被分解分量的重要性。這樣的分解雖然在數據壓縮和去除弱噪聲方面有其優點,但分解結果往往缺乏明確的生理意義。前者雖然分解出的分量其能量大小存在不確定性,但當測量值確實是由若干獨立信源混合而成時,分解結果往往具有更好的生理解釋。由于測得的生理信號往往是若干獨立成分的加權迭加(例如,誘發腦電總是被自發腦電所淹沒,而且常伴隨有心電、眼動、頭皮肌電等干擾),此ICA是一項值得注意的分解方法。

此外,神經生理研究認為,人類對認知、感知信息的前期處理有“去冗余”的特點。ICA在這方面也表現出類似特性,因為互相獨立的分量之間互信息是最少的。ICA是伴隨著盲信號處理,特別是盲信源分離發展起來。其研究熱潮方興未艾,也正在引起生物醫學工程界的注意,IEEETransBME正在組織出版以它為重點的專輯。就國際范圍看,以下幾個研究單位目前工作比較領先:(1)美國加州大學生物系計算神經生物學實驗室,(2)日本Riken腦科學研究所腦信息研究室,(3)芬蘭赫爾辛基工業大學計算機及信息科學實驗室,目前發表有關文獻較多的刊物有IEEETrans的SP和NN以及NeuralComputation等。本文目的是對ICA的原理、算法及應用作一簡述,以引起國內同行對它的關注。將側重于概念說明,而不追求數學上的嚴謹性。

2原理

2.1問題的提法,s-(n)是一組互相獨立的信源,A是混合矩陣,x-(n)是觀察記錄,即x-(n)=As-(n)。問題的任務是:在A陣未知且對s-(n)除獨立性外無其它先驗知識的情況下,求解混矩陣B,使得處理結果y-(n)=Bx-(n)中各分量盡可能互相獨立,且逼近s(n)。容易理解,解答不是唯一的,它至少受以下條件的限制:(1)比例不定性:s-(n)中某一分量大K倍時,只要使相應的A陣系數減小K倍,x-(n)便保持不變。

因此,求解時往往把s-(n)假設成具有單位協方差陣,即s-中各分量均值為零,方差為1,且互相獨立。(2)排序不定性:y-與s-中各分量排序可以不同。因為只要對調B陣中任意兩行,y-中相應元素的位置也便對調。(3)s-(n)中至多只能有一個高斯型信源:這是因為高斯信源的線性組合仍是高斯型的,因此混合后便無法再區別。(4)信源數目N只能小于或等于觀測通道數M。N>M情況目前尚未解決。以下討論設M=N。因此,y-(n)只是在上述條件下對s-(n)的逼近。換名話說,任務的實質是優化問題,它包括兩個主要方面:優化判據(目標函數)和尋優算法。

2.2目標函數

這一領域的研究者已經從不同角度提出了多種判據。其中以互信息極小判據(MinimizationofMutualInformation,簡記MMI)和信息或熵極大判據(Informax或MaximizationofEntropy,簡記ME)應用最廣。由于最基本的獨立性判據應由概率密度函數(probabilitydensityfunction,簡記pdf)引出,而工作時pdf一般是未知的,估計它又比較困難,因此通常采用一些途徑繞過這一困難。

常用的方法有兩類:①把pdf作級數展開,從而把對pdf的估計轉化為對高階統計量的估計;②在圖1的輸出端引入非線性環節來建立優化判據。后一作法實際上隱含地引入了高階統計量。(1)互信息極小判據:統計獨立性的最基本判據如下:令p(y-)是y-的聯合概率密度函數,pi(yi)是y-中各分量的邊際概率密度函數。當且僅當y-中各分量獨立時有:p(y-)=∏Ni=1pi(yi)因此用p(y-)與∏i=1pi(yi)間的Kullback-Leibler散度作為獨立程度的定量度量:I(y-)=KL[p(y-),∏Ni=1pi(yi)]=∫p(y-)log[p(y-)∏Ni=1pi(yi)]dy-(1)顯然,I(y-)0,當且僅當各分量獨立時I(y-)=0。因此,互信息極小判據的直接形式是:在y-=Bx-條(文秘站:)件下尋找B,使(1)式的I(y-)極小為了使判據實際可用,需要把I(y-)中有關的pdf展成級數。

由于在協方差相等的概率分布中高斯分布的熵值最大,因此展開時常用同協方差的高斯分布作為參考標準。例如,采用Gram-Charlier展開時有:P(yi)PG(yi)=1+13!k2yih3(y-i)+14!k4yih4(yi)+…式中PG(yi)是與P(yi)具有同樣方差(σ2=1)和均值(μ=0)的高斯分布。k3yi、k4yi是yi的三、四階累計量(cumulant),hn(yi)是n階Hermit多項式。此外還有許多其他展開辦法,如Edgeworth展開,利用負熵(Negentropy)等。不論采用何種展開方式,經推導后總可把式(1)近似改成k3、k4的函數:I(y)=F(k3y-,k4y-,B)(1)’F(·)的具體形式多種多樣,視推導時的假設而異。

這樣就得到互信息判據的實用近似形式:在y-=Bx-條件下尋找B,使式(1)的I(y-)極小(2)Infomax判據:這一判據的特點是在輸出端逐分量地引入一個合適的非線性環節把yi轉成ri(如圖2)。可以證明,如果gi(·)取為對應信源的累積分布函數cdf(它也就是概率密度函數的積分),則使r-=(r1…rN)T的熵極大等效于使I(y-)極小,因此也可達使y-中各分量獨立的要求。從而得到Infomax判據:在選定適當gi(·)后,尋找B使熵H(r-)極大需要指出的是,雖然理論上gi(·)應取為各信源的cdf,但實踐證明此要求并不很嚴格,有些取值在0~1之間的單調升函數也可以被采用,如sigmoid函數、tanh(·)等。估計H(r-)固然也涉及pdf,但由于其作用已通過gi(·)引入,所以可以不必再作級數展開而直接用自適應選代尋優步驟求解。文獻中還提出了一些其他判據,如極大似然、非線性PCA等,但它們本質上都可統一在信息論的框架下,所以不再一一列舉[1]。

3處理算法優化算法

可大致分為兩類,即批處理與自適應處理。

3.1批處理批處理比較成熟的方法有兩類。較早提出的是成對旋轉法[2],其特點是把優化過程分解成兩步。先把x-(n)經W陣加以“球化”得z-(n),使z-(n)T=IN,即:各分量不相關且方差為1,然后再尋找合適的正交歸一陣U達到使y-各分量獨立的目的。前一步類似于PCA,后一步則可利用Givens旋轉,根據目標函數,將z-中各分量兩兩成對反復旋轉直到收斂。這種方法計算量較大。1999年,Gadoso提出幾種方法對它作了進一步改進[3],其中包括:Maxkurt法、JADE法、SHIBBS法等,限于篇幅,本文不再敘述。近年來,提出的另一類方法是所謂“固定點”法(FixedPointMethod)[4,5

],其思路雖來源于自適應處理,但最終算法屬于批處理。

簡單地說,通過隨機梯度法調節B陣來達到優化目標時,有:B(k+1)=B(k)+ΔB(k)ΔB(k)=-μεkB(k)式中k是選代序號,εk是瞬時目標函數。當到達穩態時必有[E是總集均值算子]:E[ΔB(k)]=0(2)如果ΔB(k)與B(k)有關,就可由(2)式解出B的穩態值。不過由于(2)式總是非線性方程,因此求解時仍需要采用數值方法(如牛頓法、共軛梯度法等)迭代求解。實踐證明,不論是收斂速度還是計算量,此法均優于前一種方法,而且它還可以根據需要逐次提取最關心的yi,因此是一類值得注意的方法。

3.2結合神經網絡的自適應處理結合神經網絡的自適應處理算法的框圖。1994年Cichocki提出的調節算法是:B(k+1)=B(k)+ΔB(k)ΔB(k)=μk[I-Ψ(y-k)ΦT(y-k)]B(k)式中Ψ、Φ都是N維矢量,其各元素都是單調升的非線性函數:Ψ(yk)=sgnyk·y2k,ΦTy-k=3tanh(10yk)所得結果雖令人鼓舞,但是方法是經驗性的。其后學者們從理論上沿著這一方向作了更深入的討論,并發展出多種算法。概括地說,主要發展有以下幾點:

(1)引入自然梯度(或相對梯度)。按照最陡下降的隨機梯度法推導出的系數調節公式往往具有如下一般形式:ΔB(k)=μk[B-T(k)-Ψ(y-k)x-Tk]式中的Ψ(y-k)視具體算法而異。Infomax法中Ψ(·)由所選用的g(·)決定;MMI法中則與yk的三、四階矩有關。B-T(k)是矩陣求逆再轉置,它的計算量很大。Amari[7]在1998年提出將最陡下降梯度改為“自然梯度”,兩者間關系是:[自然梯度]=[最陡下降梯度]·BT(k)B(k)于是有:ΔB(k)=μk[B-T(k)-Ψ(y-k)x-Tk]BT(k)B(k)=μk[I-Ψ(y-k)y-Tk]B(k)由于此式避免了矩陣求逆,因此計算量明顯降低且收斂加快。目前,這一作法已被普遍接受。

(2)引入自然梯度后,采用不同的優化判據得出的調節公式雖各有千秋,但大致都可表示為如下的“串行更新”形式:B(k+1)=B(k)+ΔB(k)=[I+H(y-k)]B(k)只是H(y-k)的具體形式各不相同。串行矩陣更新的算法還具有一些理論上值得注意的性質,如均勻特性(uniformproperty)和等變性(equivariant)等[8,9]。

(3)四階累計量k4>0的超高斯信號和k4<0的欠高斯信號,其處理過程應當予以區別。采用同一算法效果往往不好。目前的辦法多是在調節公式中引入一個開關。根據估計得k4的符號來切換不同算法,如擴展的Infomax法就是一例[10]。此法的系數調節公式是:ΔB(k)=μk[I-Ktanh(y-k)·y-Tk-y-ky-Tk]B(k)其中K是對角陣,其對角元素之值為+1或-1,視該信號分量k4>0或<0而定。為了實時應用,估計K4也可采用遞歸算法。總之,自適應算法是目前采用較廣的方法。

4應用舉例

4.1仿真計算為檢驗經ICA算法分解信源的能力,左圖是一組源信號,它們對系統來說是未知的。這一組信號經混合后的觀察信號作為(中圖所示)ICA算法的輸入,分解后的結果如右圖所示。可以看到,除了波形的次序、極性和波幅發生變化之外,源信號的波形被很好地分解出來。一般情況下,臨床腦電信號中既有超高斯成分(如誘發電位),也有亞高斯成分(如肌電和工頻干擾)。為了檢驗擴展Infomax算法處理這類情況的能力,我們又用此法進行了如圖6所示仿真實驗。左圖第一行是一段自發腦電信號,第二行是仿真的視覺誘發電位,第三行是肌電干擾。混合后的信號(圖中第二列所示)經ICA分解得到如右圖所示的結果。這一結果表明擴展ICA算法在同時存在超高斯和亞高斯信號的情況下,仍然能夠很好地實現盲分解。但應指出:這一仿真結果并不說明通過ICA分解就能直接得到視覺誘發電位,因為還沒有涉及頭皮上的多導數據。

4.2實驗VEP分析(1)多導腦電觀察中VEP的增強:需要強調,把多導腦電作ICA分解后直接取出其中與VEP有關的成分,得到的并不是頭皮電極處的VEP分量,因為它們只是分解出來的信源,而這些信源的位置并不在頭皮上,為了得到電極處測量值中的VEP成分,需按下述步驟處理:用訓練得的W陣直接對頭皮上取得的多導腦電數據進行ICA分解,得到各獨立分量組成的矩恥y=Bx(見圖7a);再根據各分量的波形特征及產生時段,選擇與VEP有關的一部分分量(例如在前300ms中具有較大幅度的分量),并將其余分量置0,得到新的獨立分量矩陣y’;再反變換回頭皮各電極處得x’=B-1-y’。這樣才能得到去除噪聲和干擾后各電極處的VEP。

采用這樣的方法可顯著地減少提取VEP所需要的累加次數。左圖是經3次累加所得VEP,中圖是經50次累加所得結果,右圖則是用左圖經圖7中ICA處理后提取的VEP。比較中、右兩圖,兩者波形趨勢基本相同,但后者比前者其主要峰、谷顯然更清楚,而累加次數由50減到3。(2)ICA分量的空間模式:把某一個ICA分量的瞬時值經B-1逆推回頭皮各電極處得x-’后,就可以按斷層圖的插補方法得到該時該分量在頭皮上的空間分布模式。這個空間分布模式也可以用更簡單辦法得到:只要把逆矩陣B-1中相應于某ICA分量的列中各元素的值賦與頭皮各電極處,再作斷層圖插值,就可以表現該ICA分量在任意時刻的空間分布模式。也就是:x’i(t)=b’ijy’j(t),i=1~N式中b’ij是B-1的第i行第j列元素。

可見ICA分量y’j(t)在頭皮各電極處的對應值等于用逆陣B-1第j列各元素來對y’j(t)加權。因此,列矢量b’j=[b’1,…,b’Nj]可以用來統一地表現任意時刻y’j的空間模式。

5總結與展望

本文粗略介紹了ICA的原理、算法和應用,可以看到ICA確是一個值得注意的研究方向,但其理論體系尚未完整,實際采用的處理方法多少還帶有經驗性。例如為什么對非線性特性gi的要求不甚嚴格就沒有明確解釋;又如算法的穩定性、收斂性在實踐中是經常遇到的問題。從應用方面看也還有許多待開發的領域,例如如何應用于生理信號的模式識別與系統建模等。從生物醫學信號分析的角度看,還有一些亟待深入的問題。例如:

(1)在以上分析中混合陣A被假設為恒定。這對靜態的圖像分析或固定信源是合理的;但在生理實際中,等效信源一般在空間并不固定,因而混合陣A應視為時變的,而且傳導過程中還會引入容積導體的卷積及遲作用。這可能是實際生理信號分解結果不夠理想的原因之一。

(2)一般公認,生理信號的非平穩性較強,而以上分析并沒有考慮信號的非平穩性。

第8篇：卷積神經網絡優勢范文

這種曾經的航拍專業工具正在消除極客產品的烙印，每一家無人機廠商都極力降低使用門檻，為小白級用戶增加了自動返航、自動避障等傻瓜式操作功能。在當時，王孟秋思考過一個問題：當無人機生產商大疆科技已經牢牢控制了71%的消費無人機市場份額后，創業公司的機會在哪里？

2014年5月，王孟秋回國創辦了零零無限，在此之前，他在斯坦福大學攻讀計算機專業的博士。事實上，和父母旅行的經歷啟發了王孟秋回國開發無人機的想法―他發現家庭合影時要么用自拍桿，要么交給路人拍照，合照的背景或許不同，但人的表情和姿勢永遠一樣。“很多次家庭出游都差不多，拍照體驗完全是破碎的。”王孟秋說，“但自拍無人機可以將拍照的意義還原為捕捉生命中的美好瞬間。”

和吸引極客用戶的航拍消費無人機相比，王孟秋認為自拍無人機事實上在生活場景中將有更高的使用頻率，比如，朋友聚會的后院BBQ，兒子的一場兒童球賽，也可以是周末跟家里寵物在草坪上嬉戲的畫面。另一方面，低空近景人物拍攝、使用場景更為生活化的“飛行相機”，也能和大疆系列航拍無人機的產品定位區隔開來。

2016年10月，團隊推出了跟拍無人機Hover Camera小黑俠，這是一款能跟拍、提供更多視角和錄制運動片段的無人機。2016年，它已獲得了總額2500萬美元的融資，其中天使輪200萬美元和A輪融資2300萬美元，投資方包括IDG、金沙江創投、真格基金、ZUIG等。

直觀上，Hover Camera像兩層扁扁的鏤空黑色盒子。這其實是兩個折疊的碳纖維保護罩，里面有四翼螺旋槳，飛行時展開，長度不及一部iPhone 7 Plus，重量也才238克。

為了能夠讓更多小白用戶使用，在操作方面，Hover Camera棄用了傳統的無人機遙控器，起飛、飛行和降落直接在手機上操控，不過和航拍無人機不同的是，Hover Camera開發了人機交互的“指尖放飛”―托著無人機的指尖上，Hover Camera可以輕盈起飛，即便在狹小的室內，它也能周轉或懸停，發出嗡嗡的響聲。 >> 和吸引極客用戶的航拍消費無人機相比，王孟秋認為自拍無人機事實上在生活場景中將有更高的使用頻率。

“航拍無人機是為了拍‘景’，飛高飛遠，拍遠山，拍大橋，拍沙灘。零零無限推出的Hover Camera是為了拍‘你’。”零零無限產品經理劉力心說。在他看來，這是兩種不同的鏡頭語言―Hover Camera無人機拍攝以人為中心，比如同樣是拍攝跳水，航拍無人機的產品拍攝的是宏大的跳水場景，但零零無限想做的是人物跟蹤拍 攝。

即便如此小的Hover Camera仍包含300余個元器件，從機械結構設計到電機、旋翼設計，都需要從頭開始，況且硬件之外還有嵌入式系統、飛行控制系統、用于跟拍的機器視覺，以及對iOS和安卓等手機系統的適配。“所有的東西都是我們自己做的。”王孟秋說。

對于零零無限來說，創業過程是從不懂到懂的學習過程，早期最大的門檻還是在軟件上。“硬件是打磨得出來的，但是軟件上需要長時間積累。”在Hover Camera上沒有雙目攝像頭，全靠軟件的優化來支持單攝像頭與人控制相對距離。

此外，王孟秋一早就確定“安全飛行”是Hover Camera的核心競爭力之一。

在零零無限團隊看來，一個旋翼高速旋轉的飛行器，無論多小，都會有誤傷人的危險。在產品設計中，不同于業內普遍使用避障技術來實現安全保護，Hover Camera的做法是加入帶“保護罩”的外殼。在蘋果專賣店內，除了Hover Camera，其他無人機都禁止試飛。他們認為有了保護罩的Hover Camera不會傷到人，而其他無人機的避障軟件技術不能確保沒有故障。

為了方便攜帶，在原型機的材質選擇上，團隊考慮過用鋁鎂合金、塑料或加纖塑料來制作保護罩，但因為容易變形或過軟等會造成安全隱患的原因，Hover Camera最終使用了既堅固又輕盈的碳纖維。但隨之而來的是成本大幅增加，制成這樣的保護罩，需要經過CNC切割、拋光、烤漆等幾十道工序，讓Hover Camera的銷售價格攀升至599美元。

這是一個在安全和成本之間權衡的問題，團隊考慮后選擇了前者。如果去掉保護罩，Hover Camera以單電池可以飛24分鐘，可是以現在的形態只能飛10分鐘，一些用戶也質疑10分鐘的飛行不符合“自拍”這種高重復性的行為。同時，因為保護罩帶來的側向風阻加大，當戶外風大的時候，Hover Camera的穩定性很難保證。

但是零零無限仍然堅持做保護罩。“我不想做航拍，我們想做的是私人攝影師，就像家里多了一個人一樣。”王孟秋說。依據王孟秋的判斷，隨著人工智能的發展，人類拍照這件事情很可能被顛覆。“給機器兩三年的發展，它會懂得構圖、取景、拍照。”

事實上，你可以把Hover Camera看作一個會飛的小機器人，它每秒鐘拍攝30幀，每一幀都要確保人物在畫面中間位置不變，也就是說它每時每刻都在構圖。

跟拍無人機的核心在于自動化捕捉到隨時變化的人物動作，比如扣籃的瞬間，這就要求零零無限團隊在跟人算法上做出深度優化。團隊在一顆高通驍龍801芯片上實現了基于卷積神經網絡（CNN）的人臉人形檢測算法，在用戶選定需要跟隨的人形之后，跟隨部分采用Hover Camera的跟蹤算法。

在Hover Camera上市前，在美國蘋果總部，出于受眾、用戶體驗和設計元素的匹配，零零無限與蘋果達成了合作。在與蘋果生態做了諸多適配和兼容―如影像編輯軟件、文件系統―完成了多國的本地化工作后，Hover Camera先是@準進入5個國家和地區的蘋果專賣店，隨后國家數擴展到30余個。

至今，Hover Camera并未開設自己的線下實體店，只是在蘋果店和線上銷售。王孟秋不愿透露銷量，但也不諱言其在產能上的爬坡，到今年5月才實現產能充足，而線上銷售是積累產能比較好的方式。

從2016年10月正式到現在，Hover Camera大的固件升級已經有5次，從UI到交互界面都和最初的版本完全不同了。

第一版的Hover Camera軟件界面有點兒像大疆的遙控器操作，但現在則以用戶社區為主體；它跟蹤人的模式和方式也都與第一版大有區別：第一版，Hover Camera有兩種跟蹤模式，一種是只跟著面部，另一種則是整個人都需要入鏡。當初的兩種模式是為了區別近景拍攝和跟拍，但如今通過影像識別的優化，無人機能自動切換，不需要用戶自己區分。

第9篇：卷積神經網絡優勢范文

關鍵詞：科學計算；大數據處理；超級計算機；模擬仿真；并行計算

1引言

在現代科學研究和工程實踐中，通常使用數學方程式來表示某些自然科學規律，產生了眾多復雜繁瑣的數學計算問題[1]。基于普通計算工具來解決這些問題，將耗費大量人力物力，甚至無法得到準確結果。而科學計算[2]，利用計算機仿真、重現、預測或探索自然世界萬物運動規律和演變特性的全過程，通過研究合理的計算方法，設計高效的并行算法，研制合適的應用程序，能準確、高效地模擬各領域研究過程，分析計算結果。然而，普通計算機的科學計算能力往往是有限的，現有的計算能力無法高效地解決某些基礎學科和工程技術部門的科學計算問題，如長期天氣預報、石油勘探、飛機整體氣動力等等。

與此同時，地震檢測儀、粒子碰撞器、天文望遠鏡以及高通量分析裝置等大型科學儀器的研制和發展[3]，產生了大量非結構化或半結構化的數據，使得“大數據”趨勢變得越來越突出[4]。如今，許多科學發現和見解由大量數據集驅動，“大數據”被認為是除了實驗、理論和計算方法之外的第四種科學范式[5]。數據生成的容量、速度和多樣性構成了分析大數據的主要挑戰。

為提高科學計算能力，解決大數據問題，高性能計算(HPC)[6]技術迅猛發展。高性能計算機代表用于解決計算密集型科學和工程問題的高端計算基礎設施。我國的高性能計算早已突破每秒浮點運算千萬億次的壁壘，并繼續解決性能、可擴展性、可編程性、能效和可靠性等問題，探索新的支持技術以達到e級計算能力。

目前，高性能計算機已在多個領域得到了成功的應用[7]，但仍存在大量可供多個研究機構使用的空閑節點。本文簡介了一些高性能計算機系統及其性能，針對近年來在高性能計算機上的各大領域應用實例進行總結，并對在其他領域的應用做出了展望，以促進更高效、全面地使用高性能計算機。

2高性能計算機系統概述

中國首臺千萬億次超級計算機，是“天河一號”。“天河一號”超級計算機使用由中國自行研發的“龍”芯片，其峰值計算速度能夠達到1.206TFlop/s，同時Linpack實測性能達到了0.563TFlop/s，該超級計算機位居當時公布的中國超級計算機前100強之首，中國成為了繼美國之后世界上第二個能夠自主研制千萬億次超級計算機的國家。

天河一號采用6144個英特爾通用多核處理器和5120個AMD圖形加速處理器，其內存總容量98TB。至于點對點通信的帶寬就達到了40Gbps，而其用于共享的磁盤總容量則達到1PB。該超級計算機系統部署于天津濱海新區的國家超級計算天津中心作為業務主機。

2013年，由國防科學技術大學研制的“天河二號”大型超級計算機以每秒33.86千萬億次的浮點運算速度成為全球最快的超級計算機，位列國際大型超級計算機TOP500榜首。隨后，“天河二號”實現了世界最快超算“六連冠”。天河二號采用基于加速器的架構[8]。在可接受的總成本、功率預算、支持可靠性、可用性和可服務性(RAS)的能力、應用開發和移植的復雜性下提供高的計算性能。

天河二號的硬件系統由五個子系統組成，包括計算系統、通信系統、存儲系統、監控診斷系統和服務系統。它由16000個節點組成，每個節點有2顆基于IvyBridge-EXeonE52692處理器和3顆XeonPhi，每個節點的內存是64GB。所有的計算節點都通過專有的高速互連系統連接。還提供了一個服務子系統的4096個節點，以加快高吞吐量的計算任務，如大數據處理。存儲子系統包括256個I/O節點和64個容量為12.4PB的存儲服務器。天河二號文件系統命名為h2fs，采用麒麟操作系統、基于SLURM的全局資源管理。支持大多數現代編程語言，包括C、C++、Java、Python等。采用的是新型異構多態體系結構(Multipurpose-Heterogeneous)[9]。

天河二號的系統配置列于表1中。

“天河二號”集科學計算、大數據分析和云計算于一體，被認為是滿足工業和社會需求的戰略基礎設施。以超級計算機為支撐的高性能計算應用正加速向各個領域滲透。

Table1SystemindicatorsofTianhe-2

表1天河二號系統指標

width=375，height=252，dpi=110

在國內早期的高性能計算機研究中，2004年6月超級計算機曙光4000A研制成功，落戶上海超級計算中心，標志著繼美國和日本之后，中國是第三個能研制10萬億次高性能計算機的國家。曙光能夠每秒運算11萬億次，進入全球超級計算機前十名。經過十多年發展，曙光E級高性能計算機系統項目現在是國家“十三五”期間高性能計算的重點專項，其最顯著的特點是突破了制約E級計算發展的各個關鍵技術，通過這樣原型機的研制去驗證E級的技術路線，為未來真正實現國產E級系統做技術鋪墊。

width=642，height=303，dpi=110

Figure1StructureofSugon’sCPU

圖1曙光CPU結構

在2016年法蘭克福世界超算大會上，“神威·太湖之光”超級計算機系統成為新的榜首，速度較第二名“天河二號”快出近兩倍，效率提高三倍。

神威·太湖之光超級計算機由40個運算機柜和8個網絡機柜組成。每個運算機柜包含4塊由32塊運算插件組成的超節點。每個插件由4個運算節點板組成，一個運算節點板又含2塊“申威26010”高性能處理器。一臺機柜就有1024塊處理器，整臺“神威·太湖之光”共有40960塊處理器。每個單個處理器有260個核心，主板為雙節點設計，每個CPU固化的板載內存為32GBDDR3-2133。

在2018年的法蘭克福世界超算大會上，美國能源部橡樹嶺國家實驗室(ORNL)推出的新超級計算機“Summit”以每秒12.23億億次的浮點運算速度，接近每秒18.77億億次峰值速度奪冠，“神威·太湖之光”屈居第二。

3高性能計算機各大領域應用實例分析

為充分發揮高性能計算機的優勢，極大限度地滿足客戶需求，自超級計算機在中國開始發展以來，相關團隊都致力于擴展高性能計算在各個領域的利用，迎合各領域應用的計算要求，協助用戶配置應用環境，建立高效模型，設計合理并行算法，以實現各領域的科學計算和大數據處理在高性能計算機上的應用。

3.1生物計算與精準醫療

根據廣州國家超級計算中心的內部統計[10]，生物醫學相關應用現在是超級計算中心的主要客戶。生物醫學研究主要包括生物大分子的結構模擬與功能建模，藥物設計與篩選，蛋白質序列分析，基因序列分析與比對，基因調控網絡的分析與建模，醫療衛生的雙數據分析及生物醫學文獻挖掘等。

生物醫學數據繁多，且一直呈指數增長。如世界最大的生物數據保存者之一，歐洲生物信息學研究所(EBI)，存儲超過20PB的數據，并且最近每年的數據量都增加一倍[11]。數據源的異質性，包括基因組學、蛋白質組學、代謝組學、微陣列數據、文獻等，使其更加復雜。

針對典型類型的大數據——基因組大數據，在大數據框架(如Hadoop和Spark)的幫助下，云計算已經在大數據處理中發揮著積極作用。現在，HPC在中國的快速發展使得以不同的方式解決基因組大數據挑戰成為可能。Yang等人[12]強調了在現代超級計算機上增強大數據支持的必要性，提出只需單個命令或單個shell腳本就能使當前的大數據應用在高性能計算機上運行，并且支持多個用戶同時處理多個任務的Orion作為高性能計算機的大數據平臺。該平臺可以根據大數據處理需求，合理分配所需的資源量，并使用HPC系統軟件棧自動建立和配置可回收的Hadoop/Spark集群。以華大基因提供的基因組學大數據作為案例研究，測試基因組分析流水線SOAPGaea的FASTQ過濾、讀取對齊、重復刪除和質量控制四個過程，證明了Orion平臺的高效性。

為更好地了解基因的精細結構、分析基因型與表現型的關系、繪制基因圖譜，DNA序列分析成為生物醫學中的重要課題[12]。

DNA序列的排序是對DNA序列分析的基礎[13]。通常先使用測序儀得到生物體基因組的一些片段，再利用計算機對片段進行denovo拼接，從而得到DNA序列的排列順序。而隨著測序儀的發展，基因組的數據量增大，分析復雜性提高，普通計算工具分析數據會消耗大量時間和空間。張峰等人[14]基于高性能計算機，使用一種新型序列拼接工具SGA(StringGraphAssernbler)，對任務之間數據耦合度小的分批構建FM-Index，采用粗粒度的多進程并行；對任務之間數據耦合度較大的FM-Index合并過程，采用多線程的細粒度并行。這種多進程與多線程的混合并行策略，使用并行計算代替通信開銷，測試小規模數據時，將索引構建時間的最佳性能提高了3.06倍。葉志強等人[15]在基因組排序時，引入隨機listranking算法，基于高性能計算機，使用MPI并行實現Pregel框架的線性化步驟，利用節點之間的通信和計算能力，減少了線性化步驟時間。

SNP(單核苷酸多態性)檢測是DNA序列分析的關鍵步驟[16]。它將對齊的read、參考序列和被編排的數據庫(如數據庫SNPP)作為輸入，通過站點檢測對齊的read和引用站點的信息，生成SNP站點的列表。SNP檢測工具SoAPSNP可以用一個多星期的時間來分析一個覆蓋20倍的人類基因組。崔英博等人[17]通過重新設計SOAPSNP的關鍵數據結構以降低內存操作的開銷，設計CPU與XeonPhi協作的協調并行框架，以獲得更高的硬件利用率。并提出了一種基于讀取的窗口劃分策略(RWD)，在多個節點上提高吞吐量和并行規模，開發了SOAPSNP的并行版本MSNP，在沒有任何精度損失的情況下，利用高性能計算機的一個節點實現了45倍的加速。

方翔等人[18]利用高性能計算機，構建了由基因組與轉錄組測序數據分析、蛋白質結構預測和分子動力學模擬三個功能模塊組成的生物信息平臺分析水產病原，對約氏黃桿菌等多種水生動物病原進行生物信息學分析。

從生物醫學文獻中提取有價值的信息的一種主流方法是在非結構化文本上應用文本挖掘方法。然而，大量的文獻需要分析，這對文本挖掘的處理效率提出了巨大的挑戰。彭紹亮等人[19]將針對疾病實體識別的軟件DNorm加入可高效識別基因、蛋白質、藥物、基因通路等實體關系的文本挖掘工具PWTEES流水線中，擴充了PWTEES的功能。使用LINNAEUS導入MEDLIN數據庫提供的摘要，并在個人賬戶目錄下，動態使用計算節點，編譯安裝配置了非關系型數據庫(MySQL)，將大量非結構化數據(文獻)轉為結構化數據。將平時在普通服務器上需100天能完成的文本挖掘過程縮短為1小時，并利用200個進程并行挖掘7萬篇頭頸癌相關文獻中的關鍵命名實體，得到了80%以上的并行效率。Xing等人[20]開發了一個可運行的框架PARABTM，它能夠在超級計算機上實現并行文本挖掘。以GNormPlus、tmVar2.0、Dnorm三種命名實體識別任務為例，對多個數據集上PARABTM的性能進行了評價。結果表明，使用PARABTM并行處理策略中的短板匹配負載平衡算法(Short-Boardloadbalancingalgorithm)，最大程度地提高了生物醫學命名實體識別的處理速度。

3.2全數字設計與制造

數字設計與制造是一種以計算機系統為中心的集成制造方法。隨著制造工廠中計算機系統數量和質量的提高，數字化趨勢迅速。越來越多的自動化工具被用于制造工廠，有必要對所有機器、工具和輸入材料進行建模、模擬和分析，以優化制造過程。而模擬能夠建模和測試一個系統行為特性，讓工程師能夠用更低耗、更快速同時更安全的方式來分析所做的設計會產生什么樣的影響。模擬的應用范圍廣泛，涵蓋了產品設計、過程設計以及企業資源安排[21]。在模擬過程中，利用超級計算機強大的計算能力，使工程師能在幾分鐘或幾小時內仿真和測試數千種設計方案。

利用數字化的方式，可以對產品進行結構力學分析、流體力學分析、電磁設計和多物理場模擬等多種計算仿真。

在計算流體力學CFD(CcomputationalFluidDynamics)領域的一大熱點研究問題就是如何在當前主流的眾核異構高性能計算機平臺上進行超大規模計算。楊梅芳等人[22]在高性能計算機的單個節點上，利用超然沖壓發動機燃燒數值模擬軟件LESAP模擬一個實際發動機燃燒化學反應和超聲速流動的問題，采用OpenMP4．0編程標準，向量化SIMD，優化數據傳輸過程，均衡基于網格塊劃分的負載技術，實現了軟件面向CPU+MIC異構平臺的移植，達到了3.07倍的性能加速比。王勇獻等人[23]面向高性能計算機探索了高階精度CFD流場數值模擬程序的高效并行性。在高性能異構并行計算平臺上進行了多個算例的數值模擬的結果顯示最大CFD規模達到1228億個網格點，共使用約59萬CPU+MIC處理器核，實現了移植后的性能大幅度提高。通過將算法移植到超級計算機進行大規模并行，能夠實現高效的流體力學分析。而文獻[24-26]都是針對空氣動力學中的具體分類利用高性能計算機進行模擬以驗證有效性的研究。利用數字化設計，能夠快速低成本地對設計性能進行分析評估。

在圖像模擬中，Metropolis光傳輸算法能夠利用雙向路徑跟蹤構建出由眼睛到光源的路徑，是MonteCarlo方法的變體。然后，使用Metropolis算法靜態計算圖像中光線的恰當的散射狀態，由一條已發現的光到眼睛的路徑，能搜索到鄰近路徑。簡單地說，Metropolis光傳輸算法能夠生成一條路徑并存儲其上的節點，同時能通過添加額外節點來調整并生成新的路徑。隨著對照片級真實感圖像的要求越來越高，為Metropolis光傳輸算法開發高效且高度可擴展的光線跟蹤器變得越來越重要。主要是渲染圖像通常需要花費大量時間，開發高效且高度可擴展的光線跟蹤器的困難來自不規則的存儲器訪問模式、光攜帶路徑的不平衡工作量以及復雜的數學模型和復雜的物理過程。Wu等人[27]提出了一種基于物理的高度可擴展的并行光線追蹤器，并在高性能計算機上進行了實現，利用多達26400個CPU內核，證明了其可擴展性，能夠從復雜的3D場景生成逼真圖像。

模擬高場非局部載流子傳輸同樣需要3DMonteCarlo模擬方法，通過適當的量子校正涵蓋散射效應，半經典的MC模擬能夠給出準確的結果。但是，MC方法中3D模擬和量子校正都需要巨大的計算資源[28]，由效率出發超級計算機的計算能力就至關重要了。文獻[29]中，通過在高性能計算機上使用IntelMIC協處理器，進一步提高了之前工作中開發的3D并行的繼承MC模擬器的并行效率。

對于高性能計算機在全數字設計和制造領域的集成應用，國家超級計算廣州中心推出了天河星光云超算平臺，以云服務的方式提供CAE計算和HPC訪問，大大降低了數字設計的門檻，支持產品設計的全工作流。目前基于該平臺支撐的項目有諸如國產大飛機、高鐵等，都是國家工業生產中重要項目[30]。

3.3地球科學與環境工程

基于該應用領域，超級計算機的主要作用在于變革對自然界中諸如地理狀況、海洋、大氣等種種元素的模擬方式。以超算為平臺，不僅能模擬出地球上每個時期的狀況，甚至是對宇宙中的種種同樣能進行模擬分析，讓地球科學和環境工程的研究范圍不再限于此時此地，而是更廣闊的空間。

在宇宙學的層面，早在2015年就利用高性能計算機模擬出宇宙大爆炸后1600萬年之后至今約137億年的暗物質和中微子的演化過程，并將進一步尋找宇宙邊界的報告[31]。中微子雖然是自然界中的基本粒子之一，在宇宙大爆炸約1s后與其他等離子體物質退耦，形成看不見的宇宙背景，通過物理實驗和實際的天文觀測都無法精確測量中微子的質量。在高性能計算機平臺上，利用3萬億粒子來對宇宙中的中微子和暗物質的分布和演化進行模擬，開創了宇宙學中獨立測量中微子質量的道路。

在地球外圍層面上，大氣變化同樣是一個關注點。Xue等人[32]提出了一種基于高性能計算機的全球性大氣動態模擬的混合算法。通過使用更靈活的域分區方案來支持節點中任意數量的CPU和加速器，算法能夠充分利用超算的優良性能。當使用8664個節點，包括了近170萬個核心時，可以有效地利用節點內的三個MIC卡，對兩個IvyBridgeCPU(24個內核)實現4.35倍的加速。基于成功的計算-通信重疊，算法分別在弱和強縮放測試中實現了93.5%和77%的并行效率。

相較于廣袤無邊的宇宙，大部分人們對于腳下的土地更加關心。自然災害如地震、泥石流等，可能會造成巨大的生命財產損失，而地下油氣資源又是經濟社會發展所必需的，利用超級計算機去探索大地也是發展所需要的。

中石油集團開發的用于石油油氣勘探的GeoEast系統已經經過了十幾年的發展更新，在數據模型、數據共享、一體化運行模式、三維可視化、交互應用框架、地震地質建模、網絡運行環境和并行處理方面取得了多項創新與重大技術突破，是地震數據處理解釋一體化系統。目前GeoEastV3.0版本軟件總體達到國際同類軟件先進水平，為推動中國石油勘探開發領域不斷取得新成果發揮了重要作用[33]。但是，這樣的一體化系統在使用中勢必會產生大量的數據，這就對計算機的性能有了要求。因此，在GeoEast系統聞名世界的過程中，高性能計算機在幕后是功臣之一，保證了系統的順利運行，助力石油勘探工作[34]。而文獻[35]專注于地震模擬，提出了針對英特爾至強處理器的對于軟件SeisSol的優化，以適用于高性能計算機的計算環境中，通過全摩擦滑動和地震波的耦合仿真實現了空前復雜的地震模型。移植到高性能計算機的SeisSol提供近乎最佳的弱縮放，在8192個節點上達到8.6DP-PFLOPS，在所利用的整個高性能計算機上能達到18～20DP-PFLOPS，成功模擬了1992年蘭德斯地震。

3.4智慧城市云計算

城市發展經過多年的調整，已經在經濟上有了相當進展，目前從如何讓人們生活更加便捷出發，許多地區開始建設智慧城市。智慧城市(SmartCity)是指利用各種信息技術或創新意念，集成城市的組成系統服務，以提升資源運用的效率，優化城市管理和服務，進而能夠提高居民生活質量。智慧城市的發展不僅僅是對生活的改變，還能促進生產方式的轉變，解決在城市擴張及經濟高速發展中產生的一系列“城市病”問題。智慧城市，代表的是城市的智慧，由智慧，能夠衍生出智能中、知識和數字等更廣泛的內涵[36]。

迄今為止，廣州、北京、上海、寧波、無錫、深圳、武漢、佛山等國內城市已紛紛啟動“智慧城市”戰略，相關規劃、項目和活動漸次推出。高性能計算機云平臺應運而生，為智慧城市建立堅實、先進的基石。智慧城市由于其性能需求，對依賴的平臺的計算能力的要求會更高，而超算的計算能力就能為智慧城市的建設提供相當助力。在2014年，就有中國首臺千萬億次超級計算機“天河一號”在智慧城市中應用的報道，以其在天津濱海區的應用為例，“天河一號”的建筑信息領域的大數據平臺通過對建筑信息建模，實現對建筑物從規劃、設計、建造到后期物業管理理的全程數字化。此外，城市規劃、氣象預測、生物醫療、裝備制造、汽車碰撞模擬等行業，也能更多地通過“天河一號”，實現大批量數據計算、分析和存儲[37]。

而高性能計算機的持續計算速度進一步達到了億億次，所能提供的服務質量也更高，麒麟云平臺被部署在1920個節點(15個機柜)，其中64個節點(兩個機框)作為云平臺控制節點，其余節點為運行虛擬機的計算節點和分布式存儲的存儲節點。為方便管理，將計算節點進行分區管理，512個節點(4個機柜)為一區，用于滿足生產環境、適配環境、測試環境需要。分布式存儲沒有分區，所有節點形成一個全局的分布式存儲池，但在使用時可按需劃分指定容量的區域供不同用途使用[38]。這種云超算服務采用麒麟安全云系統實現虛擬化技術，將虛擬機資源遠程推送給用戶使用[39]。可通過互聯網遠程管理虛擬機資源，使高性能計算機云平臺資源能夠被更多人使用，超算的計算能力能夠更好地推動社會各個領域發展。2017年OpenStack的第15個版本中，麒麟云團隊在核心功能解決的Bug數，以及Commits的數量均進入全球前20，麒麟云的發展是非常迅速的，與開源社區緊密結合，貢獻突出[40]。

3.5材料科學與工程

在材料科學與工程的研究中，量子力學、經典動力學、統計力學是三大基礎且主要的研究方向。研究人員致力于材料參數的建模、多尺度平臺開發和新材料的設計、開發和優化。

分子動力學模擬在材料科學、生物化學和生物物理學等領域得到了廣泛的應用。分子動力學(MD)是研究分子和分子的物理運動的計算機模擬方法，它提供分子尺度上的微觀取樣。基于能量細化的輔助建模AMBER(AssistedModelBuildingwithEnergyRefinement)[41]是用于MD模擬的使用最廣泛的軟件包之一。然而，對于具有百萬原子級的系統的AMBERMD模擬的速度仍然需要改進。彭紹亮等人[42]在單CPU上的細粒度OpenMP并行、單節點CPU/MIC并行優化和多節點多MIC協作并行加速方面進行了改進。在高性能計算機上實現AMBER的并行加速策略，與原程序相比，實現了25～33倍的最高加速比。同時，對于計算資源的限制，分子動力學軟件GROMACS不能大規模地進行滿意的操作。Wang等人[43]提出了一種利用卸載模式加速GROMACS的方法。為了提高GROMACS的效率，提出了異步化、數據重組和數組重用等一系列方法。在這種模式下，GROMACS可以與CPU和IntelXeonPHITM多個集成內核(MIC)協處理器同時有效地配置，充分利用高性能計算機資源。

材料輻照效應(Materialirradiationeffect)是使用核能的重要關鍵之一。然而，由于高通量輻照設施和進化過程知識的缺乏，此效應的利用并不好。在高性能計算的幫助下，Hu等人[44]提出了一種新的數據結構，用于大規模并行模擬金屬材料在輻照環境下的演化。基于所提出的數據結構，開發了一種新的分子動力學軟件——CrystalMD，并在高性能計算機上進行了二兆個原子模擬，對MD輻射效應研究的模擬規模進行了擴展。

3.6其他領域

近年來，隨高性能計算的推廣，政府部門對超級計算機的重視，舊產業轉向新產業的變化及大量有高性能計算需求的企業對超級計算機的需求增大，超算人才培養初見成效[45]。在應用軟件開發等推動下，高性能計算機的適用范圍逐漸向更多領域滲透。

源于人工神經網絡的研究深度學習作為人工智能的一個新研究領域，在模仿人腦的機制來解釋如圖像、聲音和文本數據上有了很大進展。例如，卷積神經網絡(CNN)能準確地對大型圖像進行識別處理，然而CNN的訓練密集程度很高，特別是對于大型具挑戰性的任務，卷積層的參數數據量龐大。而高性能計算機的易訪問、高峰值等性能使學術界和工業界都可以輕松訪問相關平臺，并可以在合理的時間內訓練中等和較大規模的CNN。使用基于輸入展開以將其投影為矩陣乘法(Unfold+Parallel-GEMM)的算法的CAFFE、Theano、Torch7、Chainer、CNTK和TensorFlow等最先進的CNN基礎設施已可以在高性能計算機上進行部署和應用。

增強現實技術AR(AugmentedReality)，將真實世界信息模擬至虛擬世界，讓人隨時產生真實感受。通過高性能計算機高效地實現算法，可以數字虛擬孕育“互聯網+”新業態，開發虛擬試衣、模擬試駕等應用項目。