面向野外環境下的多模態融合算法

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了面向野外環境下的多模態融合算法范文，希望能給你帶來靈感和參考，敬請閱讀。

關鍵詞：野外監控網；目標識別；深度學習；多模態融合；特征

提取在國內，通常將部署于野外環境中進行監控和偵察任務的無線傳感器網絡稱為野外監控傳感網。野外監控傳感網通常由聲響、震動、圖像、被動紅外等傳感器組成。采集到的信號，在經過處理后，不但可以檢測出該區域內人員、車輛等目標的入侵，還可以獲得其方向、速度、隊伍規模、武器裝備等重要情報，最后通過無線通信設備將這些信息傳送到控制中心，即可實現對區域的監控和偵察。野外傳感網中的傳感器種類多種多樣，僅僅依靠單一傳感器采集的信息很難達到可信的判決結果，例如震動傳感器易受地質條件的影響、聲陣列對環境噪聲非常敏感、圖像傳感器無法解決遮擋情況下的目標檢測和識別等等。研究表明，單模態目標識別系統的一些缺陷可以通過多模態目標識別系統來彌補。多模態目標識別系統實際上是通過集成融合多種傳感器所提取的特征信息（例如震動、聲音、圖像等）完成分類鑒別功能。近年來計算機技術和大規模數據處理技術的迅速發展，神經網絡的高熱度研究，都給深度學習帶來了新的生命力和活力，刺激了深度學習在各個方面研究和應用，多模態機器學習也在深度學習的浪潮下實現了長足的進步和發展［1－3］。如今，深度學習已經在RGB攝像頭、深度攝像頭、聲卡等多模態信息融合方面發揮了很大的作用，融合手段和方式也多種多樣［4－6］。在此背景下，本文提出了一種基于深度學習的多模態特征融合算法，根據震動、聲音和圖像傳感器所采集信息的特征，分別采用了不同的卷積神經網絡來提取特征，并對特征進行融合。融合后的特征，對野外環境的目標分類鑒別具有更強的魯棒性。

1面向野外環境的多模態融合算法研究

本文所設計的系統結構如圖1所示。Avg．L表示均值化處理，L1～L4分別表示512、1024、2048和N個神經元組成的全連接層。N表示系統的分類類別數。該系統總共包括五個部分：特征提取、編碼、特征融合、解碼和分類。特征提取模塊從數據中提取特征，編碼器和解碼器是對稱的網絡結構，編碼器將特征數據進一步處理，解碼器試圖還原特征數據，特征融合層對三個模態特征進行整合從而得到場景的全局特征。分類器對融合得到的全局特征進行分類判別。

1．1特征提取模塊

針對三種模態數據所設計的特征提取單元。對于圖片數據，我們使用GoogLeNet［7］網絡來從RGB數據中提取特征，得到的特征長度為1024維。對于麥克風陣列采集的聲音數據，先對數據做預處理提取聲音數據的梅爾倒譜系數MFCC［8］。圖2是不同風噪條件下履帶車的MFCC圖譜。本文，將聲音數據轉化為MFCC頻譜圖，以MFCC頻譜圖作為GoogLeNet的輸入，提取聲音數據的特征。對于磁敏傳感器采集的震動信號，本文采用4層的一維卷積來對震動信號進行處理，每層卷積后都有一個Maxpooling來提取最大值，網絡命名為VibrationNet。該網絡分支的具體參數如表1所示。輸入到VibrationNet的震動信號長度為8192，該信號經過網絡處理后，可以獲取長度為1024維的特征。這三個特征提取模塊需要單獨訓練，對于圖像和聲音特征提取網絡，我們可以直接在ImageNet預訓好的GoogLeNet模型基礎上進行微調。而震動信號特征提取網絡則需要重新訓練。

1．2編解碼模塊

編解碼模塊是兩個對稱的結構，編碼器對輸入的特征進行編碼，解碼器則盡可能地恢復輸入的特征，并使得兩者的error足夠小。編碼器的輸入是3個1024維度fm（m＝1，2，3）的特征，解碼器的輸出為3個1024維的特征gm（m＝1，2，3）。編碼器是由四層全連接組成，神經元數量分別為1024、512、512和256。

1．3特征融合模塊

圖像、聲音和震動信號經編碼后所得到的特征長度均為256維。這里的特征融合模塊主要是進行均值化操作，模塊的輸入是三個256維的特征均值化后輸出的則是一個256維度的特征。

1．4分類模塊

假設需要進行的是N分類，圖1中的分類模塊是由4個全連接層組成。神經元的個數依次為512、1024、1024和N。網絡的最后再接一個N維的softmax，輸出對應的分類結果。

1．5損失函數

該系統的損失函數定義為：其中，Lclass表示分類模塊的交叉熵損失函數。fm（m＝1，2，3）和gm（m＝1，2，3）分別表示三種模態數據對編碼器的輸入特征和解碼器的輸出特征。

2實驗結果分析討論

野外傳感網檢測所感興趣的目標一般是人員、履帶車、輪式車和卡車四種。本文所用的實驗數據是從四個不同的野外環境中采集所得，采集設備主要有攝像頭、麥克風陣列和磁敏傳感器分別獲得圖像、聲音和震動三種模態數據?？偣膊杉?22731條數據，實驗時隨機選取每類總數據的80％的用來訓練模型，剩下的20％用來測試模型。四個場地采集的數據分布如表2所示。本文的實驗總共分為兩個部分，實驗1是將四個場景的數據全部用來訓練模型并測試，模型的識別結果如表3。從表3的結果來看，履帶車的識別精度最高（表格中的加粗項），人員最低，這主要是因為相比于其他三種目標，履帶車較重，運動時產生的聲音及震動信號較強，而人員運動時麥克風陣列和磁敏傳感器采集的信號都較弱，真實信號容易淹沒在噪聲中，導致識別結果較差。但總體來看，該系統的平均識別率基本都在95％以上，滿足項目中對野外環境監控的要求。同時，也對實驗過程中每條數據的處理時間進行了統計，平均為0．543s，滿足判定結果實時上報服務器匯總的需求。實驗2是從四個場景中隨機挑選三個場景的數據用來訓練模型，剩余場景的數據用來測試模型，模型總共訓練并測試了4輪。實驗結果請參照表4。從表4的實驗結果來看，場地3作為測試樣本時，系統的性能較差，這主要是因為場地3的數據在采集時有很多突發情況，比如出現了很多意外路過的車輛以及采集數據當天的風力較大等，這些都對場地3數據的質量造成了很大的影響，這就導致實驗2中場地3單獨作為測試樣本時，模型性能有些下降。但總的來講，雖然用來測試的場地沒有參與模型的訓練，模型的識別性能同實驗1相比下降不是很明顯，這表明所搭建的系統具有一定的遷移性及魯棒性。

3結束語

本文提出了一種聯合多種模態信息，對野外監控網中運動目標進行檢測的方法，可以從多種模態信息中同時提取對分類有用的全局信息。實驗結果表明，本文所設計的系統對野外環境中的目標檢測有一定的應用價值，并且通過不同場景下的實驗結果來看，該系統對于訓練數據的依賴性較低，有一定的遷移性及魯棒性。四種場景均參與模型訓練的情況下，每種類別的精度基本可以達到95％以上，每一條數據的判別時間為0．543s，基本上可以滿足野外監控對于精度和實時性方面的需要。目前網絡的訓練還是分段進行的，需要先訓練特征提取器，再訓練后面的分類器，結構較為復雜。下一步將嘗試對模型結構進行改進，設計一種端到端的網絡，同時還要進一步降低模型參數，減輕模型移植方面的壓力。

參考文獻

［1］高源．多傳感器信息融合及其應用研究［J］．產業創新研究，2018（8）：67－68

［2］董立羽．現代生物特征識別技術發展綜述［J］．電腦與信息技術，2007，15（5）：11－13

［3］黃子超，劉政怡．特征融合與S－D概率矯正的RGB－D顯著檢測［J］．中國圖象圖形學報，2016，21（10）：1392－1401

作者：俞嶺 丁園園 范?，?單位：裝備發展部駐上海軍代室