談管線運營下的大數據分析平臺

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了談管線運營下的大數據分析平臺范文，希望能給你帶來靈感和參考，敬請閱讀。

［摘要］針對管線運營中產生的海量信息未被有效利用的問題，文章總結分析了國內外管線運營數據分析研究的現狀及存在的問題。為達到管線運營數據合理分析應用目的，總結了管線運營數據分析的主要研究內容，并提出了一套管線運營大數據平臺建設的總體方案，以達到對管線運營數據的挖掘分析，提升管線運營的安全監控和預警預測能力。

［關鍵詞］大數據;管線數據分析;城市地下管網信息化管理

1引言

隨著信息技術的快速發展和管線運營安全的迫切需要，以數據為驅動、以IT技術為手段的智慧管線建設成為監控管線安全、降低維修維護成本以及知識共享與傳承的有效途徑。城市地下管線隱蔽性強、種類繁多，包括供水、排水、燃氣、熱力、電力、通信、廣播電視、工業8大類20余種管線，［1］在運營過程中產生海量的結構化、半結構化和非結構化數據，迫切需要采用機器學習算法和大數據計算框架，建立相關大數據模型，打破業務界限，可多維度分析、挖掘以往常規手段無法發現的價值，［2］充分發揮數據在管線運營過程中的價值。運用大數據技術實現管線運營中海量數據的集中存儲、統一管理、高效計算、深度挖掘以及可視化應用。

2國內外研究現狀

在國外發達國家，城市地下管網信息化管理已經成為城市發展建設的一項重要基礎工程，許多城市已經建立了不同規模、不同利用目的的管網信息化管理系統，并且已經進入了專業化應用和商品化生產階段，積累了豐富的研究與實施經驗。［3］中國的城市地下管線信息化自2000年后就已大規模展開，北京、上海、廣州、廈門、杭州、南京等多個城市已經建立了地下管網信息化管理系統，［4］但大都在各行業內部分散建立專業管理系統，缺少統一規劃、協調，信息管理系統是各自為政，系統之間信息不能交換、共享。［5］結合國內外各領域數字化建設的發展情況，管線數字化發展和應用存在以下不足:①管線基礎數據積累和共享不夠:傳統的給水、排水、燃氣、熱力、電力、通信六大管線分屬不同的管理部門，［6］各部門的信息系統建設時間比較晚，而且相互之間比較離散孤立，這些互不兼容的數據格式難以互聯，從而無法在設計、施工、運營、檢測部門之間有效地實現信息共享與傳遞。②對管線運營數據的分析與挖掘不夠:缺少有效的數據整合和數據分析與挖掘技術及方法，限制了各專業領域的技術應用和發展，制約了對管線運營風險和綜合檢測的分析。③數據采集頻率較低:管線運營管理過程中，大部分數據采用人工檢測的方式，沒有依靠物聯設備對管線狀態信息、人員軌跡信息進行實時的采集。

3研究目標和內容

3.1管線大數據平臺研究目標

管線數據分析旨在通過對互聯網、移動應用等外部數據抓取和物聯傳感器實時檢測數據集成，加強管線運營數據與抓取數據、檢測數據的融合，構建以管線運營數據為核心的數據資源池。在此基礎上，重點解決多源異構數據融合、數據存儲、數據處理及數據計算等方面的技術問題，提高管線運營數據存儲與管理的集成度。通過對管線運營大數據挖掘分析模型的研究，提供多維度的管線運營數據分析，從而為管線運營過程中的決策提供輔助支持。

3.2管線大數據平臺研究內容

探索分析與管線運營相關的互聯網管線相關數據、物聯接入數據等外部數據，形成與管線運營相關的外部數據指標體系表，并對各指標的參考取值及對管線運營的影響進行分析。建立大數據中心，通過數據交換平臺及相應的主題數據庫實現管線運營數據的抓取，針對外部數據，重點研究數據采集、處理和分析，實現結構化數據、非結構化數據及半結構化數據的應用。

3.2.1管線大數據采集與預處理技術研究數據采集通過網絡爬蟲工具、Kafka、Sqoop、Flume等大數據采集工具，實現對互聯網管線輿情數據、物聯傳感器接入數據、管線運營業務管理數據、應急指揮數據、安全監管數據等結構化、半結構化和非結構化數據的獲取。

3.2.2管線大數據存儲技術研究通過對并行存儲技術與數據倉庫的研究，提高存儲系統的性能、擴展性和可用性，為建立集中、統一的數據存儲中心提供支撐，解決了數據提取速度慢、查詢效率低等問題。

3.2.3管線大數據計算框架研究由于需要對互聯網管線相關數據、物聯接入數據、管線運營業務管理數據、應急指揮數據、安全監管數據等數據的綜合分析，需要提供很高的計算能力，通過對大數據Ma-pReduce、Spark等并行計算模型和內存計算框架中離線批量計算、內存迭代計算、流式處理計算等大數據計算技術的研究，實現資源虛擬化與動態調度，解決單機計算能力以及數據處理量有限的問題。

3.2.4管線數據挖掘模型研究管線數據指標體系自動識別:傳統的管線數據分析包括人工分析和簡單的程序分析，但隨著海量管線數據的采集和積累，傳統的分析方式都難以實現對管線大數據指標識別。基于大數據技術的管線數據對互聯網、物聯接入、管線運營、應急指揮、安全監管等數據進行分析，可以實現對管線指標體系自動識別的效果，提升管線畫像的分析能力。管線數據高維分析:［7］管線數據指標體系中的指標數量眾多，指標數據之間可能存在多種相關關系，指標分析維度呈現多樣化分析。通過高維分析技術，可以將指標維度進行匯集、合并，自動對維度與指標關系進行判斷，從而盡可能減少邊緣維度對關鍵維度可能出現安全隱患的管線提前預警，提高管線運營整體的工作效率，降低管線維修維護成本。管線安全狀態預測預警:通過對溫度、濕度、流速、壓力等管線物聯檢測數據與管線運行時間、材質等管線業務數據進行綜合分析和挖掘，可實現對管線運行安全狀態實時監控、趨勢走向進行預測分析，提升管線指標數據分析的準確性和完整性。

4管線大數據平臺

管線大數據平臺主要解決面向大數據的采集、存儲、管理、計算和分析應用等應用。平臺總體架構包括管線數據采集與處理平臺、管線數據存儲與管理平臺、管線分布式計算與挖掘平臺、管線大數據分析平臺模塊，以及用于管理軟件組件以及集群硬件的大數據平臺管理模塊。(1)基礎設施管理:包括服務器計算資源、存儲設備資源、網絡資源，為業務應用系統和大數據分析提供基礎環境。(2)管線數據采集與處理平臺:針對互聯網、物聯接入、管線運營、應急指揮、安全監管等數據的采集要求，平臺通過集成和開發等方式，設計了多種應用場景下的數據采集工具，根據不同數據院特點對數據進行采集、清洗、轉換和加載。(3)管線存儲與管理平臺:提供對結構化和非結構化數據通過綜合應用關系型數據庫、列式數據庫、內存數據庫運算、并行數據庫等數據庫技術，支持海量異構數據統一可靠的存儲管理，對外提供統一的分布式調用接口。(4)管線分布式計算與挖掘平臺:優化了分布式計算框架MapReduce和分布式內存計算框架Spark。并在此基礎上構建面向管線運營管理業務的文本處理引擎、流處理引擎、數據挖掘引擎、搜索引擎等，進一步加強了管線數據分析能力的支撐。(5)管線大數據分析平臺:利用強大的分析能力，從互聯網、物聯接入、管線運營、應急指揮、安全監管等數據大量基礎數據中分析、獲得規律，并利用規律對未知數據進行預測，實現對管線數據進行高維分析、安全隱患分析、應急指揮分析、管線預警預測分析等。(6)大數據平臺管理模塊:可以實現大數據平臺的快速部署，包括平臺的安裝、部署、配置、運維、監控、數據操作等，以圖形化的方式可以將大數據平臺中各類服務、組建的使用情況進行可視化展現。(7)主數據管理模塊:支撐大數據平臺中主數據的管理，包括元數據管理、主數據模型管理、主數據檢索、數據質量管理、數據字典管理、數據接口管理和安全管理。

5管線運營數據分析應用

(1)管線運營時空分析:運用GIS手段對地下排水管線、給水管線、供熱管線、供氣管線等市政基礎設施管線不同時間點不同地理位置的運行狀態進行監控，通過對同一時間段不同地理位置的流量流速分析，適當調配不同區域供水、供氣的水壓和氣壓，保障區域內人民對水、氣、暖的正常使用。(2)管線老化預警分析:由于管線材質、施工時間、表面防腐層的不同，直接影響了各類管線的老化程度各異，通過對各類管線基礎數據進行分析，評價管線的老化情況，定量給出管線的老化級別，對于老化級別較高的管線進行定期預警，形成管線預警分析報告，預防管線事故的發生。(3)管線事故影響分析:根據水、氣、暖等事故影響模型，在出現應急事件時，通過獲取應急事件的事件類型、發生時間、事故地點等參數信息，從而計算得出事故的影響范圍需要調配的物資、人員、車輛等資源信息，有力支撐應急決策和執行。

6結論

管線安全關乎社會民生和經濟發展，管線運營數據分析意義重大。文章總結分析了國內管線數據分析現狀，提出了管線數據分析的研究目的、研究內容，并規劃了管線大數據平臺的總體方案。管線大數據分析平臺的搭建、數據驅動集成管控模式的研究以及應用方面的需求亦具有廣泛性，對提高管線運營管理能力具有廣泛的參考和借鑒意義。

參考文獻:

［1］楊瑛，劉濤.城市地下管線全壽命周期安全分析［J］．中國勘察設計，2015(4):83－87.

［2］徐建輝，聶中文，蔡珂.基于物聯網和大數據的全生命周期智慧管道實施構想［J］．油氣田地面工程，2018，37(12):6－13.

［3］吳思，陳勇，張云，等．城市地下管線共享平臺建設模式探討［J］．測繪通報，2015(12):77－80.

［4］鄭豐收，陶為翔，潘良波，等.城市地下管線智慧化管理平臺建設研究［J］．地下空間與工程學報，2015(11):378－382.

［5］王超，孫曉洪，李偉，等.基于頂層設計的地下管線信息管理新模式［J］．地下空間與工程學報，2010(6):1118－1124.

［6］朱能發，孫士輝，徐建江.建立城市地下管線動態更新管理體系的探討［J］．測繪通報，2016(S1):127－129.

［7］賀玲，蔡益朝，楊征.高維數據聚類方法綜述［J］．計算機應用研究，2010，27(1):23－31.

作者：吳艷林 朱玉明 侯風巍 賈菲菲 單位：北京京航計算通訊研究所