談管線運(yùn)營下的大數(shù)據(jù)分析平臺
前言：想要寫出一篇引人入勝的文章？我們特意為您整理了談管線運(yùn)營下的大數(shù)據(jù)分析平臺范文，希望能給你帶來靈感和參考，敬請閱讀。
［摘要］針對管線運(yùn)營中產(chǎn)生的海量信息未被有效利用的問題，文章總結(jié)分析了國內(nèi)外管線運(yùn)營數(shù)據(jù)分析研究的現(xiàn)狀及存在的問題。為達(dá)到管線運(yùn)營數(shù)據(jù)合理分析應(yīng)用目的，總結(jié)了管線運(yùn)營數(shù)據(jù)分析的主要研究內(nèi)容，并提出了一套管線運(yùn)營大數(shù)據(jù)平臺建設(shè)的總體方案，以達(dá)到對管線運(yùn)營數(shù)據(jù)的挖掘分析，提升管線運(yùn)營的安全監(jiān)控和預(yù)警預(yù)測能力。
［關(guān)鍵詞］大數(shù)據(jù);管線數(shù)據(jù)分析;城市地下管網(wǎng)信息化管理
1引言
隨著信息技術(shù)的快速發(fā)展和管線運(yùn)營安全的迫切需要，以數(shù)據(jù)為驅(qū)動(dòng)、以IT技術(shù)為手段的智慧管線建設(shè)成為監(jiān)控管線安全、降低維修維護(hù)成本以及知識共享與傳承的有效途徑。城市地下管線隱蔽性強(qiáng)、種類繁多，包括供水、排水、燃?xì)?、熱力、電力、通信、廣播電視、工業(yè)8大類20余種管線，［1］在運(yùn)營過程中產(chǎn)生海量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，迫切需要采用機(jī)器學(xué)習(xí)算法和大數(shù)據(jù)計(jì)算框架，建立相關(guān)大數(shù)據(jù)模型，打破業(yè)務(wù)界限，可多維度分析、挖掘以往常規(guī)手段無法發(fā)現(xiàn)的價(jià)值，［2］充分發(fā)揮數(shù)據(jù)在管線運(yùn)營過程中的價(jià)值。運(yùn)用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)管線運(yùn)營中海量數(shù)據(jù)的集中存儲、統(tǒng)一管理、高效計(jì)算、深度挖掘以及可視化應(yīng)用。
2國內(nèi)外研究現(xiàn)狀
在國外發(fā)達(dá)國家，城市地下管網(wǎng)信息化管理已經(jīng)成為城市發(fā)展建設(shè)的一項(xiàng)重要基礎(chǔ)工程，許多城市已經(jīng)建立了不同規(guī)模、不同利用目的的管網(wǎng)信息化管理系統(tǒng)，并且已經(jīng)進(jìn)入了專業(yè)化應(yīng)用和商品化生產(chǎn)階段，積累了豐富的研究與實(shí)施經(jīng)驗(yàn)。［3］中國的城市地下管線信息化自2000年后就已大規(guī)模展開，北京、上海、廣州、廈門、杭州、南京等多個(gè)城市已經(jīng)建立了地下管網(wǎng)信息化管理系統(tǒng)，［4］但大都在各行業(yè)內(nèi)部分散建立專業(yè)管理系統(tǒng)，缺少統(tǒng)一規(guī)劃、協(xié)調(diào)，信息管理系統(tǒng)是各自為政，系統(tǒng)之間信息不能交換、共享。［5］結(jié)合國內(nèi)外各領(lǐng)域數(shù)字化建設(shè)的發(fā)展情況，管線數(shù)字化發(fā)展和應(yīng)用存在以下不足:①管線基礎(chǔ)數(shù)據(jù)積累和共享不夠:傳統(tǒng)的給水、排水、燃?xì)?、熱力、電力、通信六大管線分屬不同的管理部門，［6］各部門的信息系統(tǒng)建設(shè)時(shí)間比較晚，而且相互之間比較離散孤立，這些互不兼容的數(shù)據(jù)格式難以互聯(lián)，從而無法在設(shè)計(jì)、施工、運(yùn)營、檢測部門之間有效地實(shí)現(xiàn)信息共享與傳遞。②對管線運(yùn)營數(shù)據(jù)的分析與挖掘不夠:缺少有效的數(shù)據(jù)整合和數(shù)據(jù)分析與挖掘技術(shù)及方法，限制了各專業(yè)領(lǐng)域的技術(shù)應(yīng)用和發(fā)展，制約了對管線運(yùn)營風(fēng)險(xiǎn)和綜合檢測的分析。③數(shù)據(jù)采集頻率較低:管線運(yùn)營管理過程中，大部分?jǐn)?shù)據(jù)采用人工檢測的方式，沒有依靠物聯(lián)設(shè)備對管線狀態(tài)信息、人員軌跡信息進(jìn)行實(shí)時(shí)的采集。
3研究目標(biāo)和內(nèi)容
3.1管線大數(shù)據(jù)平臺研究目標(biāo)
管線數(shù)據(jù)分析旨在通過對互聯(lián)網(wǎng)、移動(dòng)應(yīng)用等外部數(shù)據(jù)抓取和物聯(lián)傳感器實(shí)時(shí)檢測數(shù)據(jù)集成，加強(qiáng)管線運(yùn)營數(shù)據(jù)與抓取數(shù)據(jù)、檢測數(shù)據(jù)的融合，構(gòu)建以管線運(yùn)營數(shù)據(jù)為核心的數(shù)據(jù)資源池。在此基礎(chǔ)上，重點(diǎn)解決多源異構(gòu)數(shù)據(jù)融合、數(shù)據(jù)存儲、數(shù)據(jù)處理及數(shù)據(jù)計(jì)算等方面的技術(shù)問題，提高管線運(yùn)營數(shù)據(jù)存儲與管理的集成度。通過對管線運(yùn)營大數(shù)據(jù)挖掘分析模型的研究，提供多維度的管線運(yùn)營數(shù)據(jù)分析，從而為管線運(yùn)營過程中的決策提供輔助支持。
3.2管線大數(shù)據(jù)平臺研究內(nèi)容
探索分析與管線運(yùn)營相關(guān)的互聯(lián)網(wǎng)管線相關(guān)數(shù)據(jù)、物聯(lián)接入數(shù)據(jù)等外部數(shù)據(jù)，形成與管線運(yùn)營相關(guān)的外部數(shù)據(jù)指標(biāo)體系表，并對各指標(biāo)的參考取值及對管線運(yùn)營的影響進(jìn)行分析。建立大數(shù)據(jù)中心，通過數(shù)據(jù)交換平臺及相應(yīng)的主題數(shù)據(jù)庫實(shí)現(xiàn)管線運(yùn)營數(shù)據(jù)的抓取，針對外部數(shù)據(jù)，重點(diǎn)研究數(shù)據(jù)采集、處理和分析，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)及半結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用。
3.2.1管線大數(shù)據(jù)采集與預(yù)處理技術(shù)研究數(shù)據(jù)采集通過網(wǎng)絡(luò)爬蟲工具、Kafka、Sqoop、Flume等大數(shù)據(jù)采集工具，實(shí)現(xiàn)對互聯(lián)網(wǎng)管線輿情數(shù)據(jù)、物聯(lián)傳感器接入數(shù)據(jù)、管線運(yùn)營業(yè)務(wù)管理數(shù)據(jù)、應(yīng)急指揮數(shù)據(jù)、安全監(jiān)管數(shù)據(jù)等結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的獲取。
3.2.2管線大數(shù)據(jù)存儲技術(shù)研究通過對并行存儲技術(shù)與數(shù)據(jù)倉庫的研究，提高存儲系統(tǒng)的性能、擴(kuò)展性和可用性，為建立集中、統(tǒng)一的數(shù)據(jù)存儲中心提供支撐，解決了數(shù)據(jù)提取速度慢、查詢效率低等問題。
3.2.3管線大數(shù)據(jù)計(jì)算框架研究由于需要對互聯(lián)網(wǎng)管線相關(guān)數(shù)據(jù)、物聯(lián)接入數(shù)據(jù)、管線運(yùn)營業(yè)務(wù)管理數(shù)據(jù)、應(yīng)急指揮數(shù)據(jù)、安全監(jiān)管數(shù)據(jù)等數(shù)據(jù)的綜合分析，需要提供很高的計(jì)算能力，通過對大數(shù)據(jù)Ma-pReduce、Spark等并行計(jì)算模型和內(nèi)存計(jì)算框架中離線批量計(jì)算、內(nèi)存迭代計(jì)算、流式處理計(jì)算等大數(shù)據(jù)計(jì)算技術(shù)的研究，實(shí)現(xiàn)資源虛擬化與動(dòng)態(tài)調(diào)度，解決單機(jī)計(jì)算能力以及數(shù)據(jù)處理量有限的問題。
3.2.4管線數(shù)據(jù)挖掘模型研究管線數(shù)據(jù)指標(biāo)體系自動(dòng)識別:傳統(tǒng)的管線數(shù)據(jù)分析包括人工分析和簡單的程序分析，但隨著海量管線數(shù)據(jù)的采集和積累，傳統(tǒng)的分析方式都難以實(shí)現(xiàn)對管線大數(shù)據(jù)指標(biāo)識別?；诖髷?shù)據(jù)技術(shù)的管線數(shù)據(jù)對互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)進(jìn)行分析，可以實(shí)現(xiàn)對管線指標(biāo)體系自動(dòng)識別的效果，提升管線畫像的分析能力。管線數(shù)據(jù)高維分析:［7］管線數(shù)據(jù)指標(biāo)體系中的指標(biāo)數(shù)量眾多，指標(biāo)數(shù)據(jù)之間可能存在多種相關(guān)關(guān)系，指標(biāo)分析維度呈現(xiàn)多樣化分析。通過高維分析技術(shù)，可以將指標(biāo)維度進(jìn)行匯集、合并，自動(dòng)對維度與指標(biāo)關(guān)系進(jìn)行判斷，從而盡可能減少邊緣維度對關(guān)鍵維度可能出現(xiàn)安全隱患的管線提前預(yù)警，提高管線運(yùn)營整體的工作效率，降低管線維修維護(hù)成本。管線安全狀態(tài)預(yù)測預(yù)警:通過對溫度、濕度、流速、壓力等管線物聯(lián)檢測數(shù)據(jù)與管線運(yùn)行時(shí)間、材質(zhì)等管線業(yè)務(wù)數(shù)據(jù)進(jìn)行綜合分析和挖掘，可實(shí)現(xiàn)對管線運(yùn)行安全狀態(tài)實(shí)時(shí)監(jiān)控、趨勢走向進(jìn)行預(yù)測分析，提升管線指標(biāo)數(shù)據(jù)分析的準(zhǔn)確性和完整性。
4管線大數(shù)據(jù)平臺
管線大數(shù)據(jù)平臺主要解決面向大數(shù)據(jù)的采集、存儲、管理、計(jì)算和分析應(yīng)用等應(yīng)用。平臺總體架構(gòu)包括管線數(shù)據(jù)采集與處理平臺、管線數(shù)據(jù)存儲與管理平臺、管線分布式計(jì)算與挖掘平臺、管線大數(shù)據(jù)分析平臺模塊，以及用于管理軟件組件以及集群硬件的大數(shù)據(jù)平臺管理模塊。(1)基礎(chǔ)設(shè)施管理:包括服務(wù)器計(jì)算資源、存儲設(shè)備資源、網(wǎng)絡(luò)資源，為業(yè)務(wù)應(yīng)用系統(tǒng)和大數(shù)據(jù)分析提供基礎(chǔ)環(huán)境。(2)管線數(shù)據(jù)采集與處理平臺:針對互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)的采集要求，平臺通過集成和開發(fā)等方式，設(shè)計(jì)了多種應(yīng)用場景下的數(shù)據(jù)采集工具，根據(jù)不同數(shù)據(jù)院特點(diǎn)對數(shù)據(jù)進(jìn)行采集、清洗、轉(zhuǎn)換和加載。(3)管線存儲與管理平臺:提供對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)通過綜合應(yīng)用關(guān)系型數(shù)據(jù)庫、列式數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫運(yùn)算、并行數(shù)據(jù)庫等數(shù)據(jù)庫技術(shù)，支持海量異構(gòu)數(shù)據(jù)統(tǒng)一可靠的存儲管理，對外提供統(tǒng)一的分布式調(diào)用接口。(4)管線分布式計(jì)算與挖掘平臺:優(yōu)化了分布式計(jì)算框架MapReduce和分布式內(nèi)存計(jì)算框架Spark。并在此基礎(chǔ)上構(gòu)建面向管線運(yùn)營管理業(yè)務(wù)的文本處理引擎、流處理引擎、數(shù)據(jù)挖掘引擎、搜索引擎等，進(jìn)一步加強(qiáng)了管線數(shù)據(jù)分析能力的支撐。(5)管線大數(shù)據(jù)分析平臺:利用強(qiáng)大的分析能力，從互聯(lián)網(wǎng)、物聯(lián)接入、管線運(yùn)營、應(yīng)急指揮、安全監(jiān)管等數(shù)據(jù)大量基礎(chǔ)數(shù)據(jù)中分析、獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測，實(shí)現(xiàn)對管線數(shù)據(jù)進(jìn)行高維分析、安全隱患分析、應(yīng)急指揮分析、管線預(yù)警預(yù)測分析等。(6)大數(shù)據(jù)平臺管理模塊:可以實(shí)現(xiàn)大數(shù)據(jù)平臺的快速部署，包括平臺的安裝、部署、配置、運(yùn)維、監(jiān)控、數(shù)據(jù)操作等，以圖形化的方式可以將大數(shù)據(jù)平臺中各類服務(wù)、組建的使用情況進(jìn)行可視化展現(xiàn)。(7)主數(shù)據(jù)管理模塊:支撐大數(shù)據(jù)平臺中主數(shù)據(jù)的管理，包括元數(shù)據(jù)管理、主數(shù)據(jù)模型管理、主數(shù)據(jù)檢索、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)字典管理、數(shù)據(jù)接口管理和安全管理。
5管線運(yùn)營數(shù)據(jù)分析應(yīng)用
(1)管線運(yùn)營時(shí)空分析:運(yùn)用GIS手段對地下排水管線、給水管線、供熱管線、供氣管線等市政基礎(chǔ)設(shè)施管線不同時(shí)間點(diǎn)不同地理位置的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，通過對同一時(shí)間段不同地理位置的流量流速分析，適當(dāng)調(diào)配不同區(qū)域供水、供氣的水壓和氣壓，保障區(qū)域內(nèi)人民對水、氣、暖的正常使用。(2)管線老化預(yù)警分析:由于管線材質(zhì)、施工時(shí)間、表面防腐層的不同，直接影響了各類管線的老化程度各異，通過對各類管線基礎(chǔ)數(shù)據(jù)進(jìn)行分析，評價(jià)管線的老化情況，定量給出管線的老化級別，對于老化級別較高的管線進(jìn)行定期預(yù)警，形成管線預(yù)警分析報(bào)告，預(yù)防管線事故的發(fā)生。(3)管線事故影響分析:根據(jù)水、氣、暖等事故影響模型，在出現(xiàn)應(yīng)急事件時(shí)，通過獲取應(yīng)急事件的事件類型、發(fā)生時(shí)間、事故地點(diǎn)等參數(shù)信息，從而計(jì)算得出事故的影響范圍需要調(diào)配的物資、人員、車輛等資源信息，有力支撐應(yīng)急決策和執(zhí)行。
6結(jié)論
管線安全關(guān)乎社會(huì)民生和經(jīng)濟(jì)發(fā)展，管線運(yùn)營數(shù)據(jù)分析意義重大。文章總結(jié)分析了國內(nèi)管線數(shù)據(jù)分析現(xiàn)狀，提出了管線數(shù)據(jù)分析的研究目的、研究內(nèi)容，并規(guī)劃了管線大數(shù)據(jù)平臺的總體方案。管線大數(shù)據(jù)分析平臺的搭建、數(shù)據(jù)驅(qū)動(dòng)集成管控模式的研究以及應(yīng)用方面的需求亦具有廣泛性，對提高管線運(yùn)營管理能力具有廣泛的參考和借鑒意義。
參考文獻(xiàn):
［1］楊瑛，劉濤.城市地下管線全壽命周期安全分析［J］．中國勘察設(shè)計(jì)，2015(4):83－87.
［2］徐建輝，聶中文，蔡珂.基于物聯(lián)網(wǎng)和大數(shù)據(jù)的全生命周期智慧管道實(shí)施構(gòu)想［J］．油氣田地面工程，2018，37(12):6－13.
［3］吳思，陳勇，張?jiān)疲龋鞘械叵鹿芫€共享平臺建設(shè)模式探討［J］．測繪通報(bào)，2015(12):77－80.
［4］鄭豐收，陶為翔，潘良波，等.城市地下管線智慧化管理平臺建設(shè)研究［J］．地下空間與工程學(xué)報(bào)，2015(11):378－382.
［5］王超，孫曉洪，李偉，等.基于頂層設(shè)計(jì)的地下管線信息管理新模式［J］．地下空間與工程學(xué)報(bào)，2010(6):1118－1124.
［6］朱能發(fā)，孫士輝，徐建江.建立城市地下管線動(dòng)態(tài)更新管理體系的探討［J］．測繪通報(bào)，2016(S1):127－129.
［7］賀玲，蔡益朝，楊征.高維數(shù)據(jù)聚類方法綜述［J］．計(jì)算機(jī)應(yīng)用研究，2010，27(1):23－31.
作者：吳艷林 朱玉明 侯風(fēng)巍 賈菲菲 單位：北京京航計(jì)算通訊研究所