智能電網(wǎng)數(shù)據(jù)處理技術(shù)應(yīng)用分析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了智能電網(wǎng)數(shù)據(jù)處理技術(shù)應(yīng)用分析范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：電視是人們生產(chǎn)生活中的重要構(gòu)成，將數(shù)據(jù)處理技術(shù)用于智能電網(wǎng)領(lǐng)域中，能較明顯的提升電力企業(yè)的服務(wù)水平，為電網(wǎng)事業(yè)穩(wěn)定、持續(xù)發(fā)展提供可靠的技術(shù)支持。文章在闡述智能電網(wǎng)概念與特征的基礎(chǔ)上，解讀智能電網(wǎng)內(nèi)數(shù)據(jù)處理技術(shù)應(yīng)用現(xiàn)狀，從技術(shù)層面上構(gòu)建符合智能電網(wǎng)數(shù)據(jù)處理特征的架構(gòu)，從數(shù)據(jù)采集、存儲(chǔ)、處理及信息呈現(xiàn)四個(gè)層面探究技術(shù)實(shí)現(xiàn)方法，以供同行參考。

關(guān)鍵詞：智能電網(wǎng)；數(shù)據(jù)處理；關(guān)鍵技術(shù)；技術(shù)方法

引言

經(jīng)濟(jì)社會(huì)快速發(fā)展、科技進(jìn)步對(duì)電力行業(yè)的運(yùn)營(yíng)發(fā)展起到強(qiáng)大助推作用，早在2003年美國(guó)就提出智能電網(wǎng)的概念，后續(xù)幾年中其得到了很多企業(yè)與研究機(jī)構(gòu)的高度重視，智能電網(wǎng)技術(shù)日益充實(shí)與完善。智能電網(wǎng)嘗試采用高端數(shù)據(jù)處理與通信技術(shù)，升級(jí)改造傳統(tǒng)電網(wǎng)各流程，使其踐行綠色、經(jīng)濟(jì)、高效的發(fā)展路線，促進(jìn)電網(wǎng)與廣大用戶群體間電能及信息資源的雙向流通過(guò)程[1]。智能電網(wǎng)運(yùn)作過(guò)程中形成了大量數(shù)據(jù)需要綜合處理與分析。鑒于此，應(yīng)不斷完善數(shù)據(jù)處理技術(shù)方案，有效存儲(chǔ)、處理與分析各類數(shù)據(jù)，進(jìn)而為電網(wǎng)系統(tǒng)有序、有效運(yùn)行提供強(qiáng)大的技術(shù)支撐。

1智能電網(wǎng)

智能電網(wǎng)以基本的物理電網(wǎng)為基礎(chǔ)，整合應(yīng)用當(dāng)前的現(xiàn)代信息、通信、計(jì)算機(jī)處理、傳感測(cè)量等諸多技術(shù)，打造出一種高度集成的新型電網(wǎng)工程。和傳統(tǒng)電網(wǎng)相比較，智能電網(wǎng)在電網(wǎng)運(yùn)輸安穩(wěn)性、可靠性方面均有很大保障；站在功能層面上分析，其也具備動(dòng)態(tài)化處理、分析、集成、呈現(xiàn)電網(wǎng)信息等功能。智能電網(wǎng)的特征有[2]：（1）規(guī)模大：智能技術(shù)融合至電力系統(tǒng)內(nèi)，會(huì)產(chǎn)生大量數(shù)據(jù)。智能電網(wǎng)發(fā)展階段，伴隨其負(fù)荷與電機(jī)節(jié)點(diǎn)增加過(guò)程，以及電網(wǎng)與負(fù)荷間交互作用，也會(huì)促成智能電網(wǎng)運(yùn)行階段形成海量數(shù)據(jù)。（2）速度快：電網(wǎng)運(yùn)作階段，因負(fù)荷的改變，會(huì)形成較大的隨機(jī)性，這也預(yù)示著電網(wǎng)系統(tǒng)的實(shí)時(shí)監(jiān)測(cè)工作有隨機(jī)性特征。智能電網(wǎng)任何節(jié)點(diǎn)均可能出現(xiàn)故障，且容易產(chǎn)生連鎖反應(yīng)，形成較大損失與危害性。（3）多樣性：智能電網(wǎng)正常運(yùn)轉(zhuǎn)階段，接觸面較寬廣，形成的數(shù)據(jù)較多，包括內(nèi)部、外部數(shù)據(jù)，有結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，這決定了電網(wǎng)數(shù)據(jù)的多樣性。

2智能電網(wǎng)數(shù)據(jù)處理技術(shù)應(yīng)用現(xiàn)狀

傳統(tǒng)電力數(shù)據(jù)處理過(guò)程中暴露出如下幾點(diǎn)問(wèn)題：一是數(shù)據(jù)處理范圍拓展，內(nèi)容增多；二數(shù)據(jù)處理精細(xì)度明顯不足；三是缺乏動(dòng)態(tài)的過(guò)程性管理措施。從宏觀層面上分析，數(shù)據(jù)處理技術(shù)的復(fù)雜度處于較高水平，在科技的助推下，應(yīng)拓展數(shù)據(jù)處理技術(shù)應(yīng)用情況研究的深度性。當(dāng)前，很多國(guó)家與企業(yè)間的競(jìng)爭(zhēng)，和關(guān)鍵數(shù)據(jù)信息之間均存在著密切相關(guān)性，以此為基礎(chǔ)將管理、控制作用充分發(fā)揮出來(lái)。應(yīng)不斷提升云計(jì)算平臺(tái)的實(shí)用性，這樣方能更有效分析與挖掘各類數(shù)據(jù)資源[3]。當(dāng)下，數(shù)據(jù)的多元化發(fā)展趨勢(shì)是顯而易見(jiàn)的，這是提升數(shù)據(jù)挖掘與處理效率的重要舉措，將復(fù)雜混合計(jì)算模式的應(yīng)用價(jià)值充分發(fā)揮出來(lái)，有效彌補(bǔ)傳統(tǒng)數(shù)據(jù)處理階段存在的缺陷。

3智能電網(wǎng)數(shù)據(jù)處理關(guān)鍵技術(shù)分析

3.1基本架構(gòu)

智能電網(wǎng)數(shù)據(jù)平臺(tái)是以大數(shù)據(jù)平臺(tái)為基礎(chǔ)建設(shè)的，能為用戶群體統(tǒng)一提供數(shù)據(jù)的接入、存管、分析等諸多功能（見(jiàn)圖1）[4]。數(shù)據(jù)平臺(tái)上的基本資源有計(jì)算、信息存儲(chǔ)、網(wǎng)絡(luò)資源池等，在充分發(fā)揮大數(shù)據(jù)平臺(tái)功能的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一管理、控制。

3.2采集與存儲(chǔ)數(shù)據(jù)

3.2.1數(shù)據(jù)采集主要是采集智能電網(wǎng)發(fā)電、輸電、變電、配電與用電五大模塊上的數(shù)據(jù)，本文所提及的數(shù)據(jù)采集技術(shù)主要由終端設(shè)備層、通信與采集前置層三大部分構(gòu)成，其中終端設(shè)備的功能以采集五大模塊上的數(shù)據(jù)為主，針對(duì)終端設(shè)備采集到的數(shù)據(jù)信息，通信前置層負(fù)責(zé)將其傳送至采集前置層的接入設(shè)施、服務(wù)器及服務(wù)總線內(nèi)。本文對(duì)各層級(jí)運(yùn)作過(guò)程分別概述分析：（1）終端設(shè)備層：職責(zé)以采集電網(wǎng)每個(gè)設(shè)備有關(guān)信息為主，采用現(xiàn)場(chǎng)可編程門陣列（FPGA）完成，F(xiàn)PGA技術(shù)利用數(shù)個(gè)過(guò)程量采集調(diào)控終端、通信控制及上層數(shù)據(jù)處理裝置建設(shè)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)，隨后通信控制裝備利用以太網(wǎng)把采樣數(shù)據(jù)同步傳送到上層數(shù)據(jù)處理設(shè)備內(nèi)，該型設(shè)備將控制指令下傳到各過(guò)程量采集控制終端。（2）通信前置層：其是數(shù)據(jù)采集系統(tǒng)的重要構(gòu)成，在用電現(xiàn)場(chǎng)服務(wù)管理系統(tǒng)與遠(yuǎn)程終端設(shè)備間交互數(shù)據(jù)時(shí)，該層級(jí)應(yīng)用CDMA、GPRS技術(shù)集中管理通信信道、維護(hù)數(shù)據(jù)上下行鏈路，驅(qū)動(dòng)各類數(shù)據(jù)精確、快速轉(zhuǎn)發(fā)過(guò)程。（3）采集前置層：針對(duì)遠(yuǎn)程終端傳送的數(shù)據(jù)，通信前置層做出規(guī)范化解釋后，需將其存儲(chǔ)于前置層內(nèi)。為規(guī)避過(guò)往數(shù)據(jù)庫(kù)服務(wù)器因故障而導(dǎo)致數(shù)據(jù)浪費(fèi)、損失問(wèn)題，本文提出一種改進(jìn)方法[5]：將一個(gè)臨時(shí)遠(yuǎn)程工作站增設(shè)于通信前置層內(nèi)，其能儲(chǔ)留48h內(nèi)各終端傳送的信息，當(dāng)采集前置層出現(xiàn)異常狀況時(shí)，則終端傳送的數(shù)據(jù)將暫時(shí)被存儲(chǔ)于遠(yuǎn)程工作站內(nèi)，在采集前置層修復(fù)后，通信前置層將自動(dòng)將終端數(shù)據(jù)傳送至服務(wù)器內(nèi)。

3.2.2云數(shù)據(jù)存儲(chǔ)既往建設(shè)的關(guān)系模型與NoSQL數(shù)據(jù)模型在運(yùn)行過(guò)程中均暴露出一定不足，本文主要是解除智能電網(wǎng)關(guān)系型、非關(guān)系型數(shù)據(jù)的存儲(chǔ)問(wèn)題，以關(guān)系型數(shù)據(jù)模型的可拓展性、NoSQL模型及以BSP為基礎(chǔ)的數(shù)據(jù)計(jì)算模型為基礎(chǔ)，建設(shè)完善化的云數(shù)據(jù)庫(kù)，實(shí)現(xiàn)對(duì)智能電網(wǎng)數(shù)據(jù)的有效存管。（1）關(guān)系型數(shù)據(jù)的可拓展性模型：在存儲(chǔ)、查詢結(jié)構(gòu)化數(shù)據(jù)方面，關(guān)系模型表現(xiàn)出良好效能，側(cè)重點(diǎn)是應(yīng)對(duì)其拓展性問(wèn)題。將其拓展至面向?qū)ο蟮年P(guān)系模型內(nèi)是有效方法之一，不僅能改善系統(tǒng)的拓展性，還能提升其對(duì)數(shù)據(jù)信息的儲(chǔ)備量。為有效處置智能電網(wǎng)內(nèi)的非結(jié)構(gòu)化數(shù)據(jù)，可以考慮選擇列存儲(chǔ)模型，其有壓縮、定位、查找數(shù)據(jù)等功能。（2）NoSQL存儲(chǔ)數(shù)據(jù)：NoSQL技術(shù)持有較強(qiáng)的拓展性，并且適用于多類數(shù)據(jù)模型的運(yùn)行過(guò)程，支持文本等多媒體存儲(chǔ)。本文提及的NoSQL數(shù)據(jù)基于分層思想理念有機(jī)整合關(guān)系型、非關(guān)系型數(shù)據(jù)，下層整合了RDBMS與多種NoSQL數(shù)據(jù)庫(kù)，對(duì)異構(gòu)數(shù)據(jù)事務(wù)查詢、處理過(guò)程起到良好的支撐作用；以BSP與MapReduce模型建設(shè)上層結(jié)構(gòu)，設(shè)計(jì)出數(shù)據(jù)共性分析測(cè)算模塊，這是提升應(yīng)用層數(shù)據(jù)分析工作質(zhì)效的重要基礎(chǔ)。（3）Katta分布式引擎：基于文件夾形式建設(shè)Katta引擎的索引，建設(shè)一個(gè)Katta索引等同于將數(shù)個(gè)Lucene索引拷貝至同個(gè)文件夾下，這就預(yù)示著該索引可以建設(shè)HadoopMapReduce[6]。

3.3數(shù)據(jù)處理

3.3.1以BSP為基礎(chǔ)建設(shè)數(shù)據(jù)計(jì)算模型已知BSP模型在迭代測(cè)算、并行測(cè)算依賴性較強(qiáng)任務(wù)方面占據(jù)優(yōu)勢(shì)，其把數(shù)據(jù)信息存儲(chǔ)在內(nèi)存系統(tǒng)內(nèi)，在面向數(shù)據(jù)分析過(guò)程中存儲(chǔ)空間不夠的情況難以完全規(guī)避，并且該模型單獨(dú)使用時(shí)無(wú)容錯(cuò)管控機(jī)制，使并行計(jì)算子任務(wù)數(shù)據(jù)傳送時(shí)遇到諸多阻礙。為有效規(guī)避以上情況，建議把BSP拓展至支撐磁盤存儲(chǔ)數(shù)據(jù)的范疇，同時(shí)提高其容錯(cuò)管控能力。在容錯(cuò)管控方面，Pregel、Hama及基于BSP模型構(gòu)件的其他系統(tǒng)運(yùn)作階段均暴露出一定不足，計(jì)算數(shù)據(jù)階段可能會(huì)引起自體任務(wù)量暴增的問(wèn)題，因云計(jì)算環(huán)境資源持有較強(qiáng)的實(shí)時(shí)性與異構(gòu)性，當(dāng)資源負(fù)載過(guò)大或發(fā)生故障時(shí)，很可能導(dǎo)致任務(wù)測(cè)算過(guò)程出現(xiàn)差錯(cuò)或暫停。故而，積極研究BSP模型內(nèi)建設(shè)容錯(cuò)管控機(jī)制的方法，最大限度地提升BSP模型測(cè)算過(guò)程的可靠性。本文的設(shè)計(jì)思路如下：建設(shè)測(cè)算任務(wù)監(jiān)控機(jī)制，有規(guī)劃設(shè)置檢查位點(diǎn)，保存相關(guān)計(jì)算狀態(tài)。若出現(xiàn)測(cè)算任務(wù)運(yùn)行中斷的情況，可以利用再調(diào)度功能，以近期檢查位點(diǎn)狀態(tài)為基礎(chǔ)開(kāi)展后期計(jì)算活動(dòng)，繼而達(dá)成軟件級(jí)容錯(cuò)。并分析到云計(jì)算平臺(tái)上虛擬機(jī)宕機(jī)問(wèn)題，則可以采用定期存儲(chǔ)虛擬機(jī)運(yùn)作狀態(tài)的形式，探討相關(guān)熱遷徙方法，提供虛擬機(jī)級(jí)的容錯(cuò)機(jī)制。

3.3.2建設(shè)語(yǔ)境信息立方體為彌補(bǔ)MapReduce面向數(shù)據(jù)處理過(guò)程中暴露出的弱點(diǎn)，聚集面向數(shù)據(jù)的MapReduce存儲(chǔ)優(yōu)化和數(shù)據(jù)種類支撐、MapReduce數(shù)據(jù)測(cè)算中通信開(kāi)銷完善、MapReduce任務(wù)調(diào)整三大方面。MapReduce運(yùn)作過(guò)程中并沒(méi)有對(duì)外提供任何數(shù)據(jù)模式，僅是依托鍵/值對(duì)存儲(chǔ)半/無(wú)結(jié)構(gòu)數(shù)據(jù)，這在很大程度上約束了MapReduce在結(jié)構(gòu)化數(shù)據(jù)上的應(yīng)用過(guò)程。為滿足現(xiàn)實(shí)應(yīng)用需求，開(kāi)發(fā)了MapReduce數(shù)據(jù)模式，實(shí)現(xiàn)對(duì)MapReduce所支撐數(shù)據(jù)類型的有效拓展。因數(shù)據(jù)移動(dòng)是影響數(shù)據(jù)計(jì)算結(jié)果的主要因素，故而擬用Hadoop系統(tǒng)優(yōu)化MapReduce的存儲(chǔ)形式，借此方式提升其測(cè)算效率[7]。

3.4信息呈現(xiàn)

在電網(wǎng)數(shù)據(jù)信息呈現(xiàn)方面，應(yīng)用的是以云平臺(tái)為基礎(chǔ)的視頻調(diào)換數(shù)據(jù)矩陣測(cè)算而提出的一種高分辨率大屏呈現(xiàn)方案，其實(shí)質(zhì)上就是由矩陣和拼接控制器整合而成的傳統(tǒng)可視化方案，改進(jìn)至由數(shù)個(gè)云計(jì)算階段分區(qū)調(diào)控大屏呈現(xiàn)情況，數(shù)個(gè)計(jì)算節(jié)點(diǎn)協(xié)調(diào)運(yùn)作，以點(diǎn)對(duì)點(diǎn)的高清信號(hào)，利用一副完整窗體呈現(xiàn)出情景?；谝曨l矩陣能有效切換、調(diào)控外部視頻信號(hào)的輸入、輸出過(guò)程，實(shí)現(xiàn)對(duì)多種信號(hào)源、矩陣、攝像機(jī)云臺(tái)及多功能設(shè)備等諸多外圍設(shè)備的統(tǒng)一管理與聯(lián)動(dòng)，針對(duì)以上操作，控制軟件均能利用人性化的圖形界面實(shí)現(xiàn)集中式調(diào)控。電網(wǎng)可視化模塊可以分為四個(gè)層級(jí)，及數(shù)據(jù)層、基礎(chǔ)架構(gòu)層、應(yīng)用服務(wù)層與表現(xiàn)層，數(shù)據(jù)層始源于云存儲(chǔ)的業(yè)務(wù)、系統(tǒng)與實(shí)時(shí)數(shù)據(jù)；基礎(chǔ)架構(gòu)層用于管理權(quán)限與日志，擬定數(shù)據(jù)訪問(wèn)控制與規(guī)程；應(yīng)用服務(wù)層即以云平臺(tái)為基礎(chǔ)上。將服務(wù)器的命令管理、系統(tǒng)管理等功能發(fā)揮出來(lái)；而表現(xiàn)層能實(shí)現(xiàn)對(duì)用戶智能電網(wǎng)的可視化管理。該系統(tǒng)能實(shí)現(xiàn)信號(hào)共享，多屏幕的聯(lián)動(dòng)式控制，支持大屏分區(qū)管理及多人同步調(diào)度大屏幕等過(guò)程，布設(shè)的三臺(tái)主機(jī)一次調(diào)控三個(gè)區(qū)段的顯示器，驅(qū)動(dòng)信號(hào)同步輸出過(guò)程[8]。

4結(jié)束語(yǔ)

本文主要探究基于云計(jì)算的智能電網(wǎng)數(shù)據(jù)處理的4個(gè)關(guān)鍵技術(shù)應(yīng)用要點(diǎn)，級(jí)數(shù)據(jù)采集、存儲(chǔ)、處理及呈現(xiàn)技術(shù)。在后期研究工作中，應(yīng)將重點(diǎn)放置于智能電網(wǎng)大范圍數(shù)據(jù)處理與算法分析層面上，希望對(duì)我國(guó)電力行業(yè)及其他相關(guān)行業(yè)在有效利用大量多源異構(gòu)數(shù)據(jù)信息過(guò)程起到一定啟示作用，打造出更為完善的企業(yè)級(jí)智能應(yīng)用體系，為智能電網(wǎng)高效率提供強(qiáng)大的支撐。

參考文獻(xiàn)：

[1]藍(lán)新斌,邱丹驊,周巍,等.基于MapReduce云計(jì)算的智能電網(wǎng)數(shù)據(jù)分析方法研究[J].電子設(shè)計(jì)工程,2020,28(13):50-53+60.

[2]吳振田.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].通訊世界,2020,27(6):93-94.

[3]李慶全.智能電網(wǎng)調(diào)度一體化設(shè)計(jì)與研究[J].智能城市,2020,6(10):60-61.

[4]李宗諭.無(wú)人機(jī)輸電線路巡檢集中管控系統(tǒng)研究與設(shè)計(jì)[J].信息技術(shù)與信息化,2020,14(5):85-87.

[5]周高強(qiáng),王二輝,李英杰,等.大數(shù)據(jù)技術(shù)下智能電網(wǎng)配用電數(shù)據(jù)存儲(chǔ)技術(shù)分析[J].科技資訊,2020,18(11):25-26.

[6]謝小瑜,周俊煌,張勇軍.深度學(xué)習(xí)在泛在電力物聯(lián)網(wǎng)中的應(yīng)用與挑戰(zhàn)[J].電力自動(dòng)化設(shè)備,2020,40(4):77-87.

[7]吳建輝,劉偉,楊素梅,等.基于大數(shù)據(jù)的智能電網(wǎng)狀態(tài)遠(yuǎn)程監(jiān)測(cè)方法[J].自動(dòng)化與儀器儀表,2020(3):209-211.

[8]陳欽柱,符傳福,韓來(lái)君.智能電網(wǎng)大數(shù)據(jù)分析與決策系統(tǒng)的研究[J].電子設(shè)計(jì)工程,2020,28(6):30-34.

作者：黨倩 邱昱 魏麗 單位：國(guó)網(wǎng)甘肅省電力公司信息通信公司