油田場站分布式實(shí)時(shí)數(shù)據(jù)庫設(shè)計(jì)應(yīng)用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了油田場站分布式實(shí)時(shí)數(shù)據(jù)庫設(shè)計(jì)應(yīng)用范文，希望能給你帶來靈感和參考，敬請(qǐng)閱讀。

關(guān)鍵詞：信息技術(shù)；軟件；站庫監(jiān)控系統(tǒng)

1主要研究內(nèi)容及規(guī)模

1.1主要內(nèi)容

1.1.1實(shí)時(shí)數(shù)據(jù)庫的分布式技術(shù)研發(fā)采用Erlang開發(fā)語言，使用分布式技術(shù)，研發(fā)生產(chǎn)數(shù)據(jù)自動(dòng)采集、數(shù)據(jù)過濾存儲(chǔ)技術(shù)。研究并發(fā)體技術(shù)，在采集與存儲(chǔ)時(shí)采用并發(fā)體實(shí)現(xiàn)分布式計(jì)算。需支持多個(gè)標(biāo)準(zhǔn)接口，可與PLC，DCS，以及現(xiàn)場各種關(guān)系型數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)交換。實(shí)現(xiàn)對(duì)海量實(shí)時(shí)數(shù)據(jù)收集、壓縮、存儲(chǔ)、檢索。根據(jù)數(shù)據(jù)記錄特點(diǎn)，對(duì)冗余數(shù)據(jù)，可考慮有損壓縮和無損壓縮處理。數(shù)據(jù)緩存技術(shù)研究，網(wǎng)絡(luò)中斷建立本地緩存機(jī)制。自動(dòng)根據(jù)網(wǎng)絡(luò)連接情況推動(dòng)到實(shí)時(shí)數(shù)據(jù)庫。

1.1.2分布式實(shí)時(shí)數(shù)據(jù)采集基于TCP協(xié)議的工業(yè)PC與PLC的以太網(wǎng)通信。工業(yè)PC與PLC通過以太網(wǎng)基于TCP協(xié)議通信具有廣泛的適用性，工業(yè)PC端不受操作系統(tǒng)環(huán)境的制約，PLC端也不受PLC品牌的限制，只需通信雙方具備以太網(wǎng)通信硬件和支持TCP協(xié)議軟件環(huán)境即可。目前這種條件非常容易滿足，同時(shí)通信的報(bào)文格式和內(nèi)容也可以根據(jù)通信的具體應(yīng)用自由定義，具有非常大的靈活性。支持四則運(yùn)算法則及精度處理，從而得到具有物理含義的數(shù)值。實(shí)現(xiàn)數(shù)據(jù)采集點(diǎn)規(guī)則的配置，能夠控制數(shù)據(jù)采集的頻率和采集器的批量啟停。

1.1.3實(shí)時(shí)數(shù)據(jù)的海量存儲(chǔ)有效的利用實(shí)時(shí)數(shù)據(jù)的特性，采用先進(jìn)的數(shù)據(jù)壓縮算法，對(duì)大量的實(shí)時(shí)數(shù)據(jù)進(jìn)行原型壓縮，同時(shí)結(jié)合高效的檢索策略設(shè)計(jì)了實(shí)時(shí)數(shù)據(jù)庫的存儲(chǔ)系統(tǒng)。針對(duì)不同的應(yīng)用，數(shù)據(jù)壓縮有多種算法，實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)不僅要求能夠在有限的硬盤空間中存儲(chǔ)大量歷史數(shù)據(jù)，而且還要求這些數(shù)據(jù)能夠快速被訪問。采用基于時(shí)間和空間維度的高效的壓縮算法，死區(qū)與線性壓縮相結(jié)合。

1.2研究的技術(shù)指標(biāo)

根據(jù)油田實(shí)際生產(chǎn)需求，油田站庫實(shí)時(shí)數(shù)據(jù)信息量越來越大，對(duì)數(shù)據(jù)處理的功能要求也越來越高。這些應(yīng)用有著與傳統(tǒng)應(yīng)用不同的特征，主要表現(xiàn)在兩個(gè)方面：一方面，要維護(hù)大量共享數(shù)據(jù)和控制知識(shí)；另一方面，其應(yīng)用活動(dòng)（任務(wù)或事務(wù)）有很強(qiáng)的時(shí)間性，要求在規(guī)定的時(shí)刻和（或）一定的時(shí)間內(nèi)完成其處理。

1.2.1研究目標(biāo)（1）實(shí)時(shí)正確采集聯(lián)合站及中轉(zhuǎn)站實(shí)時(shí)數(shù)據(jù)。（2）實(shí)時(shí)海量數(shù)據(jù)存儲(chǔ)，并壓縮存儲(chǔ)空間。（3）查詢實(shí)時(shí)數(shù)據(jù)的快速響應(yīng)。

1.2.2主要技術(shù)經(jīng)濟(jì)考核指標(biāo)（1）數(shù)據(jù)采集正確性不低于99%。（2）實(shí)時(shí)海量數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)永久保存。（3）查詢實(shí)時(shí)數(shù)據(jù)的響應(yīng)速度不應(yīng)高于5s。

2技術(shù)原理

2.1研究現(xiàn)狀

隨著油田自動(dòng)化與數(shù)字化范圍的擴(kuò)大，企業(yè)數(shù)據(jù)容量很快從TB級(jí)擴(kuò)展到PB級(jí)，傳統(tǒng)的數(shù)據(jù)處理與分析技術(shù)無法滿足百萬甚至千萬級(jí)設(shè)備同時(shí)在線的性能需求，建立符合油氣生產(chǎn)規(guī)則的大數(shù)據(jù)處理云平臺(tái)以及應(yīng)用標(biāo)準(zhǔn)成為當(dāng)務(wù)之急：（1）油氣大數(shù)據(jù)云能同時(shí)管理海量物聯(lián)設(shè)備，不僅能夠滿足千萬級(jí)并發(fā)處理要求，而且需要確保數(shù)據(jù)的實(shí)時(shí)性響應(yīng)達(dá)到工業(yè)級(jí)（低于20ms）。（2）油氣大數(shù)據(jù)云通過制定數(shù)據(jù)行業(yè)標(biāo)準(zhǔn)，規(guī)范設(shè)備接入數(shù)據(jù)格式，實(shí)現(xiàn)設(shè)備即插即用，為物聯(lián)網(wǎng)快速擴(kuò)展提供基礎(chǔ)。目前我國在社交網(wǎng)絡(luò)、金融等領(lǐng)域，已經(jīng)相繼建設(shè)了大數(shù)據(jù)平臺(tái)，但是在傳統(tǒng)油氣工業(yè)領(lǐng)域，存在著大數(shù)據(jù)產(chǎn)品數(shù)據(jù)格式不統(tǒng)一，諸多新技術(shù)應(yīng)用標(biāo)準(zhǔn)化研究還比較匱乏的問題。為建立油氣行業(yè)大數(shù)據(jù)云平臺(tái)，需要如下幾個(gè)角度開展研究：（1）大數(shù)據(jù)采集與存儲(chǔ)技術(shù)在油氣開采領(lǐng)域需要處理的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量巨大、類型多樣，主要包括各類數(shù)據(jù)體、成果文檔、圖件報(bào)表及“四化”（標(biāo)準(zhǔn)化設(shè)計(jì)、模塊化建設(shè)、標(biāo)準(zhǔn)化采購、信息化提升）建設(shè)實(shí)施采集監(jiān)控、儀表數(shù)據(jù)等。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)、整體管理比較弱、除部分實(shí)時(shí)數(shù)據(jù)，更多數(shù)據(jù)存儲(chǔ)在磁盤上，存在各數(shù)據(jù)橫向間無法聯(lián)通等應(yīng)用瓶頸，數(shù)據(jù)應(yīng)用間標(biāo)準(zhǔn)缺乏。為了準(zhǔn)確地對(duì)多個(gè)數(shù)據(jù)源進(jìn)行數(shù)據(jù)分析，所有數(shù)據(jù)集應(yīng)包含一致的元數(shù)據(jù)或描述性信息來解釋測(cè)試數(shù)據(jù)被保存的原因。元數(shù)據(jù)模型包括數(shù)據(jù)結(jié)構(gòu)的定義、全局?jǐn)?shù)據(jù)的分片、分布、授權(quán)、事務(wù)恢復(fù)等描述。在底層架構(gòu)和文件系統(tǒng)上要高于傳統(tǒng)技術(shù)，能夠彈性擴(kuò)展。以往存儲(chǔ)系統(tǒng)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)等體系，存儲(chǔ)和計(jì)算物理設(shè)備分類，之間通過網(wǎng)絡(luò)接口連接，處理數(shù)據(jù)密集型計(jì)算，I/O容易形成瓶頸。通過分布式文件系統(tǒng)將計(jì)算和存儲(chǔ)在物理上結(jié)合在一起，可解決I/O吞吐量制約。大數(shù)據(jù)對(duì)存儲(chǔ)另一個(gè)技術(shù)要點(diǎn)就是數(shù)據(jù)格式可擴(kuò)展性，對(duì)各種非結(jié)構(gòu)數(shù)據(jù)進(jìn)行高效管理需求。（2）大數(shù)據(jù)管理技術(shù)體系大數(shù)據(jù)管理及處理能力已經(jīng)成為引領(lǐng)網(wǎng)絡(luò)時(shí)代IT發(fā)展的關(guān)鍵；獲取大量運(yùn)行數(shù)據(jù)并建立對(duì)其進(jìn)行動(dòng)態(tài)高效處理的能力，已經(jīng)成為產(chǎn)業(yè)競爭力的體現(xiàn)。從數(shù)據(jù)庫（DB）到大數(shù)據(jù)（BD），看似是簡單技術(shù)演進(jìn)，其實(shí)還是有本質(zhì)差別，有些地方顛覆了傳統(tǒng)數(shù)據(jù)管理方式。大數(shù)據(jù)管理系統(tǒng)需建立類似于傳統(tǒng)數(shù)據(jù)管理評(píng)測(cè)基準(zhǔn)。具體有用于評(píng)測(cè)、比較不同數(shù)據(jù)庫系統(tǒng)性能的規(guī)范，性能指標(biāo)值能夠客觀、全面地評(píng)測(cè)各個(gè)數(shù)據(jù)庫系統(tǒng)的性能差距。大數(shù)據(jù)價(jià)值完整體現(xiàn)需要多種技術(shù)協(xié)同。因此，伴隨著油田下一步智能化建設(shè)需要，首先應(yīng)結(jié)合目前業(yè)界已有的云技術(shù)和大數(shù)據(jù)分類方法、通過油田大數(shù)據(jù)現(xiàn)狀進(jìn)行分析、梳理油田大數(shù)據(jù)的種類和數(shù)量、界定大數(shù)據(jù)采集范圍、大數(shù)據(jù)處理及管理技術(shù)規(guī)范制定。針對(duì)不同類型數(shù)據(jù)采取不同策略。參考工業(yè)大數(shù)據(jù)白皮書，結(jié)合油氣生產(chǎn)需要制定規(guī)范如下標(biāo)準(zhǔn)。1）基礎(chǔ)標(biāo)準(zhǔn)。如：術(shù)語、架構(gòu)、平臺(tái)標(biāo)準(zhǔn)等；2）數(shù)據(jù)表示標(biāo)準(zhǔn)、如編碼規(guī)范、元數(shù)據(jù)規(guī)范；3）數(shù)據(jù)處理標(biāo)準(zhǔn)、采集標(biāo)準(zhǔn)、處理階段相關(guān)標(biāo)準(zhǔn)規(guī)范

2.2數(shù)據(jù)采集引擎設(shè)計(jì)原理

2.2.1對(duì)接協(xié)議根據(jù)PLC設(shè)備型號(hào)進(jìn)行數(shù)據(jù)格式解析，建立見解析規(guī)則，可與PLC直接配置連接，可輕松接入各類自動(dòng)化數(shù)據(jù)、設(shè)備管理信息。

2.2.2采集引擎支持分布式采集，使用Erlang并發(fā)特性，即每個(gè)PLC使用一個(gè)單獨(dú)的進(jìn)程根據(jù)PLC點(diǎn)表規(guī)則去采集數(shù)據(jù)，每個(gè)進(jìn)程之間無共享數(shù)據(jù)，每個(gè)進(jìn)程都是一個(gè)單獨(dú)的個(gè)體，一個(gè)PLC出現(xiàn)問題，并不影響其他PLC的數(shù)據(jù)采集。充分利用服務(wù)器的多核處理器和多服務(wù)器進(jìn)行分布式的采集。保證讀取數(shù)據(jù)的高效性、穩(wěn)定性、容錯(cuò)性。

3經(jīng)濟(jì)和社會(huì)效益分析

3.1經(jīng)濟(jì)效益分析

在油田領(lǐng)域，由于存在不同時(shí)期的系統(tǒng)，存在多個(gè)系統(tǒng)，形成“信息孤島”，從而使得企業(yè)內(nèi)部各部門間協(xié)作效率低，如何保證在既有系統(tǒng)上設(shè)計(jì)一種簡便、有效、安全的異構(gòu)數(shù)據(jù)（實(shí)時(shí)數(shù)據(jù)到關(guān)系數(shù)據(jù)）交換方案，成為亟待解決的問題。在油田網(wǎng)絡(luò)管理、過程控制及智能設(shè)備不斷升級(jí)基礎(chǔ)上，本系統(tǒng)對(duì)擴(kuò)展原有系統(tǒng)數(shù)據(jù)應(yīng)用，提高數(shù)據(jù)有效收集、存儲(chǔ)、應(yīng)用具有一定創(chuàng)新性解決方案和思路，隨著現(xiàn)代數(shù)據(jù)庫技術(shù)的發(fā)展和實(shí)時(shí)庫應(yīng)用認(rèn)識(shí)的進(jìn)一步深入?；谀壳胺桨傅膶?shí)時(shí)數(shù)據(jù)庫系統(tǒng)以其靈活性和開發(fā)性的價(jià)格必將有著更廣闊的應(yīng)用，也能夠基于實(shí)時(shí)數(shù)據(jù)應(yīng)用門檻的降低提高數(shù)據(jù)的應(yīng)用價(jià)值，能夠給油氣生產(chǎn)帶來更多的信息，從而為油田生產(chǎn)潛力的挖掘提供更強(qiáng)有力的支撐，帶來更大的經(jīng)濟(jì)效益。

3.2社會(huì)效益評(píng)價(jià)

一方面，通過實(shí)時(shí)數(shù)據(jù)的有效采集通道的建立，節(jié)省了油氣生產(chǎn)現(xiàn)場數(shù)據(jù)采集與設(shè)備維護(hù)人員的投入，不斷改善一線工作人員的工作環(huán)境，提升其工作滿意度和工作熱情；另一方面，通過實(shí)時(shí)數(shù)據(jù)的永久保存和應(yīng)用分析，能夠?qū)崟r(shí)掌握油氣生產(chǎn)各工藝環(huán)節(jié)的生產(chǎn)狀態(tài)，及時(shí)發(fā)現(xiàn)油氣生產(chǎn)中的各類問題，提前介入，在保證正常生產(chǎn)的前提下，降低生產(chǎn)故障發(fā)生的概率，為油田周邊生態(tài)環(huán)境提供了一道保障，為打造油田生態(tài)系統(tǒng)奠定了良好基礎(chǔ)。

4結(jié)論及認(rèn)識(shí)

4.1結(jié)論

（1）按照研究內(nèi)容要求，按時(shí)保質(zhì)保量完成了實(shí)時(shí)數(shù)據(jù)庫的設(shè)計(jì)、數(shù)據(jù)采集協(xié)議的解析與采集設(shè)備的接入、數(shù)據(jù)應(yīng)用與數(shù)據(jù)對(duì)外服務(wù)接口的開發(fā)，并且經(jīng)過四次正式的部署測(cè)試，達(dá)到了正式上線運(yùn)行和驗(yàn)收的要求。（2）建立了異構(gòu)數(shù)據(jù)庫交互規(guī)范、可視化點(diǎn)表管理機(jī)制，采用了Erlang分布式編程、數(shù)據(jù)編解碼算法處理等先進(jìn)技術(shù)，能夠確保實(shí)時(shí)數(shù)據(jù)的永久存儲(chǔ)與系統(tǒng)應(yīng)用平臺(tái)的高效率。（3）該系統(tǒng)平臺(tái)的搭建，能夠大幅降低操控人員對(duì)數(shù)據(jù)庫業(yè)務(wù)知識(shí)的掌握要求，提高多應(yīng)用訪問實(shí)時(shí)數(shù)據(jù)的便捷性、數(shù)據(jù)流轉(zhuǎn)的實(shí)時(shí)性與安全性、油田數(shù)據(jù)的利用率，提升對(duì)歷史數(shù)據(jù)的全方位分析能力，實(shí)現(xiàn)生產(chǎn)全生命周期管理。

4.2建議

該系統(tǒng)正式上線運(yùn)行后，能夠?qū)λ蠵LC采集的數(shù)據(jù)進(jìn)行自動(dòng)采集存儲(chǔ)，但站庫采集對(duì)象的梳理不是特別明確，建議對(duì)站庫靜態(tài)數(shù)據(jù)進(jìn)行梳理，從而確保實(shí)時(shí)數(shù)據(jù)結(jié)構(gòu)的合理性。

參考文獻(xiàn)：

[1]趙致格.數(shù)據(jù)庫系統(tǒng)與應(yīng)用[M].北京：高等教育出版社，1994.

[2]李晶晶.分布式數(shù)據(jù)庫在管理信息系統(tǒng)中的應(yīng)用[D].武漢：武漢理工大學(xué)，2004.

作者：張馨元 單位：安達(dá)市慶新油田開發(fā)有限責(zé)任公司