• <input id="zdukh"></input>
  • <b id="zdukh"><bdo id="zdukh"></bdo></b>
      <b id="zdukh"><bdo id="zdukh"></bdo></b>
    1. <i id="zdukh"><bdo id="zdukh"></bdo></i>

      <wbr id="zdukh"><table id="zdukh"></table></wbr>

      1. <input id="zdukh"></input>
        <wbr id="zdukh"><ins id="zdukh"></ins></wbr>
        <sub id="zdukh"></sub>
        公務員期刊網 精選范文 大數據分析范文

        大數據分析精選(九篇)

        前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的大數據分析主題范文,僅供參考,歡迎閱讀并收藏。

        大數據分析

        第1篇:大數據分析范文

        我們知道,HDFS中的文件分配表的核心是NameNode,客戶端主要通過NameNode執行數據操作,DataNode會與其他DataNode進行通信并復制數據塊以實現冗余,這樣單一的DataNode損壞就會導致集群的數據丟失。但是NameNode一旦發生故障,后果就會非常嚴重。雖然NameNode可以故障轉移,但是花費大量的時間,這也意味著序列中會有更多的等待時間。此外,HDFS的垃圾回收,尤其是Java垃圾回收還需要占用大量的內存,一般是本機有效內存的10倍左右。

        因為HDFS的設計更多是建立在響應“一次寫入、多次讀寫”任務的基礎上,多數情況下,分析任務都會涉及數據集中的大部分數據,也就是說對HDFS而言,請求讀取整個數據集要比讀取一條記錄更加高效,所以HDFS在語言選擇方面更偏向于基礎語言,而不是高級語言。

        傳統的操作可以用更短的時間來開發部署,維護成本更低、安全性更好。業內有這樣一種說法,大多數操作系統支持C語言、匯編和Java的原因是文件系統處于一個較低水平。HDFS的工具和其他文件系統工具相^存在差距,比起曾經處理的任何文件系統或分布式存儲,HDFS周圍的工具表現不佳。基于Java的文件系統只能搭上IT人員最喜愛的POSIX工具的末班車,嘗試過NFS掛載HDFS嗎?其它的HDFS工具的安裝也相對較復雜,相反如果使用REST bridge Tool和客戶端命令行就會非常容易。

        HDFS支持原生代碼擴展,提高了運行效率。另外社區也為NameNode的發展作出了很多貢獻。如果想要打造一個高端的系統,那么必須打破監測和診斷工具中的NameNode瓶頸,總之在操作系統上使用基于C或C ++的較為成熟的分布式文件系統往往是更好的選擇。

        第2篇:大數據分析范文

        關鍵詞:大數據 智能 數據分析

        中圖分類號:F503 文獻標識碼:A 文章編號:1674-098X(2014)04(a)-0021-01

        對于數據分析來說,其主要的目的就是通過對數據的分析去發現問題或預測趨勢。從數據鉆取、大規模分析的技術手段、以及算法執行上來說,大規模分析是和小規模數據在技術上是有很大差異的。想要探究大數據下的智能數據分析技術,首先要對數據分析這一概念進行深入研究。

        1 數據分析

        數據分析的過程其實簡單的說就是做報告,做什么樣的報告反映什么樣的指標。最開始的時候基本上是data processing。例如零售行業來說,最主要的指標就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業會有不同的相關的KPI需要跟蹤,所以報告的內容也會有所側重,但是只要你一個行業做久了,熟悉了套路之后,基本上就是以同樣的方法開展。

        對于數據分析,如果公司部門分的比較細的(例如可能有建模組),那么做數據分析可能永遠都是做data processing了。對于模型的分析,需要你對業務有了深入的了解就可以建立一些模型出來(例如推薦模型)等等。

        數據分析主要涉及的技能:

        (1)數據庫的能力。越全面越好,如果不是理工科的,最起碼要會select那些簡單的查詢語句。

        (2)EXCEL、PPT的能力。報告的呈現一般都是Excel+PPT的形式,最好VBA,這樣就可以將很多人工的工作轉化為自動化的能力,提高工作效率,領導也對你刮目相看,自己也有更多空余的時間準備其他方面的知識。

        (3)市場分析能力。學會觀察市場的走向和關注的內容,例如零售行業,現在大家都對CRM很熱衷,那相關的分析方法和方式是怎么樣的,你要自己去了解。從來不會有人手把手的將所有東西都告訴你,你必須自己學會去增長知識。

        (4)一些會計的知識。因為通過以上分析,就是會計管理的一部分內容,最后還是公司盈利問題。有興趣的也可以去看看戰略管理方面的,對于做數據分析也很有好處的說。

        綜合來看,可以說數據分析=技術+市場+戰略。

        2 如何培養數據分析能力

        理論:

        基礎的數據分析知識,至少知道如何做趨勢分析、比較分析和細分,不然拿到一份數據就無從下手;

        (2)基礎的統計學知識,至少基礎的統計量要認識,知道這些統計量的定義和適用條件,統計學方法可以讓分析過程更加嚴謹,結論更有說服力;

        (3)對數據的興趣,以及其它的知識多多益善,讓分析過程有趣起來。

        實踐:

        (1)明確分析的目的。如果分析前沒有明確分析的最終目標,很容易被數據繞進去,最終自己都不知道自己得出的結論到底是用來干嘛的;

        (2)多結合業務去看數據。數據從業務運營中來,分析當然要回歸到業務中去,多熟悉了解業務可以使數據看起來更加透徹;

        (3)了解數據的定義和獲取。最好從數據最初是怎么獲取的開始了解,當然指標的統計邏輯和規則是必須熟記于心的,不然很容易就被數據給坑了;

        (4)最后就是不斷地看數據、分析數據,這是個必經的過程,往往一個工作經驗豐富的非數據分析的運營人員要比剛進來不久的數據分析師對數據的了解要深入得多,就是這個原因。

        3 大數據

        大數據就是通過統計分析計算機收集的數據,在人們可能不知道“為什么”的前提下,了解到事物的狀態、趨勢、結果等“是什么”。

        對于大數據,一直來說,數據規模導致的存儲、運算等技術問題從來不是最重要的瓶頸。瓶頸只在于前端數據的收集途徑,以及后端商業思想引領的模型和算法問題。早期的各類OLAP工具已經足夠了,后來類似海杜普這樣的研究則徹底降低了分布式數據的架構成本和門檻,就徹底將大數據帶入了一個普及的領域。

        從技術層面說,大數據和以前的數據時代的最大差異在于,以前是數據找應用/算法的過程(例如各大銀行的大集中項目,以及數據建倉),而大數據時代的重要技術特征之一,是應用/算法去找數據的過程,因為數據規模變成了技術上最大的挑戰。

        大數據的特點:

        (1)大數據不等同于數據大,我們處理問題是根據這個問題的所有數據而非樣本數據,即樣本就是總體;不是精確性而是混雜性;不是因果關系而是相關關系。

        (2)大數據應用的幾個可能:當文字變成數據,此時人可以用之閱讀,機器可以用之分析;當方位變成數據,商業廣告,疫情傳染監控,雅安地震時的谷歌尋人;當溝通變成數據,就成了社交圖譜。一切都可以量化,將世界看作可以理解的數據的海洋,為我們提供了一個從來未有過的審視現實的視角。

        (3)數據創新的價值:數據的再利用。例如重組數據:隨著大數據出現,數據的總和比部分更有價值,重組總和和本身價值也比單個總和更大;可擴展數據:在設計數據收集時就設計好了它的可擴展性,可以增加數據的潛在價值;數據的折舊值:數據會無用,需淘汰更新;數據廢氣:比如語音識別,當用戶指出語音識別程序誤解了他的意思,實際上就有效的訓練了這個系統。

        總之,大數據是因為對它的分析使用,才產生和體現它的價值,而不是因為其用到了突出的技術和算法才體現了它的價值。

        4 大數據下的智能數據分析

        在大數據的背景下,必須考慮數據之間的關聯性。一個單獨的數據是沒有意義的,實際中,選擇處在兩個極端的數據往往更容易找出它們之間的聯系,把它們放在一個框架中看才能發現問題。因此,可以用以下四種方法在大數據背景下進行智能數據分析:

        (1)從解決問題的角度出發收集數據;

        (2)把收集的數據整理好,放入一個框架內,并利用這個框架幫助決策者做出決定;

        (3)評估決定與行動的效果,這將告訴我們框架是否合理;

        (4)如果有新的數據出現,我們將考察能否利用它對前面三步做出改進,以及我們今天是否還需要收集更多種類的數據。

        5 結語

        數據分析的最終目的是幫助業務發現問題并解決問題,提升公司價值,而這些是從數據發覺的,而不是盲目下結論。每家公司都有自己業務生產的數據,通過數據分析、同比環比、漏斗分析及模型等,發現業務上存在的問題,幫助公司業務的優化。

        參考文獻

        [1] 李貴兵,羅洪.大數據下的智能數據分析技術研究[J].科技資訊,2013(30).

        第3篇:大數據分析范文

        關鍵詞:告警數據 Hadoop Spark

        1 引言

        隨著電信網絡的不斷演進,全省數據網、交換網、接入網設備單月產生告警原始日志近億條。以上告警通過網元網管、專業綜合網管、智能網管系統[1]三層收斂,監控人員每月需處理影響業務或網絡質量的告警事件為20萬條,但一些對網絡可能造成隱患的告警信息被過濾掉。如何從海量告警數據中獲取與網絡性能指標、運維效率相關的有價值的數據,對于傳統的關系型數據庫架構而言,似乎是一個不可能完成的任務。

        在一般告警量情況下,ORACLE數據處理能力基本可以滿足分析需求,但當告警分析量上升到億級,如果采用傳統的數據存儲和計算方式,一方面數據量過大,表的管理、維護開銷過大,要做到每個字段建索引,存儲浪費巨大;另一方面計算分析過程耗時過長,無法滿足實時和準實時分析需求。因此必須采用新的技術架構來分析處理海量告警信息,支撐主動維護工作顯得尤為必要,為此我們引入了大數據技術。

        2 分析目標

        (1)數據源:電信運營商網絡設備告警日志數據,每天50 G。

        (2)數據分析目標:完成高頻翻轉類(瞬斷)告警分析;完成自定義網元、自定義告警等可定制告警分析;完成被過濾掉的告警分析、TOPN告警分析;核心設備和重要業務監控。

        (3)分析平臺硬件配置:云計算平臺分配8臺虛擬機,每臺虛機配置CPU16核;內存32 G;硬盤2 T。

        3 制定方案

        進入大數據時代,行業內涌現了大量的數據挖掘技術,數據處理和分析更高效、更有價值。Google、Facebook等公司提供可行的思路是通過類似Hadoop[2]的分布式計算、MapReduce[3]、Spark[4]算法等構造而成的新型架構,挖掘有價值信息。

        Hadoop是Apache基金會用JAVA語言開發的分布式框架,通過利用計算機集群對大規模數據進行分布式計算分析。Hadoop框架最重要的兩個核心是HDFS和MapReduce,HDFS用于分布式存儲,MapReduce則實現分布式任務計算。

        一個HDFS集群包含元數據節點(NameNode)、若干數據節點(DataNode)和客戶端(Client)。NameNode管理HDFS的文件系統,DataNode存儲數據塊文件。HDFS將一個文件劃分成若干個數據塊,這些數據塊存儲DataNode節點上。

        MapReduce是Google公司提出的針對大數據的編程模型。核心思想是將計算過程分解成Map(映射)和Reduce(歸約)兩個過程,也就是將一個大的計算任務拆分為多個小任務,MapReduce框架化繁為簡,輕松地解決了數據分布式存儲的計算問題,讓不熟悉并行編程的程序員也能輕松寫出分布式計算程序。MapReduce最大的不足則在于Map和Reduce都是以進程為單位調度、運行、結束的,磁盤I/O開銷大、效率低,無法滿足實時計算需求。

        Spark是由加州伯克利大學AMP實驗室開發的類Hadoop MapReduce的分布式并行計算框架,主要特點是彈性分布式數據集RDD[5],中間輸出結果可以保存在內存中,節省了大量的磁盤I/O操作。Spark除擁有Hadoop MapReduce所具有的優點外,還支持多次迭代計算,特別適合流計算和圖計算。

        基于成本、效率、復雜性等因素,我們選擇了HDFS+Spark實現對告警數據的挖掘分析。

        4 分析平臺設計

        4.1 Hadoop集群搭建

        基于CentOS-6.5系統環境搭建Hadoop集群,配置如表1所示。

        4.2 Spark參數設置[6]

        Spark參數設置如表2所示。

        4.3 數據采集層

        數據采集:由于需采集的告警設備種類繁多,故采取分布式的告警采集,數據網設備、交換網設備、接入網設備分別通過IP綜合網管、天元綜合網管、PON綜合網管進行采集,采集周期5分鐘一次。采集機先將采集到的告警日志文件,通過FTP接口上傳到智能網管系統文件服務器上,再對文件進行校驗,通過Sqoop推送到Hadoop集群上。

        4.4 邏輯處理層

        (1)建立高頻翻轉告警監控工作流程

        先將海量告警進行初步刪選,通過數量、位置和時間三個維度的分析,得出高頻翻轉類告警清單列表,最后由專業工程師甄別確認,對某類告警進行重點關注和監控。

        (2)差異化定制方案

        按組網架構細分,針對核心重要節點的所有告警均納入實時監控方案;

        按業務網絡細分,針對不同業務網絡設計個性化的監控方案;

        按客戶業務細分,針對客戶數字出租電路設計個性化的監控方案。

        4.5 數據分析層

        Spark讀取Hive[7]表的告警數據,然后在Spark引擎中進行SQL統計分析。Spark SQL模K在進行分析時,將外部告警數據源轉化為DataFrame[8],并像操作RDD或者將其注冊為臨時表的方式處理和分析這些數據。一旦將DataFrame注冊成臨時表,就可以使用類SQL的方式操作查詢分析告警數據。表3是利用Spark SQL對告警工單做的一個簡單分析:

        5 平臺實踐應用

        探索運維數據分析的新方法,利用大數據分析技術,分析可能影響業務/設備整體性能的設備告警,結合網絡性能數據,找到網絡隱患,實現主動維護的工作目標。

        5.1 高頻翻轉類告警監控

        首先制定了高頻翻轉類告警分析規則,將連續7天每天原始告警發生24次以上定義為高頻翻轉類告警,并基于大數據平臺開發了相應的分析腳本,目前已實現全專業所有告警類型的分析。表4是全省高頻翻轉類TOP10排名。

        5.2 核心設備和重要業務監控

        目前以設備廠商或專家經驗評定告警監控級別往往會與實際形成偏差,主要表現在以下幾個方面:監控級別的差異化設定基于已知的告警類型,一旦網絡重大故障上報未知的告警類型就無法在第一時間有效監控到;同一類型的故障告警出現在不同網絡層面可能影響業務的程度是完全不同的;不同保障級別的客戶對故障告警監控的實時性要求也是不同的。

        通過大數據分析平臺對差異化監控提供了靈活的定制手段,可根據告警關鍵字,分專業、地市、網管、機房、告警頻次等維度自主定制需要的告警數據,實現日、周、月、某個時間區等統計分析。

        應用案例:省NOC通過大數據分析出一條編號為CTVPN80113的中國平安大客戶電路在一段時間內頻繁產生線路劣化告警,但用戶未申告,省NOC隨即預警給政企支撐工程師,政支工程師與用戶溝通后,派維護人員至現場處理,發現線路接頭松動,緊急處理后告警消除、業務恢復。

        5.3 被過濾告警分析

        全省每天網絡告警數據300萬條~500萬條,其中99%都會根據告警過濾規則進行過濾篩選,把過濾后的告警呈現給網絡監控人員。過濾規則的準確性直接影響告警數據的質量。一般來說告警過濾規則可以從具有豐富運維經驗的網絡維護人員獲得,但是這個過程非常繁瑣,而且通過人工途徑獲得的告警過濾規則在不同的應用環境可能存在差異,無法滿足網絡維護的整體需要。采用大數據技術對被過濾的告警進行分析可以很好地完善過濾規則,讓真正急迫需要處理的告警優先呈現給維護人員及時處理,真正做到先于客戶發現故障。表5是動環專業被過濾的告警情況分布。

        5.4 動環深放電分析

        動環網管通過C接口采集蓄電池電壓數據,在停電告警產生之后,電壓數據首次下降到45 V,表示該局站電池出現深放電現象,通過計算這一放電過程的持續時間,記為深放電時長,該時長可以初步反映電池的放電性能。一個局站每天產生幾十萬條電壓等動環實時數據。

        在告警數據分析的基礎上,實現對蓄電池電壓變化數據的分析,提醒分公司關注那些深放電次數過多和放電時長過短的局站,核查蓄電池、油機配置、發電安排等,并進行整治。利用Spark SQL統計了一個月內撫州、贛州、吉安三分公司幾十億條動環數據,分析了其中深放電的情況如表6所示。

        6 結論

        本文利用HDFS+Spark技術,實驗性地解決告警數據存儲和分析等相關問題:一是通過數據分析,從海量告警數據中發現潛在的網絡隱患;二是結合資源信息和不同專業的告警,最終為用戶提供綜合預警;三是轉變網絡監控思路和方式,通過數據匯聚、數據相關性分析、數據可視化展示,提高了網絡監控效率;最后還擴展到對動環實時數據、信令數據進行分析。

        從實際運行效果來看,HDFS和Spark完全可以取代傳統的數據存儲和計算方式,滿足電信運營商主動運維的需求。

        參考文獻:

        [1] 中國電信股份有限公司. 中國電信智能網管技術規范-總體分冊[Z]. 2015.

        [2] Tom white. Hadoop權威指南[M]. 4版. 南京: 東南大學出版社, 2015.

        [3] RP Raji. MapReduce: Simplified Data Processing on Large Clusters[Z]. 2004.

        [4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http:///.

        [5] Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation, 2012,70(2): 141-146.

        [6] S鵬. Apache Spark源碼剖析[M]. 北京: 電子工業出版社, 2015.

        [7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http:///.

        [8] Holden Karau, Andy Konwinski, Patrick Wendell, et al. Learning Spark: Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc, 2015.

        [9] 員建廈. 基于動態存儲策略的數據管理系統[J]. 無線電工程, 2014,44(11): 52-54.

        第4篇:大數據分析范文

        【關鍵詞】大數據;大數據營銷;京東

        一、數據分析時代演變歷程

        (一)數據1.0時代

        數據分析出現在新的計算技術實現以后,分析1.0時代又稱為商業智能時代。它通過客觀分析和深入理解商業現象,取締在決策中僅憑直覺和過時的市場調研報告,幫助管理者理性化和最大化依據事實作出決策。首次在計算機的幫助下將生產、客戶交互、市場等數據錄入數據庫并且整合分析。但是由于發展的局限性對數據的使用更多的是準備數據,很少時間用在分析數據上。

        (二)數據2.0時代

        2.0時代開始于2005年,與分析1.0要求的公司能力不同,新時達要求數量分析師具備超強的分析數據能力,數據也不是只來源于公司內部,更多的來自公司外部、互聯網、傳感器和各種公開的數據。比如領英公司,充分運用數據分析搶占先機,開發出令人印象深刻的數據服務。

        (三)數據3.0時代

        又稱為富化數據的產品時代。分析3.0時代來臨的標準是各行業大公司紛紛介入。公司可以很好的分析數據,指導合適的商業決策。但是必須承認,隨著數據的越來越大,更新速度越來越快,在帶來發展機遇的同時,也帶來諸多挑戰。如何商業化地利用這次變革是亟待面對的課題。

        二、大數據營銷的本質

        隨著顧客主導邏輯時代的到來以及互聯網電商等多渠道購物方式的出現,顧客角色和需求發生了轉變,世界正在被感知化、互聯化和智能化。大數據時代的到來,個人的行為不僅能夠被量化搜集、預測,而且顧客的個人觀點很可能改變商業世界和社會的運行。由此,一個個性化顧客主導商業需求的時代已然到來,大數據沖擊下,市場營銷引領的企業變革初見端倪。

        (一)大數據時代消費者成為市場營銷的主宰者

        傳統的市場營銷過程是通過市場調研,采集目前市場的信息幫助企業研發、生產、營銷和推廣。但是在大數據以及社會化媒體盛行的今天,這種營銷模式便黯然失色。今天的消費者已然成為了市場營銷的主宰者,他們會主動搜尋商品信息,貨比三家,嚴格篩選。他們由之前的注重使用價值到更加注重消費整個過程中的體驗價值和情境價值。甚至企業品牌形象的塑造也不再是企業單一宣傳,虛擬社區以及購物網站等的口碑開始影響消費者的購買行為。更有甚者,消費者通過在社交媒體等渠道表達個人的需求已經成為影響企業產品設計、研發、生產和銷售的重要因素。

        (二)大數據時代企業精準營銷成為可能

        在大數據時代下,技術的發展大大超過了企業的想象。搜集非結構化的信息已經成為一種可能,大數據不單單僅能了解細分市場的可能,更通過真正個性化洞察精確到每個顧客。通過數據的挖掘和深入分析,企業可以掌握有價值的信息幫助企業發現顧客思維模式、消費行為模式。尤其在今天顧客為了彰顯個性,有著獨特的消費傾向。相對于忠誠于某個品牌,顧客更忠誠與給自己的定位。如果企業的品牌不能最大化地實現客戶價值,那么即使是再惠顧也難以保證顧客的持續性。并且,企業不能奢望對顧客進行歸類,因為每個顧客的需求都有差別。正是如此,大數據分析才能更好地把握顧客的消費行為和偏好,為企業精準營銷出謀劃策。

        (三)大數據時代企業營銷理念———“充分以顧客為中心創造價值”

        傳統的營銷和戰略的觀點認為,大規模生產意味著標準化生產方式,無個性化可言。定制化生產意味著個性化生產,但是只是小規模定制。說到底,大規模生產與定制化無法結合。但是在今天,大數據分析的營銷和銷售解決的是大規模生產和顧客個性化需求之間的矛盾。使大企業擁有傳統小便利店的一對一顧客關系管理,以即時工具和個性化推薦使得大企業實現與顧客的實時溝通等。

        三、基于數據營銷案例研究

        ———京東京東是最大的自營式電商企業。其中的京東商城,涵蓋服裝、化妝品、日用品、生鮮、電腦數碼等多個品類。在整個手機零售商行業里,京東無論是在銷售額還是銷售量都占到市場份額一半的規模。之所以占據這樣的優勢地位,得益于大數據的應用,即京東的JDPhone的計劃。JDPhone計劃是依據京東的大數據和綜合服務的能力,以用戶為中心整合產業鏈的優質資源并聯合廠商打造用戶期待的產品和服務體驗。京東在銷售的過程中,通過對大數據的分析,內部研究出一種稱為產品畫像的模型。這個模型通過綜合在京東網站購物消費者的信息,例如:年齡、性別、喜好等類別的信息,然后進行深入分析。根據分析結果結合不同的消費者便有諸如線上的程序化購買、精準的點擊等營銷手段,有效的幫助京東實現精準的營銷推送。不僅如此,通過對于后續用戶購物完成的售后數據分析,精確的分析商品的不足之處或者消費者的直接需求。數據3.0時代的一個特征便是企業不在單純的在企業內部分析數據,而是共享實現價值共創。所以,京東把這些數據用于與上游供應商進行定期的交流,間接促進生產廠商與消費者溝通,了解市場的需求,指導下一次產品的市場定位。總的來說,這個計劃是通過京東銷售和售后環節的大數據分析,一方面指導自身精準營銷,另一方面,影響供應商產品定位和企業規劃,最終為消費者提供滿足他們需求的個性化產品。

        四、大數據營銷的策略分析

        (一)數據分析要樹立以人為本的思維

        “以人為本”體現在兩個方面,一方面是數據分析以客戶為本,切實分析客戶的需求,用數據分析指導下一次的產品設計、生產和市場營銷。另一方面,以人為本體現在對用戶數據的保密性和合理化應用。切實維護好大數據和互聯網背景下隱私保護的問題,使得信息技術良性發展。

        (二)正確處理海量數據與核心數據的矛盾

        大數據具有數據量大、類型繁多、價值密度低和速度快時效高的特點。所以在眾多海量的數據中,只有反映消費者行為和市場需求的信息才是企業所需要的。不必要的數據分析只會影響企業做出時代Time2017年第04期中旬刊(總第657期)正確的決策。鑒于此,首先企業需要明確核心數據的標準;其次企業要及時進行核心數據的歸檔;最后要有專業的數據分析專業隊數據進行分析,得出科學合理的結果以指導實踐。

        (三)整合價值鏈以共享數據的方式實現價值創造

        第5篇:大數據分析范文

        [關鍵詞]綜采工作面 數據分析

        中圖分類號:TD823 文獻標識碼:A 文章編號:1009-914X(2016)16-0016-01

        1.引言:本文主要從綜采工作面大數據的支撐下如何選擇綜采“三機”(三機指采煤機、刮板機、液壓支架)展開探討,綜采工作面“三機”配套不能停留在簡單的“經驗類比”上,而應開發研制綜采設備選型的大數據系統,避免在選型設計中受決策者個人偏見或感彩的影響。同時還要對系統中的主要環節進行動態優化設計,使其設計參數與實際運行參數得到統一。目前的綜采工作面“三機”選型設計還是以“經驗類比”為主,雖然基本上能夠滿足生產需要,但在某些環節上還存在著嚴重的不合理現象。

        2.綜采工作面大數據分析影響著綜采“三機”的合理配套選擇

        2.1 采煤機的機型選擇

        采煤機機型選擇之前要考慮一下數據:首先考慮地質條件,主要包括綜采工作面內斷層斷距、走向、煤層傾角、煤質硬度等判斷是否具備選擇采煤機的條件,在地質條件適合綜采的情況下再考慮其他因素如采高、每月計劃產量、每刀生產能力、截深、功率、牽引方式,實際生產能力主要取決于采高、截深、牽引速度以及工作時間利用系數。采高由滾筒直徑、調高形式和搖臂擺角等決定,滾筒直徑是滾筒采煤機采高的主要調節變量,每種采煤機都有幾種滾筒直徑供選擇,滾筒直徑應滿足最大采高及臥底量的要求。截深的選取與煤層厚度、煤質軟硬、頂板巖性以及移架步距有關。截割速度是指滾筒截齒齒尖的圓周切線速度,由截割部傳動比、滾筒轉速和滾筒直徑確定,對采煤機的功率消耗、裝煤效果、煤的塊度和煤塵大小等有直接影響。牽引速度的初選是通過滾筒最大切削厚度和液壓支架移架追機速度驗算確定。牽引力是由外載荷決定的,其影響因素較多,如煤質、采高、牽引速度、工作面傾角、機身自重及導向機構的結構和摩擦系數等,沒有準確的計算公式,一般取采煤機電機功率消耗的10%~25%。滾筒采煤機電機功率常用單齒比能耗法或類比法計算,然后參照生產任務及煤層硬度等因素確定。

        2.2 刮板機的選擇

        在選型時要確定的刮板輸送機的參數主要包括輸送能力、電機功率和刮板鏈強度等。輸送能力要大于采煤機生產能力并有一定備用能力,輸送能力應大于采煤機的最大生產能力,一般取1.2倍;電機功率主要根據工作面傾角、鋪設長度及輸送量的大小等條件確定;刮板鏈的強度應按惡劣工況和滿載工況進行驗,要根據刮板鏈的質量情況確定鏈條數目,結合煤質硬度選擇鏈子結構型式。

        2.3 液壓支架的選擇

        液壓支架的選型就是要確定支架類型(支撐式、掩護式、支撐掩護式)、支護阻力(初撐力和額定工作阻力)、支護強度與底板比壓以及支架的結構參數(立柱數目、最大最小高度、頂梁和底座的尺寸及相對位置等)及閥組性能和操作方式等。此外還要考慮礦井采區工作面的煤層、頂底板及地質條件數據,依據不同類級頂板選取架型。

        液壓支架具備最基本的特點是(1)要頂得住:它的初撐力和工作阻力要適應直接和老頂巖層移動所產生的壓力,使控頂區的頂板下沉量限制到最小程度;(2)要移得走:它的結構形式和支護特性要適應直接頂下部的巖層冒落特點,尤其要注意頂板在暴露后未支護下的破碎狀態,要盡量保持該處頂板的完整性,支架底座的比壓要適應底板巖石的抗壓強度,以防止底板松軟而使底板下陷不能移架。

        2.4 “三機”合理配套選擇工程復雜

        從采煤機、液壓支架、刮板輸送機的選型參數中看到,綜采設備的合理配套是很復雜的系統工程。滿足生產能力要求采煤機生產能力要與綜采工作面的生產任務相適應,工作面刮板輸送機的輸送能力應大于采煤機的生產能力,液壓支架的移架速度應與采煤機的牽引速度相適應,而乳化液泵站輸出壓力與流量應滿足液壓支架初撐力及其動作速度要求;滿足設備性能要求輸送機的結構形式及附件必須與采煤機的結構相匹配,如采煤機的牽引機構、行走機構、底托架及滑靴的結構,電纜及水管的拖移方法以及是否連鎖控制等。輸送機的中部槽應與液壓支架的推移千斤頂連接裝置的間距和連接結構相匹配;采煤機的采高范圍與支架的最大和最小結構尺寸相適應,而其截深應與支架推移步距相適應。如果綜采沒有大量數據的支持,“三機”的合理選擇無從下手。如下圖三機配套關系圖(見圖1)

        3.綜采工作面大數據分析的意義

        3.1 經濟效益方面

        工作面生產前期需要決策“三機”選擇,不同的決策者往往站在自己的專業領域考慮設備,這樣在缺乏綜合數據分析下往往造成“三機”設備不配套,不僅會造成大量資金的浪費,短時間內不能滿足高產高效,又影響煤礦企業經濟效益。

        3.2 安全生產方面

        井下作業條件特殊,尤其是工作面,時刻都面臨著危險,如果沒有工作面大量數據分析的支持,錯誤的選擇“三機”,不能很好的配合工作,這樣很可能會造成液壓支架支撐不住頂板壓力而造成頂板事故,工作面進度跟不上可能會誘發火災、一氧化碳等事故,還有“三機”的機械故障也容易造成人員傷害等等。

        小結

        第6篇:大數據分析范文

        一、智慧江蘇的建設現狀

        信息化建設成果顯著。一是既有投資計劃完成超前。據2015年數據統計,全省“十二五”期間寬帶基礎設施建設累計完成投資1399.6億元,提前一年完成五年投資計劃。二是“寬帶江蘇”、“無線江蘇”建設取得顯著成效,多項指標在全國名列前茅。數據顯示,至2014年底,江蘇光纜線路總長度205.4萬公里,位列全國第一;三網融合業務進一步在全省推廣,繼續保持全國第一;而互聯網省際出口帶寬8453G,寬帶接入端口總數3198萬個,移動電話基站數24.5萬個,光纖到戶覆蓋家庭數達1984萬戶,均位列全國第二。據權威統計,2014年江蘇信息化發展水平指數達到82.49,位列全國第二;信息資源開發利用水平指數則居全國第一。

        智慧化建設卓有成效。一是智慧城市入選數量和規模位居全國第一。如揚州、常州等6市以及昆山、江寧等12個區縣園區分別被工信部、住建部、科技部列入智慧城市建設試點。二是智慧城市生活應用推進迅速。如“我的南京”智慧城市門戶服務平臺信息化示范工程,以手機應用的形式集成了社保、違章處理、預約掛號、公積金查詢、主干道監控以及公交查詢等多種社會公共服務。這類服務既有效減輕了政府部門的工作量,又為民眾生活提供了便利,初步實現居民日常行政業務需求的智慧化處理。

        二、智慧江蘇建設中存在的問題

        無線覆蓋質量欠缺。據統計,截至2015年底,全省已建成“JSFree”免費WiFi熱點約3.9萬個、AP數近50萬個。但從實際調研情況來看,南京、無錫、常州、蘇州、揚州及南通等市的部分公共區域雖已可搜索到“JSFree”的WiFi信號,但接入質量并不高,且不時會出現無法成功建立連接,或建立連接后依然無法訪問互聯網的情況。

        應用范圍深度有限。一是項目范圍有限。現有智慧江蘇建設項目主要涉及城市政務、民生、交通、生活、娛樂和旅游等五個方面,而在農業、醫療、工業、物流、教育等方面的應用則相對欠缺。二是應用功能較為單一。目前,江蘇多數智慧項目僅開放原始數據查詢。這其中,民生和交通智慧建設項目相對較好,但應用深度依然有限。如江蘇省智慧城市門戶,下設智慧政務欄目僅限于信息導航,并未涉及政務信息的在線處理。而智慧南京項目“我的南京”手機應用雖提供違章信息的在線處理,但其罰款的在線繳納目前仍僅支持部分金融機構進行繳納。

        數據分析挖掘缺乏。目前智慧江蘇項目的絕大多數是對數據資源的表面搬運,仍處于數據資源利用的初級階段,數據資源挖掘不夠。跨行業的信息資源整合、數據挖掘、知識發現和協同決策更為缺乏,智慧化程度低。如“我的南京”手機應用中,所提供了對南京主干道的視頻監控,公積金及社保等數據的獲取也停留在直接查詢,未能深層次利蘊含的數據價值。

        三、深化智慧江蘇建設的對策建議

        加強規劃統籌,促進互聯互通。一是建議系統制定支持技術與平臺、信息基礎設施、數據概念模型、數據編碼、信息系統安全與保障、信息系統運維等方面的智慧江蘇建設與評價的標準和規范。加強頂層規劃和統籌設計,明確建設目標,提供建設指導,防范建設風險,協調建設利益。二是應廣泛運用互聯網、物聯網、云計算、移動通信、地理空間、智能終端等現代信息技術,注重信息基礎設施的升級建設,提高無線網絡的接入覆蓋率和質量,全面促進互聯互通,整體推進建設進程。三是需加快建設“互聯網+”和利于大數據分析的基本環境,提升公共基礎設施的感知能力。如可將溫度傳感器、重力傳感器、音頻采集器、視頻采集器等數據采集及環境感知設備嵌入至基礎設施中,構建虛擬視聽觸動系統,并涵蓋工業、商業、農業、辦公、居住、旅店、展覽、餐飲、會議、文娛、交通、燈光照明、信息通信與顯示等諸多方面,實現日常運行的監測采集、智能分析和科學決策。

        堅持以人為本,立足省情民情。一是應當聯系江蘇省的歷史文化特點和可持續發展,將信息系統與經濟發展、城鄉管理、公共服務和文化傳承緊密結合,注重節能減排、綠色環保、環境友好等宜人自然條件的監測、建設與管理,優化全民生活環境。二是建議完善信息交互功能,形成全方位信息提供和自下而上的信息反饋機制,推動智慧建設與社會的高度融合,實現多元互動、多向協同。

        深化數據挖掘,獲取智能智慧。一是可組織數據挖掘與分析專家,在統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別方面協同攻關,針對具體行業和領域實施數據挖掘工作,深挖數據價值,發現潛在知識,形成一系列具備數據分析和知識推理功能的智慧化方法。二是建議試點設計運用城市和鄉村的分析決策支持模型,實現模型在網絡環境下的共享與應用,形成一系列具備公共管理問題輔助決策功能的智慧化模型,優化決策質量。三是建議利用大數據挖掘與輔助決策研究成果,增強和完善現有智慧功能,研發特色智慧應用。按照不同行業和不同權限,以手機應用、網頁或專門應用的方式向社會公開,以對包括民生、環保、公共安全、城鄉服務、工商業活動在內的各種需求做出智能響應。支持個人更好地了解生活環境,選擇更為理想的生活方式;支持工商企業更好地掌握客戶需求和消費習慣,選擇更為理想的生產制造和商業模式;支持農業更好地感知環境和監測對象,提高對自然環境的風險應對能力,推動耕地資源的合理高效利用,促進農業的現代化精準管理;支持政府更好地獲取綜合信息和運行狀況,做出更為準確科學的決策。將江蘇省建設成具備感知、記憶、理解、邏輯、辨別、計算、分析、判斷等多種能力的智慧體,實現高層次智慧化。

        引領產業發展,助推創新創業。一是建議大力實施智慧化應用項目,使項目的公益性、市場性、營利性有機結合,建立科學的商業運作模式,通過多種途徑和方式推廣和應用智慧化項目。二是應鼓勵大數據產業發展,獲取數據倉庫、數據安全、數據分析、數據挖掘等圍繞大數據管理的商業價值,在金融、通信、零售、醫療、旅游、政府公共事業等領域深化創新創業。三是需催生“互聯網+”智慧產業,加快行業O2O布局,推動互聯網與行業融合創新,整合線上線下資源,鼓勵創新商業模式,探索個性化定制、按需制造、眾包眾創等新型生產方式,推動制造業服務化升級。

        第7篇:大數據分析范文

        關鍵詞:住宅空置;電力數據;大數據分析;用電量;供電信息數據;供電企業 文獻標識碼:A

        中圖分類號:TM743 文章編號:1009-2374(2016)33-0191-02 DOI:10.13535/ki.11-4406/n.2016.33.094

        根據歐美發達國家相關機構對長達30~40年多個房地產市場周期的研究表明,商品房的空置率合理區間為3%~10%,10%~20%為空置危險區,空置率在20%以上為商品房嚴重積壓區。利用公司掌握的居民客戶用電量數據,推斷以戶為單位的居民住宅的空置狀況,可以為房地產市場空置住宅的研究提供借鑒,同時結合該區域電量和業擴報裝數據,可為公司調整配電網建設和供電服務策略提供一定參考。

        1 研究對象

        截至2015年12月,已經建檔立戶并抄表核算電量的所有居民客戶。

        1.1 判斷標準

        空置房可能因各種原因偶爾通電造成用電量“非0”,為方便處理,將居民住宅空置的判斷標準嚴格定義為居民客戶月度用電量為0千瓦時。實際的居民住宅空置率可能比本文計算值高。

        1.2 數據獲取

        提取2013年1月~2015年12月低壓居民電量為0的客戶數據935萬余條;通過采集系統,采樣獲取29萬余戶低壓智能電表2015年國慶節期間用電量數據;通過信息采集,獲取房地產價格、交易等相關數據。

        1.3 分析粒度

        由于數據量大,受硬件資源配置和數據積累限制,此次分析挖掘區域、價格等信息僅以行政區域為基礎進行計算,未能進一步細化至片區,顆粒度相對較大。

        2 研究結果

        2.1 月度趨勢分析

        根據月度低壓居民0電量數據統計,2013年1月~2015年12月居民住房空置率趨勢如圖1所示。

        從公司供區范圍整體居民住宅空置率來看,近三年呈波浪式起伏趨勢,每年二、三季度空置率明顯上升,其中在2014年5、6月達到最高值19.35%;一、四季度空置率相對下降,在2015年2、3月達到最低值16.06%。

        從鄉村居民住宅空置率來看,近三年呈現整體微上升趨勢,反映出農村居民外出比例逐年加大;同時每年2月空置率均為當年最低值,反映出春節期間外出農民工集中返鄉,0度用戶數集中減少。

        從城鎮居民住宅空置率來看,近三年以來,月度空置率整體呈小幅下降趨勢,與國家經濟下行、城市房地產市場逐漸萎縮致使房產交易活躍程度相對一致。

        2.2 區域內分析

        隨著近幾年發展,各類區域居民用電總量和增長速度各不一致,空置率呈不均勻分布,其中城鎮地區土地供應有限,部分新增房地產開發轉移至城郊等地區,致使部分居民空置率不斷上升,例如一類主城區:

        從圖2可以看出,一類主城區的A等地空置率均超過20%。以A為例,隨著近幾年城市規劃發展,一大批大型居民小區相繼建成,原有鄉村土地被用來進行住房開發和改造,造成住房供應較多空置率達到22.17%。

        以XX(居民小區)為例,從2009年開工建設,隨著小區1~4期陸續完工,用電戶數逐漸增至3400余戶。根據系統提取的2013年1月~2015年12月每戶月度用電量共計43000多條數據,完成0電量居民比例統計如圖3:

        從趨勢圖形分析,XX隨著用戶的不斷入住,2013~2015年0電量居民比例逐步下降,從最高的89.68%下降至29.35%。即使居民空置率大幅下降,但29.35%的數據仍遠高于17.91%的平均數據。

        相關建議:政府相關部門、房地產開發商可根據各地區居民住宅空置率和經濟實力分布,因地制宜地采取價格優惠等房地產政策調控手段,進一步活躍房地產市場,促進房地產經濟可持續發展。供電企業可針對各地區(小區)空置率不同的情況,按重要順序做好可靠供電應對(恢復)方案,以最快、最大程度保證居民生活用電。

        2.3 從房地產市場投資分析

        通過投資、竣工房地產核心數據多維計算和分析,房產市場和投資關系密切,但空置率與之關聯反映不明顯。近三年居民住宅空置率逐年降低,但從房地產市場開發投資趨勢來看,2013~2014年在經歷連續的低速增長后,2015年緩慢回升,其中2015年投資金額同比下降5.9%;商品房竣工面積基本與投資金額走勢基本一致,其中2014年最高達到353.4萬平方米,2015年出現大幅下降,同比降低24.4%。總體來看,由于本報告空置率計算以供電居民用戶為基礎,已投資開發未形成居民用戶供電關系的房產不在計算范圍,因此空置率與房產市場投資關聯反映不明顯。

        2.4 從居民用電量分析

        從近三年居民住宅空置率和居民售電量占比來看:

        2.4.1 一類主城區居民電量占比最高(57.78%),同時空置率為18.58%,高于市平均水平。說明一類主城區居民用電市場總量龐大,在空置率較高的基礎上,其余在用居民電量仍占絕對多數,表現出居民住房“空置”與“在住”交織分布,客戶用電排查情況復雜,服務壓力較大,需重點關注。

        2.4.2 二類農業大縣居民住宅空置率為22.93%,全市最高水平。該類區域發展相對緩慢,居民電量占比11.42%。居民空置基本為農村外出務工造成,存在負荷因節日或農時而短時間大幅波動。因此該類地區農村居民的供電服務,尤其是重大節假日集中負荷增長需要重點關注。

        2.4.3 三類經濟綜合區居民住宅空置率較低(14.57%),居民電量占比為30.8%,僅次于一類主城區,需持續關注空置率變化趨勢。

        3 相關結論及建議

        3.1 分析結論

        3.1.1 通過對近三年來低壓居民0電量數據的分析,市居民住宅空置率17.91%,雖逐年呈下降趨勢,但仍處于10%~20%的危險區間。

        3.1.2 一類主城區、二類農業大縣、三類綜合經濟區居民住宅空置率分別為18.58%、22.92%、14.57%,其中一、二類高空置率區域,由于地域、經濟等因素影響,城鎮和鄉村呈現出明顯相反的住房空置現狀,兩類區域房屋投資和持有風險較大。

        3.1.3 不同空置原因可為公司供電服務資源的調撥和分配提供一定的參考。

        3.1.4 節日期間居民用戶用電規律一定程度會反映該戶居民的出行習慣。

        3.1.5 大數據分析中反映出的房屋空置率季節性變化,供電企業可針對性提前做好供電服務應用措施;根據房地產成交量價與空置率的變化趨勢,政府相關部門可針對性實施房地產開發審批、價格指導、政策刺激等措施。

        總體來看,公司低壓居民客戶用電量數據存在多種、多樣深入挖掘的價值和潛力。

        3.2 相關建議

        3.2.1 當前公司都在基于大數據開展管理提升,建議公司開展數據特別是大數據應用計劃編制,統籌整合相關應用需求,提高資源的利用效率,結合公司“互聯網+”應用同步開展大數據挖掘的技術平臺研究和搭建工作,更好地運用電力數據信息給公司和地方政府提供經營管理、投資決策等參考。

        3.2.2 建議相關業務部門根據大數據挖掘分析的需要,做好相關業務信息系統功能和基礎數據的維護,保障系統的有效支撐和數據質量真實、可靠。

        3.2.3 建立高效常態化的地方政府單位(部門)聯絡機制,全面、及時、準確地獲得地方經濟、產業等相關數據,有效支撐公司大數據關聯分析工作。

        參考文獻

        第8篇:大數據分析范文

        關鍵詞:大數據 MapReduce SQL

        中圖分類號:TP338.8 文獻標識碼:A 文章編號:1007-9416(2013)08-0233-02

        1 引言

        云計算從開始所謂的“炒概念”到現在獲得大多數的認可,過程中技術的成熟,應用和服務的推出是這種轉變的關鍵。Google、Amazon、Microsoft、IBM等云計算的老牌企業巨大的投入,最近Apple花費500萬美元購買icloud域名,推出云音樂服務,不難看出云計算巨大的吸引力和發展潛力。很多國內組織機構也投入了大量的資源,如中國移動的“大云”,華為的“云帆計劃”和“阿里云”。開源社區也貢獻了很多云計算項目,如Hadoop[1],Eucalyptus[2]和abiCloud,對云計算發展起到了重要作用。

        MapReduce[3]作為云計算的關鍵技術之一,是Google提出的一個用來處理海量數據的分布式系統編程模式。用戶定義一個映射函數(Map)處理一個鍵/值(key/value)對來產生中間的鍵/值(key/value)對集合,還指定一個歸納函數(Reduce)來合并所有的與同一中間鍵(key)相關的中間值[4]。MapReduce正是把分布業務邏輯從這些復雜的細節中抽象出來,使得程序員可以不需要有什么并行或者分布式系統的經驗,就可以處理超大的分布式系統的資源。從而通過廉價的計算服務來實現原先只能通過采用昂貴高性能計算機才能達到的效果。

        2 大數據分析平臺

        MapReduce編程模型。MapReduce是Google開發的Java、Python、C++編程模型,Hadoop MapReduce是Google MapReduce的開源實現,主要用于大規模(TB級)數據文件處理,它是一種簡化的分布式編程模型和高效的任務調度模型,編程人員只需將精力放在應用程序本身,使得云計算環境下的編程十分簡單。MapReduce思想是借助“Map(映射)”和“Reduce(化簡)”構成運算基本單元,先將數據切割成不相關的區塊,分配給大量Map任務處理,再將中間結果作為Reduce函數輸入,最后將最終結果匯總輸出。MapReduce[5]執行方式如圖1所示。

        簡而言之,從圖1可以看出,Map-Reduce編程模式將輸入數據文件劃分為M個獨立的數據分片(split);然后分配給多個worker啟動M個Map函數并行地執行、寫中間文件(本地寫)、并將計算結果以key/value對形式輸出中間結果。中間結果key/value按照key分組,執行Reduce函數,根據從Master獲得的中間文件位置信息,將Reduce命令發送給中間文件所在節點執行,計算并輸出最終結果,MapReduce的輸出存放在R個輸出文件中,可進一步減少了傳送中間文件對帶寬的需求。

        3 實驗分析

        3.1 實驗數據集

        采用8年地面全要素填圖數據如表1所示。其中數據格式為(26列/行),各屬性名稱分別為:區站號(長整數),經度,緯度,海拔高度(均為浮點數),站點級別(整數),總云量,風向,風速,海平面氣壓(或本站氣壓),3小時變壓,過去天氣1,過去天氣2,6小時降水,低云狀,低云量,低云高,露點,能見度,現在天氣,溫度,中云狀,高云狀,標志1,標志2(均為整數),24小時變溫,24小時變壓。

        3.2 實驗與分析

        3.2.1 加載數據

        首先,分別在Hive和SQL server平臺上創建表,然后把數據集1,4,8分別加載數據到SQL server,1,4,8個節點的Hive平臺的各個表中。

        從圖2中可以看出,MapReduce加載數據的時間遠遠小于SQL server,而且集群結點數越多,數據加載時間越短;

        3.2.2 大數據分析

        查找各區站的總降水量(求和任務)

        select a ,sum(m) from tab6 group by a;

        查找能見度和溫度都相等的區站(多表查詢任務)

        select a1.a from tab1 as a1,tab2 as a2 where a1.t=a2.t and a1.r=a2.r group by a1.a;

        圖3可以看出,在執行求和任務時,隨著數據量增大,SQL server執行時間明顯增加,而MapReduce卻增加很平穩。圖4可以看出,在執行多表查詢任務時,MapReduce隨著數據量的增大,執行時間緩慢增長,當處理大數據集時,可以看出MapReduce比SQL server更適合處理多表查詢。文中對SQL server和MapReduce的性能進行對比,當處理大數據集時,MapReduce具有很較好的優勢,當數據量增大時,SQL server會出現內存溢出問題,而且MapReduce的可擴展性高,結點越多,數據分析性能越好; MapReduce用戶可以自定義函數來處理SQL server和Hive本身無法處理的問題,更符合大數據處理的需求。

        4 結語

        隨著云計算技術的發展,基于MapReduce的數據分析方法受到越來越多的關注。為此,本文提出了基于MapReduce的大數據分析方法,并對MapReduce和SQL server進行了性能比較,實驗表明,基于MapReduce的分析方法在大數據分析上是有效可行的。下一步我們將通過MapReduce結合其他數據庫系統的優勢,開發具有MapReduce和關系數據庫雙重優點的大數據分析系統。

        參考文獻

        [1]Tom White. Hadoop: The Definitive Guide[M]. O'Reilly Media, Inc, 2009.

        [2]Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff, Dmitrii Zagorodnov. The Eucalyptus Open-Source Cloud-Computing System[C]. Proceedings of the 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid, DC, USA, 2009:124-131

        [3]Jeffrey Dean, Sanjay Ghemawat. MapReduce Simplified Data Processing on large clusters[C]. Communications of the ACM - 50th anniversary issue: 1958 2008, New York, USA, 2008:107-113.

        [4]Michael Stonebraker, Daniel Abadi, David J. DeWitt, Sam Madden, Erik Paulson, Andrew Pavlo, Alexander Rasin. MapReduce and Parallel DBmss: friends or foes?[C]. Communications of the ACM - Amir Pnueli: Ahead of His Time, New York, USA, 2010:64-71.

        第9篇:大數據分析范文

        隨著電信用戶數量的不斷增加以及使用需求的多樣化,電信企業在日常運行的過程中,需要根據用戶使用需求,對自身的管理活動以及服務機制進行及時調整,以期滿足用戶的使用需求,提供更為高質量的電信服務。大數據分析作為一種新的企業管理決策機制,憑借大數據的技術優勢,實現了對數據信息的全面梳理與有效匯總,為企業的發展提供了契機。大數據分析在電信企業中的使用,從技術層面上,提升了電信企業的管理能力,對于用戶的使用需求以及變化趨向能夠及時獲取,并以此為參考,進行企業發展決策的制定與調整,實現了電信企業管理轉型活動的有序開展,為電信企業后續工作的開展提供了必要的數據支持與參考。

        2大數據分析在電信企業中應用的必要性

        大數據分析推動電信企業的升級,電信企業由于自身工作環境以及用戶數量的特點,使得其運行管理模式與傳統企業之間有著較為明顯的差異,在實際運行的過程中,電信企業需要以用戶為中心進行視圖數據資源的匯總分析,從而對用戶的消費行為以及使用習慣進行深入了解,進而為后續電信企業運行管理活動的開展提供了必要的數據支持。但是在傳統的數據分析體系下,受到技術條件等多方面因素的限制,電信企業在進行數據分析的過程中,難以真正地將用戶使用需求與電信企業自身的運行管理活動進行銜接,從而導致數據分析工作質量的降低。大數據分析與傳統數據分析有多不同,其借助于良好的技術框架,通過對BI系統等一系列軟件系統的開發應用,真正意義上實現了海量數據的高速處理以及準確篩選,在保證數據分析質量的前提下,降低了企業在人力、物力以及財力方面的投入,避免了資源浪費的出現,擴展了企業營利空間。例如電信企業在大數據分析的框架下,可以從CRM系統中對用戶訂購套餐以及使用情況進行獲取,進而對用戶的消費行為、消費習慣以及業務發展趨勢進行明確,對電信企業服務類型以及用戶群體的擴展提供了必要的數據參考。對于電信企業的各個生產服務環節而言,大數據分析活動的開展,有著十分重大的現實意義,從長遠來看推動了電信企業的健康快速發展。

        3電信企業實現大數據分析的意義

        ①大數據能夠在很大程度上提升電信企業內部各個系統的使用效率,加快運行與計算的速率。大數據打破了之前電信Management&TechnologyofSME中小企業管理與科技企業舊有的數據管理模式以及使用模式,改變了傳統的數據管理模式與應用程序對應關系,大數據能夠將一種數據管理模式分化成多種虛擬數據管理模式,而每種虛擬數據管理模式能夠根據實際的需要,同時在一種實體數據管理模式上運行多個程序與軟件,這就極大地提升了數據管理模式的使用效率,保證了系統的使用效率,提升了數據管理模式的運行效率,保證了數據中心的數據資源的高效應用。②大數據能夠在很大程度上減少數據中心的運行成本,降低電信企業自身的資金投入。在現有的數據管理模式設置模式下,在數據中心安排了為數眾多的獨立數據管理模式,這些數據管理模式不僅占據了巨大的空間,造成了一種空間資源的浪費,同時也耗費了巨大的能源,而為了保證數據管理模式的正常運轉,及時排出數據中心內部的大量熱能,就需要在排熱保溫方面投入大量的資金。隨著電信信息化進程的不斷深入,建設進程的加快,數據中心的規模越來越大,數據管理模式的數量也隨著增加,這在一定程度上增加了維護人員的數量,加大了人員費用的支持,而數據管理模式虛擬技術能夠在很大程度上解決這一難題,通過虛擬化技術,減少數據管理模式的空間占有率[1],同時減少了電信在能源費用、保溫散熱方面的投入,大數據能夠有效地減少數據管理模式的數量,從而降低了對維護人員數量的要求,減少了在人員方面的支出,從而降低了電信數據中心建設與運行的成本,保障了高效的財政安全。

        4大數據分析在電信企業中使用管理所遵循的原則

        大數據分析在電信企業運行管理的開展不僅需要各項技術的支持,還需要工作人員立足于大數據分析開展的實際,以科學性原則與實用性原則為引導,從宏觀層面提升自身的思想認知程度,明確大數據分析的基本需求,進而全面提升電信企業大數據分析的效率。①大數據分析在電信企業運行管理中的應用必須要遵循科學性的原則。大數據分析在電信企業中的實現,要充分體現科學性的原則,只有從科學的角度出發,對電信企業的相關內容、大數據分析的定位以及具體職能,進行細致而全面的考量,才能夠最大限度地保證大數據分析能夠滿足電信企業運行管理工作的客觀要求。只有在科學精神、科學手段、科學理念的指導下,才能夠以現有的技術條件與操作方式為基礎,確保大數據分析在電信企業運行管理工作中的科學高效實現。②大數據分析在電信企業中的應用必須要遵循實用性的原則。由于電信企業涉及領域較多,工作類型內容多樣,信息數據繁多。為了適應這一現實狀況,確保大數據分析在電信企業中的有效應用,就要盡可能地增加大數據分析應用方案的兼容性,減少復雜冗余環節對電信企業運行管理中大數據分析應用活動的不利影響。因此大數據分析以及相關技術應用流程必須進行簡化處理,降低操作的難度,提升大數據分析應用方案的實用性能,使得在較短時間內,進行有效化操作,保證電信企業運行管理工作的順利開展,提升現階段電信企業運行管理工作的質量與水平。

        5大數據分析在電信企業中使用管理策略

        5.1CDR、RFID、Wi-Fi網絡信息的分析

        電信企業通常使用CDR、RFID、Wi-Fi網絡進行電信服務業務統計以及用戶消費行為分析,伴隨著電信用戶數量的增加,服務類型的多樣化以及社交網絡的擴展,傳統的信息數據分析方式越來越難以滿足數據分析工作的客觀需求。而大數據分析在CDR、RFID、Wi-Fi網絡中的實現,使得用戶在獲取電信服務的過程中,各類用戶習慣以及消費取向進行對比分析,使得電信企業在相關網絡使用階段,能夠更加明確自身工作重點,并在分析的過程中,對系統以及相關服務進行完善,全面提升電信企業的服務質量[2]。

        5.2大數據分析在電信企業運行管理的使用

        大數據分析在電信企業運行管理活動中的使用,需要技術人員與企業管理者,不斷進行大數據分析工作硬件設施的完善發展,通過數據挖掘等一系列方式,使得企業管理人員與決策者能夠在較短時間內,從用戶使用需求、套餐設計以及目標客戶的定位等方面出發,實現用戶體驗的提升,對于客戶維護以及開發工作的進行有著十分深遠的影響。同時在進行大數據分析使用的過程中,需要著力進行工作人員素質的提升與專業技能的培養,充分發揮人才優勢,使得工作人員能夠滿足電信企業大數據分析工作的客觀需求,保證大數據分析的有效性,為后續共組的開展提供了必要的人才支持。

        6結語

        在推動大數據分析與電信企業運行管理活動有效銜接的過程中,電信企業相關工作人員需要明確大數據分析工作在電信企業日常運行管理以及企業決策之中的重要性,在此基礎上,以科學性原則與實用性原則為引導,從多個維度出發,將大數據分析落實于電信企業使用與管理活動之中,推動電信企業決策管理活動的有效性,滿足電信企業發展的客觀需求,提升服務能力。

        作者:李衛紅 單位:中國電信濮陽分公司

        【參考文獻】

        相關熱門標簽
        无码人妻一二三区久久免费_亚洲一区二区国产?变态?另类_国产精品一区免视频播放_日韩乱码人妻无码中文视频
      2. <input id="zdukh"></input>
      3. <b id="zdukh"><bdo id="zdukh"></bdo></b>
          <b id="zdukh"><bdo id="zdukh"></bdo></b>
        1. <i id="zdukh"><bdo id="zdukh"></bdo></i>

          <wbr id="zdukh"><table id="zdukh"></table></wbr>

          1. <input id="zdukh"></input>
            <wbr id="zdukh"><ins id="zdukh"></ins></wbr>
            <sub id="zdukh"></sub>
            亚洲国内一区二区 | 亚洲v欧美v国产v在线成 | 五月婷婷综合在线 | 亚洲乱码专区一区二区三区 | 亚洲国产精品国产自在在线 | 久久精品女人天堂 |