大數據下數據分析服務的市場探析

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了大數據下數據分析服務的市場探析范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：對提供大數據技術服務的電商，分析其現狀和商業需求，并通過爬蟲技術爬取大型電商網站關于大數據分析服務的真實信息。研究當前小型數據分析服務和個人數據分析服務的銷售價格、月銷數量、顧客評分等。結合詞頻分析和統計技術，分析大型電商網站的大數據分析服務質量、價格、服務種類。研究發現，現有的基于大數據技術的電商服務存在定價不清、質量難以保證、客戶評價真實性存疑等問題。針對問題提出標準化數據市場、引入第三方監管、建立成熟的收益機制的建議。

關鍵詞：數據分析；大數據；可視化；電商服務；大數據技術

0引言

近年來，隨著移動互聯網、云計算、大數據、人工智能的迅猛發展，全球大數據存儲量持續快速增長，其中中國數據量的增長最為迅速。根據國際數據公司(IDC)的監測數據顯示，2013年至2018年全球大數據儲量分別為4.3ZB、6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB，近年全球大數據儲量的增速每年都保持在40%左右。根據IDC最新的統計數據，中國的數據產生量約占全球數據產生量的23%[1]。IDC最新的《全球半年度大數據支出指南，2018H2》預測在2019年度，大數據與商業分析解決方案全球市場的整體收益將達到1896.6億美元，相比2018年增長12.1%。IDC預測，2019年中國大數據市場總體收益將達到96.0億美元，2019-2023年預測期內的年CAGR（復合年均增長率）為23.5%，增速高于全球平均水平。到2023年，市場規模則將增長至224.9億美元[2]。在這樣的背景下，數據在全球市場經濟運轉中的價值日趨顯著，所以數據分析服務應當順應當前國家政策以及未來市場，收集大型電商網站的數百條關于大數據分析服務的真實信息和數據相關的門戶網站，研究當前小型數據分析服務和個人數據分析服務的銷售情況與大型門戶網站的定價、服務，從小型數據分析服務和個人數據分析服務的需求程度、服務反饋，來分析小型數據分析服務和個人數據分析服務的發展趨勢，并分析兩者之間的優缺點。

1電商服務現狀分析

1.1淘寶

淘寶網是中國現下最受歡迎的專業網購零售平臺之一，注冊用戶數量高達5億，日均瀏覽量超過1.3億。在淘寶出售數據分析等相關服務，在沒有知名度的情況下，前期不需要投入大量宣傳投入，靠著淘寶自帶的流量，也不會擔憂沒有人流量。但淘寶的數據分析服務也存在如下問題。⑴數據和人工成本估算，以及數據收益機制還不成熟，導致商品的定價沒有統一標準，也沒有可參考的依據，價格相差過大，客戶無法判斷商家所給的定價是否與自己的需求相匹配。⑵交易雙方信任機制難以建立，把握數據使用流向問題難以解決[3]。淘寶商家在淘寶注冊商鋪資質最低費用為1000元，若是發生糾紛，商家跑路所需承擔的風險很小，個人的權益難以保障。⑶交易評價真實性不可查，涉及電商銷售，難免會存在刷單行為，客戶也很難辨別商品評論的真實性，存在被誤導以及引誘消費的風險。

1.2大型門戶網站

本研究以數據為關鍵詞，找尋了四個大型門戶，分別對它們的框架、定價、服務對象進行研究分析?；疖嚥杉髦鞔驍祿杉休^為清晰的定價，有免費版供需求不多、不需要太深入處理數據的人群使用，更多的版本選擇讓用戶可以自由的根據自己的需求做選擇。除此之外，還有在線客服可進行咨詢、指導。八爪魚采集器主打數據采集，操作簡單，是人人可用的數據采集器。采集教程有圖文版和視頻教程，讓客戶更容易上手。采集軟件也有不同的定價，方便客戶選擇。問題的解決方案也有細分，涵蓋了新聞采集、電商采集、金融采集數據服務、市場洞察等十幾種，可為不同領域的客戶提供有針對性的方案。前嗅主打數據采集和大數據可視化。比起前兩個按軟件的版本來定價，前嗅的定價更為詳細些。前兩者的數據采集需要自己動手完成，而前嗅有ForeSpider數據采集引擎可自己爬取數據，也可以選擇數據代采。在數據采集這個模塊，前嗅就分出了6種服務及定價，對客戶來說更詳細也更好理解?？梢暬瘓蟾娣殖隽?種不同的需求，預存云數據系統，研究報告和定制報告。還可根據客戶數據進行情感分析、用戶畫像分析、語義識別等。集搜客主打網頁抓取和內容分析，主要是對文本的處理和情感分析。集搜客有專門的爬蟲軟件，分為4個版本，每個版本都有自己的定價。除此之外，也有定制服務的價格，劃分出了6個定制項目，并顯示每個服務最低的價格。火車采集器、八爪魚采集器、前嗅、集搜客在頁面下方都放了合作的企業，其中有中國人民銀行、中國電信、可口可樂、鳳凰網、中國平安等知名大型企業，對它們是一種能力的認證，也是交易的認可。

2數據分析服務的商業需求

2.1淘寶：小型數據服務方

本研究以“數據分析”為關鍵詞，于2020年8月通過爬蟲技術爬取淘寶電商網站的529條信息。其中包括9個字段：商品名、鏈接、圖片、價格、郵費、店鋪名、月銷數量、店鋪評分、發貨地等。去除重復、不符主題的噪聲數據，留取了202條有效數據。去除對本次研究沒有研究意義的字段，本研究將對這202條有效數據的價格、月銷數量、高頻關聯詞、發貨地這四個字段進行分析。

2.2門戶網站：大型數據服務方

2.2.1火車采集器?；疖嚥杉魇悄壳盎ヂ摼W上應用最廣泛的數據處理、分析和挖掘軟件。軟件憑借其靈活的配置與強大的性能領先國內其他數據采集類產品，并贏得眾多企業和用戶認可。目前共客戶使用的有五個版本，可以免費使用，有需要更強大功能的付費版本，價格在960元至8600元，購買后的版本均可終身使用。2.2.2八爪魚采集器。八爪魚采集器是一款擁有百萬用戶的數據采集軟件，其使用方法簡單易懂，不懂網絡爬蟲技術，也能輕松采集想要的數據。目前共客戶使用的有七個版本，有免費的版本，付費版本價格在49元至69800元以及根據顧客要求制定節點再定價格。私有部署版、數據服務都沒有明確的價格，需要根據客戶需求來制定方案，再根據方案制定價格。2.2.3前嗅智能大數據專家。前嗅是可提供數據采集、定制和研究可視化報告、自然語言處理以及大數據周邊配套產品等且擁有國內唯一自主知識產權Web服務器系統的大型門戶網站。在價格的制定上，比前兩者分的更細，許多服務的起步價多為200元至400元。劃分板塊多，衍生的服務更為多樣。2.2.4集搜客GooSeeker。集搜客GooSeeker是一款網頁抓取和內容分析，把互聯網裝進表格和數據庫的軟件。網絡爬蟲軟件目前有四個版本，除了免費版本外，其他三個版本的價格在49元至20000元之間，還有根據需求的定制服務。通過對以上四個大型門戶網站的調研，發現每個服務方所服務的人顧客群體有所區別，需求存在著明顯的差異?；疖嚥杉骱桶俗︳~采集器都是主打數據采集的軟件，但價格上卻有所差別，火車采集器的價格明顯比八爪魚便宜，可見針對的目標客戶是不一樣的。前嗅智能大數據專家針對的是有大數據技術需求方面的人群，大數據的衍生服務也包括在內，多樣且全能。集搜客是針對有網頁抓取和內容分析，主要是對文本的處理和情感分析的需求的顧客群體。以上四個大型門戶網站都有自己明確的市場定位，針對不同的需求，發展自己的特點。

3數據調查與分析的方法及過程

利用爬蟲技術爬取了2020年8月大型電商網站的數百條關于大數據分析服務的真實信息，研究當前小型數據分析服務和個人數據分析服務的銷售價格、月銷數量、顧客評分等，結合詞頻分析和統計技術，以及分析大型電商網站的大數據分析服務質量、價格、服務種類。

3.1價格分析

在本次爬取的信息中，價格較為多樣化，單價從1元到500元不等，數字較為隨機，可見淘寶的數據分析標準沒有統一，差異性較大。大多標價也非實際交易價格，實際交易價格往往是在雙方交流后才確定的價格。沒有統一的定價標準，會導致顧客在購買服務之前難以了解實際交易價格與自己心理預期價格的差距，從而難以選擇與自己心理預期相符的服務。

3.2月銷數量

在本次爬取的信息中，單項付款最多人數為717人，最少為0人，月銷數量大于100的占總收集信息的10%。但僅看付款數量無法判斷實際交易人數，因為一人可拍下數量不可知（如：單價100元，在交流后，所需服務實際需要為400元，可以單價*4拍下）。如圖1所示。

3.3高頻次關聯詞

在本次爬取的信息中，標題中除了數據分析出現的高頻詞匯有：spss、可視化、爬蟲、python、stata、統計。出現的頻次分別為：可視化出現61次、spss出現59次、stata出現30次、python出現31次、爬蟲出現23次、統計出現19次。其中spss、stata、python都是數據分析工具，不同的行業與需求對數據分析工具有不同的要求，可視化的高頻次出現體現著客戶對數據可視化的需求強烈。如圖2所示。

3.4發貨地分析

在本次爬取的信息中，發貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現次數較多的為北京、上海、南京，分別為44次、29次、16次。這三大城市的占比為44%，可見這三大城市的數字經濟發展明顯優于其他城市。如圖3所示。從價格、月銷量、高頻次關聯詞、發貨地址的分析結果看，以淘寶網為代表的小型數據服務方的定價模糊，沒有清晰、明確的定價標準，月銷量有高有低，但由于定價模糊的關系，并不能判斷它的真實銷量。從高頻關聯詞數據分析與可視化關系緊密這一點看，數據可視化是數據分析中的一大需求點，發貨地點多為一線城市，可見經濟與數據經濟關系成正比關系。

4結論與建議

經過研究和分析電商數據分析服務的多方面數據，獲知了以淘寶電商為主體的小型數據分析服務在體系上的不完善，多數是在商品標題添加相關詞，但商品詳情頁面沒有詳細的服務名稱、服務范圍、服務價格，大多需要咨詢客服才能了解；以大型門戶網站為主題的數據分析服務為主體的數據分析服務都有著自己明確且清晰的體系，有詳細的產品分類，可提供服務的范圍，有標準的定價，以及自己的主打的特色產品，火車采集器、八爪魚采集器、集搜客也提供有免費的服務，供客戶體驗產品、了解產品。當前我國數據資源流通存在諸多瓶頸問題，尚不具備作為一種生產要素的商品化、資產化機制，無法界定權屬、無法評估質量、無法有效定價、無法可信流通等問題較為突出[3]。在此提出以下建議供參考。⑴推進建立商品化、資產化和規范化的數據商品體系。⑵建立第三方數據監督機構。市場的數據質量難以保障，已過期數據、錯誤數據、沒有意義的數據俯拾皆是，第三方機構可監督數據的來源，評判數據的可用性。⑶小型數據分析服務應確立自己的基本框架，將所能提供的服務、服務范圍、服務價格，進行清晰的劃分并標明，讓顧客能更加簡單便捷、有對比性的了解所提供的服務。⑷建立成熟的數據和人工成本估算以及數據收益機制。縱觀淘寶和大型門戶網站對同類服務的定價，價格相差懸殊。建立成熟的數據和人工成本估算以及數據收益機制可以為客戶避免“貴的就是對的”的心理；也可以避免客戶一味的貪圖便宜買到假數據。

5結束語

伴隨著“數據創造價值，智慧引領經濟”的潮流，越來越多的行業加入到數據經濟的行列中來。本文分別對幾個不同類型的數據電商服務的框架、定價、服務對象進行了研究，從目前的數據看來，數據電商服務的在定價和數據來源方面存在一定的模糊地帶，但隨著國家層面推進大數據政策，數據電商服務也會進一步完善，最終形成一個成熟的體系。

參考文獻

[1]從全球大數據市場看未來發展趨勢[EB/OL].(2019-08-16)[2020-01-12].

[2]IDC最新版全球大數據市場規模預測,中國持續穩定增長[EB/OL].(2019-09-12)[2019-12-06].

[3]于施洋,王建冬,郭巧敏.我國構建數據新型要素市場體系面臨的挑戰與對策[J].電子政務,2020.3:2-12

[4]徐鑫.大數據環境下競爭情報分析的變化與方法創新[J].科技情報研究,2020.2:25

作者:邱敏 梁婷婷 梁天友 單位:南寧學院信息工程學院