網站在線決策系統實現及應用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了網站在線決策系統實現及應用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：本文發現近年來網站決策支持的概念得以發展和推廣，利用數據挖掘技術，對網站運行生成的非關系型日志數據進行挖掘，通過對網站訪問量的智能分析，為網站的運營管理提供科學有效的決策依據。基于中小型網站靈活，低成本的需求，提出了面向中小型網站在線決策系統，通過此系統的專業的分析，網站可以全面了解自身的網站流量、被關注的程度等細節，通過網站分析、網站流量分析的結果進行科學的決策來提高其網站的商業價值。

關鍵詞：中小型網站分析；數據挖掘；決策系統

伴隨著互聯網、大數據、分布式服務器等技術的飛速發展，標志著以通訊、計算機、網絡技術為代表的現代信息技術為代表的新信息技術時代的來臨。新信息時代變革對于中小型網站既是機遇又是調整：一方面新技術的迅速發展，給互聯網生態不斷注入新鮮血液；另一方面，中小型網站受制于資金和自身技術能力，不能很好地在互聯網上基于新技術進行進一步延伸和拓展。作為我國經濟和社會發展的重要力量，中小企業憑借網站、電子商務、應用等互聯網平臺在電商、服務貿易等領域發揮著重要作用[1][2][3]。在新信息技術時代大背景下，中小企業網站通過基于大數據的在線決策分析系統提高內部管理效率、降低運營成本、擴大市場機會、提升服務水平具有重要作用[4]。以往在線決策分析系統基本是面向大企業網站，復雜度高，成本高昂[4][5]，少量面向關于中小企業網站的研究多采取定性描述等方式，缺少基于大數據的科學定量的研究方法[6]。決策分析作為網絡信息分析和數據研究的重要方法和依托，可以從網絡信息資源的管理與科學評價方面為中小企業網站建設提供定量的分析[7]。本研究基于長期市場分析和技術研發，提出了面向中小型網站在線決策系統：通過此系統的專業精準分析進行科學和有效的判斷決策。

1決策支持平臺技術概述

1.1后臺數據處理與分析部分

決策支持網站采用B/S架構，后臺數據處理和分析部分支持全國各地的分布式的網站群。系統最低程度地使用用戶的資源，包括服務器與人力資源。系統的配置方式通過批處理完成，保證用戶的數據傳輸是安全的。歷史數據的存放采用備份與壓縮技術，支持大批量的用戶的同時使用。有的網站有可能因為自身的原因，不能及時提供數據。本系統具有自動告警的功能，同時，如果系統正常以后，需要有自動獲取數據的功能。系統需要具備冗余性和魯棒性，如果正在計算的服務器資源出現故障，那么要有其它計算機資源接管或者重新執行任務的能力。系統也具有并行計算的能力，充分利用計算機服務器的多核特性。

1.2前臺交互部分

系統前端用戶交互部分具有模塊劃分的能力，不同的用戶可以看到不同的服務功能。具有計費、續費、繳費的在線功能，保證頁面的刷新速度，能夠配置自己站點欄目的能力，能夠展現各類圖表。系統還需要具備在線即時通信。

1.3關鍵技術問題

1.3.1第一種：數據傳輸的問題整個系統平臺最關鍵的問題是用戶如何把自己的日志文件或者網站訪問情況的信息交付給系統平臺進行服務。不同類型的網站的訪問信息（或日志文件）獲取的途徑不同，盡量把不同的日志獲取途徑統一在幾種方式上[8]。一般來說，中小型網站有如下四類情況：A.有自己的網站服務器，也有多余的空閑服務器，也有自己的技術人員。同意開放FTP端口或HTTP傳輸日志。B.有自己的網站服務器，但是沒有獨立的網站分析的服務器。不對外開放端口。C.有自己的網站服務器，也有多余的空閑服務器，沒有多余的技術人員。D.沒有自己的網站服務器，使用的是虛擬主機空間。針對如上四類情況，采用不同的方式來獲取日志以及進行分析：（1）A類情況：用戶注冊以后可以下載一個比較完整的軟件包，該包安裝于客戶處的服務器上。這類客戶的好處就是：能夠保證了自己數據的放心度、保證了訪問的速度。（2）B類情況：用戶可以下載一個日志推送小工具，該小工具安裝于客戶處的任何機器，例如桌面機。通過端口配置，客戶可以主動把日志文件投送的注冊是選定的服務器。（3）C類情況：操作方式與B類一樣。如果由空閑的計算機資源，可以通過資源置換的方式征用此服務器作為網格計算的節點，此服務器需要安裝一個分析引擎。這臺服務器來作為整個平臺的一個網格節點使用。（4）D類情況：讓虛擬主機商開放其用戶的日志文件，通過B類的方式獲取到日志，進而進行分析。

1.3.2第二種：網格化分析計算問題對于網格化計算問題，中心服務器與其他網格節點進行通訊來分配任務，網格節點計算完自己的任務后，把計算的結果傳輸回節點數據庫服務器，要傳輸的數據量都是有限的，壓縮后的數據以及分析處理后的數據都變得非常小。這樣，網格節點就可以等待其他任務的到來。如果從客戶處的網格節點發生變化，例如終止服務，整個系統統平臺不會遺留其他任何數據。另外要驅動網格節點并行啟動分析服務，所以有并行運行的能力，同時驅動多核的計算能力。安裝在網格服務器上分析引擎也可以通過中心服務器刪除。

1.3.3第三種：數據存儲管理問題數據存儲管理首先要解決大量長期數據的保存問題。另外要解決數據在傳輸過程中的安全問題。還要解決數據的備份與恢復的問題和壓縮與解壓縮的問題。1.4解決方案本系統的前臺采用Web服務方式，注冊用戶通過瀏覽器登錄后，直接使用對應的功能，對于用戶來說就像自己獨立使用一套產品一樣。而后臺就需要大量的技術作為保證，相對于給大客戶獨立安裝使用一套系統，要求服務于大量的網站，同時要保證數據的穩定性及安全性、結果查看的快速有效性，所以產品研發復雜性更高，主要需要實現以下關鍵技術：（1）復雜數據的異構管理，包括海量數據的壓縮處理；（2）異地數據的網格化管理。數據不用集中上傳，直接進行異地存放，集中式管理；（3）數據分析的并行處理以及網格化計算；（4）Web訪問的網格化服務。集中式登陸認證，分布式權限控制；（5）分布式數據備份與集中式恢復管理；（6）數據安全性保護。

2中小網站在線決策系統實現

中小網站在線決策系統是一個面向中小型網站群的服務平臺系統，該系統可以同時服務于上萬、甚至十幾萬的網站群客戶。這些中小型的網站不需要安裝這個系統，而只是通過服務租用的方式來使用，通過配置后，就可以直接使用此系統。通過此系統的專業的分析，網站可以全面了解自身的網站流量、被關注的程度、范圍甚至每一個細節，通過網站分析、網站流量分析的結果進行科學的決策來提高其網站的商業價值。

2.1系統架構

本系統支持中小型的網站利用本項目實現的服務平臺，在線分析自己的數據，從而獲得科學的決策依據。因為系統分析的各個網站分布廣泛，所以此系統支持遠程數據管理的能力。本系統設置中心管理服務器、任務分配服務器，在全國各地設置數據分析節點，整個系統平臺構成一個虛擬的運營平臺。系統架構圖如圖1。在圖1中，當一個用戶通過統一的服務平臺網址申請一個服務時，中心服務器會根據申請者網站的所在地，就近選擇一個服務器作為此用戶的服務平臺。注冊成為一個會員服務用戶后，系統會返回一個訪問網址，會員就可以通過這個網址來訪問這個系統。中心管理服務負責管理整個平臺的運營，包括用戶認證、計費等。任務分配服務器負責調度所管理的所有服務器。分析服務器（節點數據分析服務器、網格分析服務器）負責分析數據。節點WEB訪問服務器就是直接面對用戶的服務站點。該WEB服務器可以根據負責的用戶容量，增加新的服務器來負載均衡。

2.2系統特性

系統特性如圖2所示。本系統網站數據分析采用以日志分析為主、嵌入式代碼為輔的方式，支持大規模的網站群同時使用該系統。中小網站在線決策系統是一個充分模塊化和的軟件系統，日志搜集、數據傳輸、日志分析、結果訪問采用獨立的模塊。系統平臺每天會自動采集和分析數據，不需要人為干預。日志文件可以通過FTP/HTTP/SSH等方式自動獲取網站服務器的訪問數據進行分析。系統采用B/S架構，任何局域網的用戶可以使用Internet瀏覽器通過帳號和密碼訪問系統，并自由組合條件查看歷史時間段的所有分析結果。本系統采用SaaS的服務模式，支持多線程體系結構，同時支持集群方式的網絡架構，可以采用多臺服務器服務于同一個網站群。分析引擎完全采用并行化算法，使分析服務完全并行工作，能夠利用到服務器的多核能力。集群分析服務示意圖如圖3所示。本決策系統支持整個系統的高可用性架構，如果任何一臺“分析服務器”宕機或服務中斷，其他服務器會自動接管對應的分析服務，同時會發硬件故障通知郵件給系統管理員。對于數據庫服務器，同樣可以配置兩臺硬件服務器，作為高可用架構中的主、備服務器。其中一臺數據庫主機發生故障，另外一個會自動接管對應的任務，同時通知所有的“分析服務器”與系統管理員。日志文件的采集，采用全自動采集與人工采集相結合的方案。正常情況下，會采用7*24自動采集，然后交給分析服務程序進行自動數據分析。日志采集架構如圖4所示。

3決策系統的功能

本系統實現的功能包括綜合分析功能，決策分析功能和技術分析功能。

3.1綜合分析

3.1.1頁面分析分析訪問者訪問本站點，包括頁面的刷新等。頁面數是衡量一個網站訪問量的大小，是否受用戶喜愛和關注的重要指標。3.1.2訪問數分析主要分析同一個IP地址在間隔小于30分鐘內，訪問同一個站點的訪問數。訪問數和頁面數同樣是體現網站訪問狀況的一個參考指標。3.1.3獨立訪問分析主要分析一天內同一個IP地址多次訪問本站點的獨立訪問。3.1.4流量分析分析網站訪問的數據的流入和流出統計。幫助用戶了解分析范圍內各天或時段的頻寬使用情形。3.1.5訪問率分析分析訪問機率，具體指平均每人次點擊的頁面的次數，指一個用戶登入一個網站后點擊的頁面的總數，該指標一般說明網站的內容的豐富程度。3.1.6時間段分析分析時間段，按月、周、天、小時等不同的時間段內訪問網站的頁面數統計。并給出曲線圖、餅圖和表格。管理者可以清楚的看到，哪個時間段內訪問的次數最多。3.1.7進入頁面分析分析當訪問者訪問網站時最先訪問的頁面。3.1.8IP分析統計訪問者的來源IP地址，并進行群組分類管理設置。

3.2決策分析

3.2.1用戶群分析分析用戶來源，并按照國家、地區等。3.2.2網站欄目分析對網站的各個欄目訪問量進行分析，并生產走勢圖，并逐層進行深入挖掘。3.2.3欄目對比分析按天、周、月等時間段做時間上的同期比較，并可以比較它們在時間變化上的增量。3.2.4本地廣告分析本地廣告分析，分析的是客戶或者合作伙伴在本網站這里投放的廣告。3.2.5投放廣告分析分析的是本網站在其它網站上投放廣告的點擊數，了解廣告投放的有效性。3.2.6新聞分析新聞分析是對于指定欄目下的新聞，每天的訪問情況的分析。3.2.7新客戶分析統計一段時間內的客戶分布情況，新客戶/回訪客戶分布。3.2.8回訪率分析分析客戶的回訪情況，不同的客戶在某時間段內的回訪頻度、次數。3.2.9停留時長分析（黏度分析）分析客戶的停留時長、訪問頁面數。

3.3技術分析

3.3.1域名分析通過域名分析就可以清楚的了解訪問者訪問本站點經常使用和喜歡的域名。3.3.2搜索引擎分析分析訪問次數最多的搜索引擎以及查看每個搜索引擎訪問最多的關鍵字。3.3.3Spider分析從互聯網上自動收集網頁的Spider系統程序，分析搜索引擎網頁索引數據庫，對網站網頁文字和鏈接的更新情況。3.3.4搜索關鍵詞分析分析搜索到網站最多使用的搜索關鍵字并且通過點擊關鍵字查看到關于該關鍵字更詳細的分析。

4總結

本研究基于中小型，提出了面向中小型網站在線決策系統。通過此系統的大數據分析，網站基于統計分析結果進行精準判斷決策，為提升廣大中小型網站的商業價值提供科學有效的工具和抓手。

參考文獻

[4]劉慶芳.郵政網絡課程網站的分析與設計[J].無線互聯科技,2017(03):35-37.

[5]士明軍,王勇,文悅.不同市場能力下的“電商-平臺-物流”在線銷售系統的決策研究[J].管理工程學報,2020,34(03):112-121.

[6]王文學,王利軍.中小型企業網站自動生成系統的設計與實現[J].電腦知識與技術,2011,7(29):7155-7157+7178.

[7]宋麗麗,徐靜.基于網絡鏈接分析的中小企業網站分析與評價研究[J].現代情報,2015,35(01):114-119.

[8]魏娟.日志分析工具AWStats的部署與林業網站分析研究[J].山東林業科技,2019,49(04):109-111.

作者：張青云 單位：山西省人民政府辦公廳政務信息中心