高校大數據分析平臺設計實現

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了高校大數據分析平臺設計實現范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：隨著高校各類應用系統的發展，信息化建設將轉向大數據服務階段。如何有效利用分散在各系統中的數據，為學校的管理與決策提供數據支撐，是迫切需要解決的問題。文章闡述了數據采集整合過程和分布式存儲技術，設計了大數據分析平臺基礎架構和功能模塊，分析了相關數據模型。通過搭建大數據分析平臺，測試了數據采集功能和各分析模塊的展示情況。

關鍵詞：大數據分析平臺；Hadoop；數據采集

引言

隨著高校信息化建設快速推進，國內高校基本完成各類基礎應用系統的建設，在應用系統中也存儲了大量的數據，包括教師和學生的工作、生活、學習、教學和科研等數據，以及個系統的日志數據。由于各系統相對獨立無法進行系統間的數據共享，使得這些系統數據都閑置在各應用系統中。因為在學校的管理與決策中缺乏真實可靠的數據做支撐，所以研究如何將閑置的數據有效利用起來，對高校的信息化建設會更有意義。大數據分析平臺是在現有各應用系統的基礎上，對各系統匯集起的海量數據資源進行清洗、整理、挖掘、分析等操作后，數據標準化程度提高其利用價值也更大。大數據分析平臺的基礎是數據，核心是分析模型，目標是應用。本文將整合校園內各應用系統數據，并對其進行挖掘、整理、分析，然后通過構建數據模型，搭建統一的大數據分析平臺，實現對零散的數據進行整合分析，分析結果可以為學校及各部門的管理和決策提供數據支撐，數據的利用價值也更高。對師生在工作、生活、學習、教學和科研方面提供行為分析，分析結果為學校優化管理方式，提升服務水平提供指導，勾畫“千人千面”，讓學校真正了解師生。

1關鍵技術簡介

Hadoop[1]是一個分布式系統基礎架構，充分利用集群的優勢對數據進行運算和存儲。Hadoop由許多元素構成，底層是分布式文件系統（HadoopDistributedFileSystem，HDFS），用來存儲集群中所有存儲節點中的文件。HDFS上一層是Ma-pReduce引擎,為海量的數據提供高速計算。ETL（Extract-Transform-Load）[2]是用來描述將數據從源端經過抽取（Extract）、轉換（Transform）、加載（Load）到目的端的過程。使用ETL目的是將學校中分散、零亂、標準不統一的數據整合到一起，為學校管理決策提供數據支撐。Sqoop[3]是一款開源的工具，主要用于在Hadoop(Hive)與傳統的數據庫間進行數據的傳遞，可以將一個關系型數據庫中的數據導入HDFS，也可以將HDFS的數據回流到關系型數據庫中。Sqoop也為NoSQL數據庫它也提供了連接器。Nutch[4]是一個開源的高度可擴展和可伸縮性的分布式爬蟲框架。Nutch主要由爬蟲Crawler和查詢Searcher組成，Craw-ler主要用于從網絡上抓取網頁并建立索引，Searcher主要利用這些索引檢索用戶的查找關鍵詞來產生查找結果。兩者之間的接口是索引，所以除去索引部分，兩者之間的耦合度很低。

2基礎架構設計

2.1數據采集

大數據分析應用采用Hadoop平臺及生態工具，從校園卡數據、上網日志數據、教學數據、師生管理數據和安防數據等結構化數據庫，以及網絡和相關表格文件等非結構化數據中，采集師生相關業務數據到分布式數據中心進行存儲、挖掘、分析和展示。確保數據采集對應用系統運行不產生影響的情況下，可實時或定時增量采集數據。為了便于擴展，架構還支持從其它關系型數據庫、非關系型數據庫中采集結構化、非結構化數據，挖掘關聯性更多的數據關系。數據采集架構如圖1。數據采集是大數據分析中最重要的一部分。結構化的數據通過統一數據集成管道對業務系統數據進行抽取，按照數據分析模型要求對各應用系統數據利用經過抽取，轉換，加載至主數據庫；表格數據通過填報或導入的方式進入主數據庫；日志數據通過日志處理工具讀入主數據庫；互聯網中的社交、科研、輿情、Web等數據通過爬蟲工具采集至主數據庫。

2.2數據清洗整合

數據質量是大數據分析效果的基礎，數據質量的管理，是發揮數據價值的基石，也是大數據分析的重要前提。在數據分析平臺的建設過程中數據的清洗整合的工作占70%以上。大數據分析平臺從數據使用的角度管理數據的質量，以可視化的形式反映數據質量問題，數據也可以利用可視化的界面對質量檢測規則進行配置。通過數據采集存入主數據庫中的數據質量較差，容易出現空字段，數據標準不一致，數據描述不統一。數據的清洗整合主要通用數據質量規則進行自定義配置，根據規則對主數據庫中存在異常的數據通過缺值填寫、無效值重復值刪除、異常值優化等方法提高數據質量，根據數據分析模型整合已抽取的數據。

2.3分布式存儲及數據分析

分布式存儲主要是通過Hadoop分布式文件系統（HDFS）以及MapReduce框架將數據分散存儲在多臺獨立的設備上[5]，具有可擴展、低成本、高性能、易用等特征。傳統的網絡存儲是將所有數據集中存儲到存儲服務器上，存儲服務器的性能對存儲數據的影響較大，也成為平臺性能的瓶頸，不能滿足大規模數據存儲及使用的需要。在大數據分析平臺上使用分布式存儲，不但可以提高系統的可靠性、可用性和存取效率，還易于擴展。高校存儲的大量數據應用價值非常高，通過對抽取的數據進行標準化處理，搭建分析模型，實現用數據對師生的行為進行畫像，實時了解學生學習、教師教課等情況。

2.4平臺架構體系設計

大數據分析平臺主要向用戶展示師生行為，綜合數據分析，校情信息，教學及學習情況等。在平臺架構設計中要充分了解學校各系統目前運行情況，學校各單位對數據的需求，以及學校目前的數據重量情況，在架構設計和數據存儲空間設計時充分考慮平臺發展的需要。底層數據抽取、清洗整合、分析建模等基礎工作并不能向用戶展示，數據的準確性和模型的合理性決定了分析結果的可靠性。大數據分析平臺架構體系如圖2：此架構體系可以兼容多數高校已經建設的數字校園結構體系，可以與已有的平臺和數據中心相輔相成，建設效率更快的情況下還能節省成本。讓原來的建設成果發揮更大的價值。

3大數據分析平臺功能設計

大數據分析平臺的場景應用是指通過數據建模把數據從各種維度、特征進行分析，然后根據不同的場景應用對分析結果進行展示。各應用場景的分析模型搭建需要充分了解各系統數據，以便于從多維度區分數據需求程度。在高校大數據分析中，數據的來源主要從學生綜合系統，人力資源，教務管理，圖書管理，校園卡系統，安防，上網管理，科研管理、資產管理和醫院管理等系統中獲取。大數據深入分析時，還要對非結構化表格數據和互聯網數據進行采集，如通過表格填寫進行管理數據采集，利用爬蟲程序對互聯網中期刊數據庫、微博數據、網頁數據、以及微信公眾號文章等數據進行采集，再結合學校其它相對變化不大的數據，能搭建出更有價值的分析模型。各高校都有自己的特點，現有的各種分析模型并不能通用，必須根據本校實際情況對已有的分析模型進行優化或重新搭建。其中行為軌跡主要通過對各系統中定時定點的數據進行串聯，形成一條行為路線。

3.1學生數據分析

高校管理中對學生的管理十分重要，對學生的數據分析需要站在學生的角度進行思考，如學生上課考勤分析，首先針對學生的課表、學生請銷假、教室考勤機、校園卡記錄、上網記錄、圖書借閱、安防數據、校醫院系統等可以分析出有哪些學生沒有上課。根據學生日常行為軌跡或習慣，以及消費情況分析該生是否在談戀愛。根據學生上數據分析該生是否沉迷于網游。通過分析學生上課情況、教師情況、行為軌跡或習慣、以及相似課程成績等數據對學生的學習情況進行預警，并對產生預警的原因進行分析。通過數據分析使學生管理者輕松的掌握學生狀態，同時也可得到出現該狀態的原因。在貧困生鑒別和精準扶貧方面，根據學生每月在校消費情況、家庭情況、助學貸款等數據篩選學生，并將男女分析算法區別設計。學生宿舍安全方面，通過宿舍智能電表實時監測用電情況，對違規使用大功率、高電流及電表高溫等情況進行實時預警并將預警信息推送給相關人員進行處理。另外還可以通過數據分析對學生異常消費、上網時長，上網行為、心理健康、學業、學生軌跡等情況進行預警，可以對突發事件處理給予指導。通過用戶畫像從不同靜態屬性標簽勾畫學生人群進行展示，并支持深入挖掘學生消費行為信息，輔助學校在勤工助學、助學貸款、貧困生評定、價格調整、餐廳分流、超市分布、浴室建設等方面提供數據支撐。

3.2教師數據分析

在教學管理方面，通過教學數據、學生評教、學生到課率、教師備課、科研、圖書借閱等數據可以分析出教師所適合的優勢課程，為教學管理人員課程安排提供指導，將數據推送至教師可以為其發展提供指導。通過教師的校園卡消費、行為軌跡、上網數據等數據分析教師是否存在離職風險，如校園卡消費方面出現有意清零或提現，經常瀏覽招聘網站或投遞簡歷等行為。

3.3其他數據分析

大數據分析能夠對學生和教師分析外，還可以從其他方面進行分析用來服務于校領導、后勤管理、校園卡管理、校園安全管理等。科研分析方面，通過對年度科研項目立項和科研成果等科研數據的分析，可以預測學校科研發展情況，結合學校發展目標對發現的問題及時進行干預。教學管理方面，通過對不同專業、不同年級學生的選課情況和課程成績等數據的分析，是否需要對學校開設的選修課信息通信王樹國等：高校大數據分析平臺設計與實現進行調整，以適應學校的培養目標和學生的學習興趣。學生管理方面，通過校園卡、安防終端、相關賬號等數據可以進行身份識別，可以通過數據分析獲得實時在校人數，以及早出晚歸、夜不歸宿的學生，在綜合學生數據后對學生的行為進行安全預警。餐飲消費、行為軌跡等數據與學習成績進行分析，分析結果可以指導輔導員對學生進行分類管理。餐廳管理方面，通過對師生消費時間、季節、窗口人流量、消費金額等數據分析，后勤和餐飲經營者可以清楚的知道每個餐廳、每個窗口消費及收入情況，便于后勤對餐廳的管理，并及時對餐廳或窗口進行優化調整。可通過結合消費人群信息對消費用戶數據深入挖掘，獲得不同地方的人喜歡的口味，不同年級學生的餐飲習慣等情況。上網管理方面，通過對上網數據進行分類匯總、關鍵詞提取、應用程序分類、安全設備日志分析、用戶信息分類等數據進行分析，可以為學校網絡保障、網絡用戶管理、網絡安全預警、個人信息保護等提供數據支撐。圖書館管理方面，通過對學生和教師借閱時間、借閱書籍類型、借閱人類型、館藏圖書、在線期刊數據庫瀏覽等數據分析，以及學生進出圖書館的次數與成績之間的關系，為圖書館管理和圖書需求情況提供數據支撐，更便于師生了解圖書館進出高峰時間段、哪個區域人流量較多、哪種書籍更受人喜歡等信息。校園安全方面，通過對校園安防平臺中進出校門、進出校內各樓宇、視頻邊界和人員密度報警等數據的分析，為學校安全管理提供指導。對校園卡及財務數據分析，可以讓校園卡管理老師了解學生、老師、臨時卡等在消費、充值、使用等方面的情況，為師生進一步提高服務質量和主動服務意識提供指導。大數據分析平臺主要功能設計如圖3。大數據分析平臺可對用戶進行功能和數據授權。數據權限可分為全局、院系、輔導員和普通老師等級別，模塊權限可根據角色對功能模塊進行授權。可為師生提供大數據報告，可在PC和手機端訪問。學生和老師可了解食堂擁擠、窗口美食、洗澡高峰、充值趨勢、消費水平等等。數據智能管理方面，可以把數據庫中的數據根據自己想要的結果輕松配置出來，功能強大，操作簡單，用戶可自己操作。

4平臺實現

數據分析平臺基于JAVA框架，使用在智能代碼助手、重構、JUnit、CVS整合、代碼分析等方面功能優越的IntelliJIDEA進行開發，數據庫使用Oracle。在數據源管理中，利用Sqoop工具在Hadoop與關系型數據庫間進行數據的傳遞，也可以實現數據雙向流通，其底層實現就是MapReduce。對某些NoSQL數據庫利用Sqoop連接器，同樣可以實現數據流。新建數據源如圖4所示。權限管理在大數據分析平臺管理中主要進行組織管理，角色管理，用戶管理等。其中用戶角色定義中，根據不同用戶的需求分別定義管理員、校領導、院處領導、辦公室、教師、輔導員、學生等角色，根據不同角色劃分不同權限，每種角色都可以訂閱本角色范圍內的需求信息，也可以根據學校管理需要給特定人推送相關信息。在用戶管理中對不同角色用戶可以進行批量權限劃分，通過對前臺的編碼實現對分析結果的展示，個人畫像展示如圖5。

5結語

闡述了高校在數據管理方面存在的問題，構建了大數據分析平臺技術架構，功能模塊。基于Hadoop技術對大數據分析平臺的部分功能進行了測試。平臺試運行后為在校師生提供了統一的數據推送服務，并為相關部門的管理提供了數據支撐。平臺在對數據抽取和分析模型搭建方面還有進一步提升的空間，例如在學生健康狀況分析和學習情況分析，可以通過進一步數據挖掘，分析出質量更高的結果。

參考文獻：

[2]陳鋒.ETL數據治理在高校信息化建設中的研究與應用.中國教育信息化[J].2020(13):68-70.

[3]王建軍,張英成,戰非,趙侃.基于Sqoop的高校海量結構化數據導入研究[J].無線互聯科技.2018(20):52-53.

[4]周飚.網絡數據采集框架Nutch及其應用研究[J].中國管理信息化,2019,22(18):167-169.

[5]王立友.高校智慧校園大數據平臺的設計與實現[J].河北民族師范學院學報,2020,40(2):88-93.

作者：王樹國 皮宗輝 付文豪 單位：喀什大學網絡與信息管理中心