數(shù)據(jù)分析設計全文(5篇)

［摘要］伴隨著大數(shù)據(jù)、移動互聯(lián)網(wǎng)等信息技術的不斷成熟，數(shù)據(jù)支持決策已經(jīng)影響到社會和生活的各個方面。我國的教育信息化在近年來也快速發(fā)展，“智慧校園”已經(jīng)成為高校信息化建設的一致目標。在智慧校園視角下，高校將建立起豐富、多樣、繁雜的信息數(shù)據(jù)庫，如何利用這些數(shù)據(jù)，并且影響和支持決策將是“智慧校園”的重要突破點。通過對校園宏觀環(huán)境和用戶需求的深入分析，開展教學、服務、管理、科研四個方面的數(shù)據(jù)分析系統(tǒng)設計，建立基礎、決策、分析數(shù)據(jù)庫并研究分析模型，形成一套服務于教師、學生和校園管理者的數(shù)據(jù)分析系統(tǒng)整體方案。

［關鍵詞］數(shù)據(jù)分析；大數(shù)據(jù)；智慧校園；決策支持

1國內外研究開發(fā)現(xiàn)狀和發(fā)展趨勢

1．1現(xiàn)狀與趨勢

在當今大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)等新思路、新技術快速發(fā)展的又一歷史時期，高等教育面臨著前所未有的發(fā)展機遇，在經(jīng)歷了網(wǎng)絡化、數(shù)字化、信息化管理階段之后，“智慧校園”將是在“互聯(lián)網(wǎng)＋教育”趨勢下最重要的發(fā)展思路。隨著計算機技術的不斷發(fā)展，各種系統(tǒng)結構化和非結構化數(shù)據(jù)以前所未有的驚人速度迅猛增長，“大數(shù)據(jù)”時代已經(jīng)到來。大數(shù)據(jù)是指數(shù)據(jù)結構比較復雜、數(shù)據(jù)規(guī)模大的數(shù)據(jù)集合。其數(shù)據(jù)量已經(jīng)遠遠超出了一般數(shù)據(jù)管理工具可以承受的處理時間以及數(shù)據(jù)處理及存儲管理能力。在當今大數(shù)據(jù)環(huán)境下，高校管理系統(tǒng)的數(shù)據(jù)結構及數(shù)據(jù)量發(fā)生了巨大的變化。在數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)分析及數(shù)據(jù)挖掘等方面面臨著巨大的機遇和挑戰(zhàn)。為了有效地利用大數(shù)據(jù)為高校決策分析提供更好的服務，必須基于大數(shù)據(jù)建立相應的數(shù)據(jù)分析系統(tǒng)。

1．2國內外研究與開發(fā)綜述

隨著大數(shù)據(jù)的發(fā)展和教育信息化的不斷深入，基于大數(shù)據(jù)開展的高校校園數(shù)據(jù)分析與應用逐步受到重視。對大數(shù)據(jù)的定義始終沒有形成統(tǒng)一的意見。維基百科對大數(shù)據(jù)（Bigdata）的定義是：所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內達到截取、管理、處理并整理成為人類所能解讀的信息。麥肯錫全球研究院將大數(shù)據(jù)定義為：無法在一定時間內使用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內容進行獲取、管理和處理的數(shù)據(jù)集合。加特納（Gartner）于2012年修改了對大數(shù)據(jù)的定義：大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn)，它需要新型的處理方式去促成更強的決策能力、洞察力與優(yōu)化處理。而在高校學生數(shù)據(jù)的分析應用方面，國內外高校均有開展相關的研究。紐約州波基普西市瑪麗斯特學院（MaristCollege）與商業(yè)數(shù)據(jù)分析公司Pentaho合作發(fā)起開源學術分析計劃，旨在一門新課程開始的兩周內預測哪些學生可能會無法順利完成課程，它基于商業(yè)分析平臺開發(fā)了一個分析模型，通過收集分析學生的學習習慣，包括線上閱讀材料、論壇發(fā)言、完成作業(yè)時長等數(shù)據(jù)信息，來預測學生的學業(yè)情況，及時干預幫助問題學生，從而提升畢業(yè)率。上海財經(jīng)大學基于校園信息化數(shù)據(jù)基礎，開發(fā)了校務決策支持系統(tǒng)，面向人才培養(yǎng)、內部管理、科學研究和師生服務等方面開展決策分析；華東師范大學利用校園信息化基礎數(shù)據(jù)，開展了校車人數(shù)與載客分布分析，提升了校車使用率；利用一卡通數(shù)據(jù)開展了貧困生的特征確定、潛在貧困生分析、后續(xù)跟蹤驗證，有效提升了幫困扶貧的工作效率。

摘要:畜產(chǎn)品安全與人們的生命安全和身體健康息息相關，近年來，畜牧業(yè)作為農業(yè)產(chǎn)業(yè)調結構、轉方式、提質量、增效益的主導產(chǎn)業(yè)和重要方向，基礎條件和發(fā)展模式發(fā)生深刻變化，進入產(chǎn)業(yè)化、規(guī)?；?、集約化的高速增長新階段。在新的要求下，保證產(chǎn)品質量成為畜產(chǎn)品發(fā)展的首要要求，也是保障民生的重要內容，提高產(chǎn)品質量就要從提升畜產(chǎn)品檢驗檢測的工作質量上入手。文章對畜產(chǎn)品大數(shù)據(jù)分析系統(tǒng)的構建進行了全面的分析，為系統(tǒng)的開發(fā)提供理論的依據(jù)。

關鍵詞:畜產(chǎn)品;大數(shù)據(jù);數(shù)據(jù)倉庫;監(jiān)測分析

1畜產(chǎn)品大數(shù)據(jù)的現(xiàn)狀

在大數(shù)據(jù)時代下，人工智能、云平臺和高性能計算等技術的高速發(fā)展為畜產(chǎn)品智能檢測分析系統(tǒng)提供了重要的支撐。智能檢測分析系統(tǒng)的建構，有利于提升畜產(chǎn)品檢測的智能化，完善畜產(chǎn)品質量安全體系，推進農業(yè)信息化建設［1］。將畜產(chǎn)品檢測與大數(shù)據(jù)技術相結合，利用現(xiàn)代信息技術，通過采集海量碎片化的信息數(shù)據(jù)，準確的進行篩選、分析，并最終歸納、整理出政府和相關機構需要的資訊，構建一套畜產(chǎn)品檢測智能分析系統(tǒng)，實行及時有力的深度分析，整體提升畜產(chǎn)品檢測監(jiān)管能力和水平，促進畜牧業(yè)產(chǎn)業(yè)健康、可持續(xù)發(fā)展。針對目前畜產(chǎn)品的檢測，其數(shù)據(jù)處理主要存在3個問題:(1)畜產(chǎn)品檢測注重檢測方法的使用和創(chuàng)新，檢測設備的培訓和升級，檢測人員的指導和培訓，而對檢測數(shù)據(jù)分析不夠重視，沒有深度發(fā)掘測試數(shù)據(jù)的潛在價值。(2)各類檢測機構眾多且互不統(tǒng)屬，有傳統(tǒng)的人工統(tǒng)計模式，還有利用軟件進行簡單分析的模式。此外實驗室所用大型儀器，廠家不同，操作軟件也不同，數(shù)據(jù)存儲和處理也不同，測試數(shù)據(jù)分散，導致數(shù)據(jù)收集困難。(3)畜產(chǎn)品數(shù)據(jù)的數(shù)據(jù)統(tǒng)計、分析與挖掘還比較滯后，需要向系統(tǒng)化、集成化、智能化的方向發(fā)展，缺乏相對應的畜產(chǎn)品檢測數(shù)據(jù)分析系統(tǒng)。

2大數(shù)據(jù)平臺的數(shù)據(jù)處理

2．1數(shù)據(jù)獲取

數(shù)據(jù)獲取是從數(shù)據(jù)源收集數(shù)據(jù)，數(shù)據(jù)源分為閉源數(shù)據(jù)和開源數(shù)據(jù)。閉源數(shù)據(jù)指的是和相關檢測機構合作獲取的內部數(shù)據(jù)，這部分數(shù)據(jù)可靠性比較高且不向外部公開，僅僅只作為分析統(tǒng)計使用，不能進行商業(yè)的應用。開源數(shù)據(jù)是指各檢測機構通過網(wǎng)絡的公開檢測數(shù)據(jù)，比較分散，可以利用爬蟲軟件進行抓取［2］。對開源數(shù)據(jù)進行收集時，首先是定時，每段時間對相關網(wǎng)站進行分析，觀察所檢測數(shù)據(jù)的更新情況。其次定量，要準確地識別出哪些是最新的、哪些是相關的內容。數(shù)據(jù)主要來源于國家、省、市、縣和具有檢測資質的企業(yè)等相關網(wǎng)站，這些數(shù)據(jù)都比較分散，需要進一步進行有意義信息的提取，比如:過濾冗余信息，集成互補性信息。這其中還存在很多問題，如信息的質量問題，哪些信息是有價值的、可信賴的?？梢詮目尚潘菰?信息的不同來源進行分析，省市級的信息比較重要和真實)、動態(tài)輪詢(根據(jù)后期分析和預測結果對數(shù)據(jù)源之前的重要性權重進行動態(tài)更新)做出判斷。采集數(shù)據(jù)分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)，要區(qū)別對待。

摘要：隨著高校各類應用系統(tǒng)的發(fā)展，信息化建設將轉向大數(shù)據(jù)服務階段。如何有效利用分散在各系統(tǒng)中的數(shù)據(jù)，為學校的管理與決策提供數(shù)據(jù)支撐，是迫切需要解決的問題。文章闡述了數(shù)據(jù)采集整合過程和分布式存儲技術，設計了大數(shù)據(jù)分析平臺基礎架構和功能模塊，分析了相關數(shù)據(jù)模型。通過搭建大數(shù)據(jù)分析平臺，測試了數(shù)據(jù)采集功能和各分析模塊的展示情況。

關鍵詞：大數(shù)據(jù)分析平臺；Hadoop；數(shù)據(jù)采集

引言

隨著高校信息化建設快速推進，國內高校基本完成各類基礎應用系統(tǒng)的建設，在應用系統(tǒng)中也存儲了大量的數(shù)據(jù)，包括教師和學生的工作、生活、學習、教學和科研等數(shù)據(jù)，以及個系統(tǒng)的日志數(shù)據(jù)。由于各系統(tǒng)相對獨立無法進行系統(tǒng)間的數(shù)據(jù)共享，使得這些系統(tǒng)數(shù)據(jù)都閑置在各應用系統(tǒng)中。因為在學校的管理與決策中缺乏真實可靠的數(shù)據(jù)做支撐，所以研究如何將閑置的數(shù)據(jù)有效利用起來，對高校的信息化建設會更有意義。大數(shù)據(jù)分析平臺是在現(xiàn)有各應用系統(tǒng)的基礎上，對各系統(tǒng)匯集起的海量數(shù)據(jù)資源進行清洗、整理、挖掘、分析等操作后，數(shù)據(jù)標準化程度提高其利用價值也更大。大數(shù)據(jù)分析平臺的基礎是數(shù)據(jù)，核心是分析模型，目標是應用。本文將整合校園內各應用系統(tǒng)數(shù)據(jù)，并對其進行挖掘、整理、分析，然后通過構建數(shù)據(jù)模型，搭建統(tǒng)一的大數(shù)據(jù)分析平臺，實現(xiàn)對零散的數(shù)據(jù)進行整合分析，分析結果可以為學校及各部門的管理和決策提供數(shù)據(jù)支撐，數(shù)據(jù)的利用價值也更高。對師生在工作、生活、學習、教學和科研方面提供行為分析，分析結果為學校優(yōu)化管理方式，提升服務水平提供指導，勾畫“千人千面”，讓學校真正了解師生。

1關鍵技術簡介

Hadoop[1]是一個分布式系統(tǒng)基礎架構，充分利用集群的優(yōu)勢對數(shù)據(jù)進行運算和存儲。Hadoop由許多元素構成，底層是分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS），用來存儲集群中所有存儲節(jié)點中的文件。HDFS上一層是Ma-pReduce引擎,為海量的數(shù)據(jù)提供高速計算。ETL（Extract-Transform-Load）[2]是用來描述將數(shù)據(jù)從源端經(jīng)過抽?。‥xtract）、轉換（Transform）、加載（Load）到目的端的過程。使用ETL目的是將學校中分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為學校管理決策提供數(shù)據(jù)支撐。Sqoop[3]是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫間進行數(shù)據(jù)的傳遞，可以將一個關系型數(shù)據(jù)庫中的數(shù)據(jù)導入HDFS，也可以將HDFS的數(shù)據(jù)回流到關系型數(shù)據(jù)庫中。Sqoop也為NoSQL數(shù)據(jù)庫它也提供了連接器。Nutch[4]是一個開源的高度可擴展和可伸縮性的分布式爬蟲框架。Nutch主要由爬蟲Crawler和查詢Searcher組成，Craw-ler主要用于從網(wǎng)絡上抓取網(wǎng)頁并建立索引，Searcher主要利用這些索引檢索用戶的查找關鍵詞來產(chǎn)生查找結果。兩者之間的接口是索引，所以除去索引部分，兩者之間的耦合度很低。

2基礎架構設計

摘要：為實現(xiàn)教育過程中的一站式在線服務，基于大數(shù)據(jù)分析技術設計包括數(shù)據(jù)資源庫、大數(shù)據(jù)分析層、智慧教育信息云服務層、應用服務層和表現(xiàn)層的智慧教育平臺。大數(shù)據(jù)分析層采用Hbase數(shù)據(jù)庫結合SQL計算執(zhí)行引擎分析智慧教育數(shù)據(jù)，將分析得到的學生、教師以及資源信息等傳遞至智慧教育信息云服務層；智慧教育信息云服務層通過驗證用戶、服務綁定和服務提供，使平臺用戶享受平臺存儲文件、課程管理和課程等服務。智慧教育信息云服務層中在線學習模塊的管理員審核教師備課資料和學生學習資源、教師在線或錄播授課以及學生課程選擇與確定功能的實現(xiàn)，實現(xiàn)教師、管理員以及學生的在線信息交流。平臺測試結果表明，該平臺可根據(jù)學生個性化學習行為提供個性化教學和管理，實現(xiàn)教師、管理員與學生的在線交流，且平臺教育資源存儲服務和教育資源門戶服務均可實現(xiàn)，應用價值高。

關鍵詞：教育平臺設計；智慧教育；課程管理；大數(shù)據(jù)分析；在線學習；教育資源存儲

引言

當前由于存在海量教育資源，導致教育應用平臺建設資源分散和低水平重復建設問題嚴重，教育信息化雖在網(wǎng)絡環(huán)境和硬件建設方面取得一定成果，但尚未能實現(xiàn)大數(shù)據(jù)下的智能服務，造成教育平臺建設發(fā)展不均衡，無法向教師、管理員和學生提供一站式在線服務，成為影響教育信息化的重要難點。智慧教育是指將信息化理念運用在教育領域[1]，全面深入地運用現(xiàn)代信息技術，加快教育改革與發(fā)展進程。隨著大數(shù)據(jù)分析技術在教育領域的不斷深入，翻轉課堂、MOOC等一些新興教育模式逐漸興起，技術革新推動教育模式發(fā)生轉變，如何利用大數(shù)據(jù)分布式數(shù)據(jù)存儲特點[2]，構建大數(shù)據(jù)環(huán)境下的智慧教育平臺，克服學習障礙，實現(xiàn)智慧學習是眾多學者關注的熱點問題。大數(shù)據(jù)技術合理整合教育資源，向教育行業(yè)人員提供了虛擬服務，輔助教師和學生簡化智慧教育平臺開發(fā)部署過程，構建出適合教育和科學研究的智慧教育平臺，為平臺使用者提供存儲文件、課程管理和課程等服務。發(fā)展智慧教育云平臺能夠在為學生創(chuàng)建良好學習環(huán)境的同時，向教師、管理員和學生提供一站式在線服務[3]，因此，本文基于大數(shù)據(jù)分析技術設計智慧教育平臺。

1智慧教育平臺設計

1.1大數(shù)據(jù)分析技術平臺

智慧教育平臺采用大數(shù)據(jù)分析平臺的分布式框架。大數(shù)據(jù)分析技術平臺將大數(shù)據(jù)處理、數(shù)據(jù)交換與共享以及數(shù)據(jù)分析挖掘合理整合，用于智慧教育平臺設計過程中，大數(shù)據(jù)分析技術平臺框架如圖1所示。SQOOP數(shù)字交換工具通過同步學校以及外部存儲系統(tǒng)的教育資源數(shù)據(jù)，將教育資源數(shù)據(jù)保存在文件系統(tǒng)中，文件系統(tǒng)中海量教育數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)分析層，大數(shù)據(jù)分析層采用HBase數(shù)據(jù)庫結合SQL計算執(zhí)行引擎，分析海量智慧教育數(shù)據(jù)，業(yè)務層主要挖掘、分析和處理智慧教育信息數(shù)據(jù)。

摘要：我國正從工程教育大國轉向工程教育強國，案例教學是培養(yǎng)研究生工程能力的主要模式和方法。案例庫的建設成為案例教學成敗的關鍵。以大數(shù)據(jù)分析方向為例介紹了案例庫建設的目標、設計思路和內容框架，從真實應用出發(fā)，找出共性，主題分解。有利于學生“搭積木”式地構建自身的知識體系，“漸進式”提升解決復雜工程問題的能力，培養(yǎng)工程素質。

關鍵詞：案例庫；主題分解；案例設計；教學改革

1引言

案例教學是以學生為中心，以真實項目裁剪的案例為基礎，通過呈現(xiàn)案例場景，引導學生發(fā)現(xiàn)問題、分析問題和解決問題，從而在實踐中掌握理論、形成觀點、提高能力的一種教學方式。這是強化實踐能力培養(yǎng)，促進理論與實踐有機融合的重要途徑，是專業(yè)學位研究生教學改革的趨勢[1]。教育部早在2015年發(fā)文對加強專業(yè)學位研究生案例教學提出了指導性意見。目前案例教學是推動專業(yè)學位研究生培養(yǎng)模式改革、提高人才培養(yǎng)質量的重要手段[2]。案例的設計和使用必須考慮到課程和專業(yè)特征，在課程教學大綱框架下，從教學形式到教學內容均要受到相應的約束[3]。這就必須考慮選用的案例是否合適、與教學目標是否契合[4]。因此，系統(tǒng)地設計教學案例和案例庫顯得尤為重要。

2大數(shù)據(jù)分析案例庫設計目標

大數(shù)據(jù)方向專業(yè)學位研究生的培養(yǎng)目標是處理和分析大規(guī)模數(shù)據(jù)，從中獲取有用信息。然而這只是一個寬泛的知識性要求，對于專業(yè)學位研究生，還需要加強實際工程開發(fā)項目的訓練，提高解決復雜工程問題的能力，尤其是需要培養(yǎng)學生互聯(lián)網(wǎng)新業(yè)態(tài)中的大工程觀、互聯(lián)網(wǎng)從業(yè)人員的職業(yè)規(guī)范、工程倫理等工程素質。因此，大數(shù)據(jù)分析案例庫的設計目標是：通過知識點、簡單應用和綜合實踐案例的教學實踐，讓學生掌握大數(shù)據(jù)處理與分析領域的工程倫理、工程方法、工程創(chuàng)新思想和工程實踐技能，能獨立開發(fā)大數(shù)據(jù)處理及分析相關項目，掌握信息獲取、信息抽取、信息處理和智能分析等多種技術和方法，并能自覺地在項目實踐中考慮到信息安全等因素，以培養(yǎng)多學科交叉背景下大數(shù)據(jù)分析應用設計、研發(fā)和驗證、能夠為復雜工程問題提供可行的工程解決方案的能力。

3案例設計原則