軟件技術在大數據中的應用

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了軟件技術在大數據中的應用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要：大數據時代下計算機軟件的開發與應用，已經覆蓋到人們生活的方方面面，包括利用網絡計算機軟件，開展基礎設施、教育、科研等領域的業務服務。在開展多種計算機軟件功能服務的過程中，主要將計算機服務器、數據庫等進行結合，促進不同網絡平臺之間數據信息的傳輸、共享，以提高計算機軟件及大數據信息的利用效率。

關鍵詞：計算機軟件技術；大數據；應用；研究

1概述

1.1計算機軟件的主要內容

計算機軟件包含系統軟件、應用軟件兩方面內容，其中系統軟件是本身存在于計算機系統內的軟件，如Windowsmediaplayer、Windows文本、Office辦公軟件等；而應用軟件則是基于系統平臺，構建用于日常事務處理的應用程序。在網絡計算機軟件的開發過程中，需要根據不同用戶的業務功能需求，設置軟件的登錄界面、功能端口與交互模式，以保證各項網絡事務的及時處理。因此大數據計算、網絡云存儲技術等，被用于計算機軟件的功能開發、數據處理中，以網絡云平臺為基礎，進行企事業單位數據信息的搜集、分類、統計分析與存儲。從而滿足不同用戶多項業務辦理的需求。

1.2大數據技術的主要內容及其發展狀況

大數據技術主要依托Hadoop分布式系統架構、HDFS分布式文件存儲、Hive數據倉庫，以及Spark應用程序、云計算管理平臺，對網絡中存在的海量數據信息，進行采集、分類、預處理與存儲。其中Hadoop分布式系統架構，主要包含HDFS、MapReduce等功能模塊，能夠部署在配置較低的計算機硬件上，對網絡中的海量數據信息進行輸入/輸出控制，HDFS有著較高的數據吞吐量和容錯性。而MapReduce則主要用于1TB以上大規模數據集的的并行運算，通常MapReduce應用程序被運行在分布式系統中，每個服務器上可以運行成百上千個并行計算集群。MapReduce數據處理平臺，通常會從Hive數據倉庫獲取自身需要的分布式數據/文件內容，之后自動完成海量數據任務的并行計算。最后Spark應用程序框架、云計算管理平臺，是與Hadoop分布式系統相似的數據處理引擎，主要通過內存分布數據集、Web軟件服務模式，為企業提供遠程的數據訪問、軟件功能服務。企業只需要訪問網絡云服務平臺，而無需下載或購買軟件，就能夠完成后臺數據信息的查詢、優化迭代與存儲。因此在大數據虛擬化技術快速發展的形勢下，企事業單位、教育及科研機構，可以通過虛擬化硬件資源的支持，構建起數據信息共享的云計算平臺，對海量的數據信息進行收集、處理與存儲，而且用戶、云計算管理平臺之間，能夠通過不同程序語言的轉換來完成信息交流。

2大數據技術環境下的發展方向

在大數據及云計算技術指導下，計算機軟件開發與設計，主要與虛擬化數據處理、云存儲、信息安全等技術進行結合，不斷完善計算機軟件的數據信息搜集、處理與傳輸功能，以及多種業務的服務功能。在虛擬化數據信息處理的過程中，服務器會利用網絡生成的虛擬代碼，對云計算虛擬化平臺中的虛擬資源進行統一管理，從而完成企事業單位等機構的數據自由調度、業務功能服務。

2.1計算機軟件與虛擬化數據處理技術的結合

隨著大數據虛擬化技術、移動互聯網絡的發展，企事業單位、基礎服務部門和科研機構，開始依托大數據虛擬化技術，進行自身內部資源、服務項目的優化配置與管理，以滿足不同用戶多樣化的數據信息獲取、業務辦理需求。近年來，政府行政部門、教育機構、醫療機構等，紛紛構建起自身的虛擬化信息共享云平臺，結合某一應用程序的顯示界面控制技術，進行多種功能服務場景的搭建。用戶在海量數據信息訪問的過程中，后臺服務器會對數據庫中的數據資源，進行篩選、統計分析與處理，并對用戶的數據或功能服務訪問作出響應。

2.2計算機軟件與云計算管理、存儲技術的結合

云計算管理技術、云存儲技術等，是大數據信息平臺的最重要技術，其主要通過不同網絡接口協議的整合，進行計算機軟件中海量數據信息的自由訪問與傳輸。云計算管理平臺是基于Linux系統內核的虛擬服務器，可以通過虛擬化硬件資源、服務器等的搭建，為多種計算機軟件提供數據信息處理、功能的運行支持。而云存儲技術則是相對于計算機硬件的數據存儲技術，其主要借助于網絡中的云服務器，對企事業單位、基礎服務部門、科研機構的數據資源，進行快速的讀取、上傳與存儲。

2.3計算機軟件與信息安全技術的結合

大數據時代數據信息傳輸、共享的安全性，成為企事業單位等機構開展數據資源處理、管理，以及多種業務功能訪問時，所關注的重要問題。計算機軟件存在著大量的私人信息，包括用戶賬號、密碼、數據訪問與下載痕跡等，因此在計算機軟件的開發設計過程中，通常會與信息安全技術進行結合，在計算機軟件中采取公鑰或私鑰對稱、非對稱加密技術、鏈路加密技術、端到端加密技術等，對整個鏈路傳輸的數據信息進行報文數據包加密/解密，來保障不同行業軟件訪問、數據使用的安全性。

3大數據中計算機軟件的實際應用

3.1企業數據信息管理

當前企事業單位對網絡數據信息的管理，通常由軟件公司結合企業的數據處理、業務服務需求，進行海量數據處理、傳輸與共享軟件的開發。一般會針對不同企業生產銷售、產品質量的要求，對企業內部的財務、生產銷售、經營管理等信息進行分類整合，篩選出具有代表性的樣本數據，在移動交互平臺頁面中進行顯示，以滿足用戶多樣化的消費與服務需求。特別在網絡商鋪逐漸增多的情況下，企業可以依托網絡電商平臺的大數據技術，進行自身生產銷售數據、業務服務數據的智能化管理。之后根據客戶的信息瀏覽喜好，通過計算機軟件平臺向用戶推薦相應的商品購買鏈接、服務信息，進而在激烈的市場競爭中占據主動位置。

3.2商業通信

網絡通信領域的發展，需要SPSS、感知評估系統APP等軟件的支持，才能夠完成一系列數據過濾、解析與傳輸工作。當前中國移動、中國電信等地區運營商，已經開始使用SPSS軟件、感知評估系統APP軟件等平臺，進行網絡通信數據的智能識別、過濾、匹配與運算處理，并主動生成批量的Excel數據表格，大大提升電信公司數據源保護、數據解析處理的工作效率。該計算機軟件可以通過修改配置文件，使用不同省市地區網絡數據的處理需求，且數據識別、解析、匹配與加密的算法較為方便，可以實現網絡通信過程中的數據傳輸與優化。

3.3數字化教學

大數據計算機軟件在數字化智能教學中的應用，主要通過智慧校園網絡、云計算管理平臺、后臺數據庫、感知設備等的構建，為學生提供更加多元化的教育教學資源。教師可以借助于計算機軟件技術，搜集網路中的教學數據資源，對課程教材中抽象的概念、實現原理等知識點，運用文字、圖片、視頻或音頻的形式進行展現，以最大程度提高學生的課堂學習積極性，加深學生對某一專業理論知識的認知與理解。而教務管理部門也可以通過智能感知設備，對教師或學生的教學進度、學習狀況等進行了解，利用大數據平臺挖掘有用的數據內容，來為師生提供多種智能化的服務。

4結語

大數據信息時代到來后，企事業單位、教育部門、基礎服務部門的業務數據越來越多，TB、1PB逐漸成為數據衡量與傳輸的主要單位，傳統單一化的信息處理、傳輸模式，已難以適應商業社會中企業決策、業務開展需求。因此將計算機軟件、大數據云計算平臺進行結合，用戶通過訪問網絡云存儲平臺，能更加方便快捷地調取、使用數據資源，以完成一系列的數據信息獲取、業務辦理的活動。

參考文獻

[1]計春風.大數據時代計算機軟件技術的開發與應用探討[J].科技與創新,2018,(24).

[2]關麗.大數據時代背景下計算機軟件技術的應用[J].電子技術與軟件工程,2019,(02).

[3]柴繼貴.淺談計算機軟件技術在大數據時代的應用[J].科技資訊,2018,(36).

作者：胡江偉 單位：山東理工職業學院