前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的云計算技術分析主題范文,僅供參考,歡迎閱讀并收藏。
關鍵詞:云計算;網絡;計算機;架構
中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2012)19-4590-02
對目前廣泛使用的幾種云技術的對比,對云計算的技術結構做了簡要的總結。最后對云計算在實際發展中遇到的問題以及未來的發展趨勢做了預測分析。
目前計算機技術以及網絡技術的原理以及實際應用都得到了快速的發展,單個計算機的性能的提升方面仍然存在很多需要研究以及解決的現實問題。用戶在使用大量的網絡資源的時候,實際上是已經采用了網絡的優勢取代了以前個人手中資源來實現計算機性能的提升。計算機網絡技術將在世界范圍內實現資源的共享轉換為了現實。由于網格計算的概念主要是面向應用層面的,所以在網格計算的概念被提出以來,計算機性能的提升就面臨這很多亟待解決的問題,網絡的用戶需要將其使用的程序轉換為網絡共享所需要的分布式程序結構,程序員面臨這更多的技術問題,技術方面的障礙導致一般的用戶在應用網絡資源方面存在一定的困難。
目前市場上對于高性能的計算具有強烈的需求,面向WEB技術的網絡服務也具有重要的地位。自從面向WEB的技術獲得成功以后,計算機網絡的應用領域得到了較大程度的拓展,網絡的發展使得其功能已經由簡單的信息傳輸或者信息的轉換為信息資源的共享等應用。計算機云計算就是在這樣的背景中應運而生了。盡管云計算技術發展時間不長,但是云計算的思路已經涉及到了諸如分布式系統技術、集群技術、網格計算等多種技術。從這個方面來分析,云計算可以認為是上述技術的綜合以及升級。隨著云計算技術的不斷發展以及相關理論的不斷完善,以如微軟的Azure ,Amazon的EC2等云計算平臺為代表云計算的商業應用已經成為了現實。
1 云計算的定義
美國的Larry Ellison在華爾街日報上發表了自己對于云計算的見解,他認為計算機云技術中存在這樣的現象,也就是說一般需要根據目前已經完成使用的產品來重新定義云計算。Andy Isherwood也在2008年提出,對于云計算的專業研究,幾乎所有的研究者所給出的定義都存在著差別。目前對于云計算的定義的業界仍然存在較大的爭議,能夠實現云計算的平臺也是多種多樣。目前對于云計算的定義主要是根據Ian Foster等人的研究以及對于云計算的分析與總結。
1)云計算中的每一朵云都是目前計算機并行分布式系統中一種,是由一些了網絡化以及虛擬化的計算機提供的同意的服務層。同事會可以對計算資源進行同步。
2)網絡中用戶不是基于較長的時間間隔來進行基礎設施的規劃使用,目前可以實現分鐘級甚至是秒級來實現基礎設施的規劃,這樣應用的好處就是避免了網絡資源的浪費或者是網絡資源的過載。
3) 云計算不是孤立的,云計算是一個涉及多個方面的綜合概念。一般認為云計算是軟件技術發展的下一個邏輯階段。對于用戶而言,最能夠被理解以及接受的所謂云計算其實就是在因特網層面上的集成軟件。本定義中強調了云計算網絡服務的基本屬性。其他一些定義則注重了網絡中基礎設施的虛擬化,從本質上而言這些都是對于云計算概念不同層面的闡述。
根據以上的研究分析,云計算可以定義為:云算是通過網絡進行常用的服務形式,其中所有涉及到的軟件系統以及硬件系統的總稱。與云計算相關的概念主要包括集成技術、網絡計算、超級計算機等相互之間存在著相互區分但是又存在著相互聯系的基本概念。云計算中主要是以其服務形式對網絡中的用戶提供必要的計算機網絡資源,因為這個平臺可以獲得比傳統的集群系統具有更為廣泛的優勢以及規模,所以基于云計算的計算機平平所能夠提供的計算機性能就很有課程超過目前使用的超級計算機。另外在靈活性以及規模等方面,云計算技術的優越性更為明顯。
2 云計算發展背景
云計算的出現以及迅速發展與網絡的應用緊密相連。隨著Web2.0相關理論的成熟以及相關技術的現實應用,云計算已經由商量的實驗性網站逐步發展到目前廣泛使用的校園內網以及多種應用方面。網絡的商業模式已經發生了較大的變化。以一般運行的商業化網站為例,對一個可以獲得較大商業利潤的大型網站繼續寧維護,所涉及的方面很多。主要包含了對系統硬件的維護以及對于市場調研的分析。這樣就需要一個涉及等多方面的工作團隊,同時對于網站所涉及的軟件系統、硬件系統要負全面的責任。網站最終的獲利只是這個超大規模團隊的頂端的一小部分。這種極為不平衡的特點阻礙了網站的進一步發展。目前傳統的計算模型主要存在一下的困難。
1)目前服務支持平臺的規模缺乏可伸縮性,無法滿足用戶需求的變化。當服務業務的需求規模發生變化的時候,傳統的計算模型無法作出適應性的及時調整。
2)目前建立大型的底層基礎設施的成本較大。一般企業或者商業組織要在短期籌備相應的運行資本也存在著一定的難度。但是商業機遇總是爭分奪秒的,快速豈不的能力對于網絡運營商極為重要。
3)服務商對于提供的定型服務需要進行長期的維護,因此就沒有辦法集中有限的資源進行新業務的開發。云計算平臺具有較高的靈活性以及可靠性,網絡用戶可以根據目前現有的服務快速建立起許啊哦的系統。同時可以將基礎設施的維護任務由計算機提供商操作。因此用戶可以集中各項資源進行業務方面的操作。云計算的還具有可伸縮性,這樣就可以根據業務量大小的變化進行實時的調整并降低服務成本。
大數據時代的到來和發展,為云計算的進一步應用提供了數據基礎,大數據時代背景下的云計算,是一種動靜狀態的結合,云計算重在計算,屬于動態,而大數據作為計算對象,屬于靜態。在實際應用過程中,大數據主要強調信息存儲的能力,而云計算則注重實際計算能力。大數據對數據處理能力的需求,在某種意義上也是一種計算能力;而云計算需要在數據的基礎上進行計算,實際數據是其進行計算的前提。云計算的技術關鍵在于“云”,通過集中各個終端的非結構性、分散性的網絡數據,在云平臺中進行統一處理,利用云平臺中的超大量服務處理器計算各種數據[2]。云計算技術的規模相對比較大,虛擬性比較強,根據實際需求提供服務,可靠性比較高。大數據與云計算技術,是一種相互作用的關系,在大數據背景下,海量數據的處理,必須依靠云計算的虛擬化、云存儲、分布式數據庫、分布式數據處理等技術來實現。
2云計算技術
(1)分布式文件系統。云計算中的分布式文件系統,是Google公司根據云計算處理海量數據的過程而設計的一個特定系統。一個分布式文件系統的集群,是由一個主節點與多個從屬節點共同組成,用戶訪問系統的途徑主要是通過客戶端,利用該系統完成日常的文件處理工作。在云計算中,大量的數據文件被劃分為固定大小的多個數據塊,在相應的從屬節點中進行存儲,此外,這些數據塊也會在多個節點進行備份存儲,避免數據丟失等問題。(2)分布式并行數據庫。云計算中的分布式并行數據庫的設計,主要是為大規模結構化數據的管理提供服務,這種分布式的存儲系統,能夠實現PB級數據以及上千臺服務器的擴展。在Google的許多項目中,都有分布式并行數據庫的應用,而分布式并行數據庫在Google項目中的應用,在規模、時延方面的要求也有進一步的提高。分布式并行數據庫的應用,為Google產品提供了高性能、靈活、有效的解決方案。(3)分布式計算框架。Google公司于2012年推出了分布式計算框架大數據計算機技術處理框架,通過優化內部數據網絡計算方式,實現計算機技術挖掘的革新和計算機設備數據海量處理性能的提高。計算機的工作水平越高,網絡環境的可靠性就會越高。而在計算機操作過程中,影響計算機網絡處理速度的因素,主要包括軟件安全問題和硬件配置水平。光纖網絡的鋪設情況會對計算機網絡的可靠性帶來直接影響,通過分布式計算框架大數據軟件處理方式的編寫,完成復雜計算機函數算法的革新工作。
3大數據時代背景下云計算技術對媒介發展的影響
【關鍵詞】云計算移動通信發展前景轉型
信息網絡技術的發展帶來了世界范圍內互聯網經濟和通信行業的強勁振興,以微博、web2.0和SNS等業務為代表的通信網絡新形態給人們的生活工作帶來了無限便利,物聯網、虛擬化、三網聯合等新技術領域內,芯片能力、寬帶接入、無線網絡等技術革新不僅極大的沖擊了通信行業的發展,引導了其未來的發展潮流,且為行業的未來發展注入了新的革新動力。云計算技術作為當前最具發展前景的革命性推動力量,對移動通信行業的發展將會產生極大的影響。
一、云計算技術及其路線
1.云計算技術
云計算技術是利用大規模低成本運算單元通過IP網絡連接提供各種計算和存儲服務的IT技術,是互聯網發展追求低成本、高效能、資源靈活分配、快速應用趨勢潮流下應用而生的一種新IT系統實現技術。這種技術是一種包括計算、存儲、網絡、應用服務等功能的資源池系統,無論是作為商業模式和技術模式,對于移動通信領域的未來發展都有著決定性影響,尤其是現在對互聯網資源、安全與應用越來越重視的今天,這種技術的實現、分布和部署將會挑戰傳統互聯網構成,為移動通信的發展開拓更好的領域前景[1]。
據相關機構預測,全球未來幾年數據中心業務將保持高速增長,年復合增長率將超過20%,其中云數據中心增速最快。2008年,雖然受金融危機影響,國內互聯網數據中心增長率下滑,但仍達39.1%。目前增長速度基本恢復到近50%。我國的數據中心市場三大基礎運營商占有過半江山,市場占有率在60%以上[2]。正是因為云計算市場發展如此的火爆,越來越多的通信廠商傾向于應用這種技術,不僅能夠帶來產業規模的擴張、升級與轉型,同時還會加強與各個產業鏈環節的密切合作,最終形成一個完整的積極發展的良性生態產業鏈,成就移動通信行業的美好未來。
2.云計算的技術路線
云計算技術路線主要以大規模并行運算和虛擬IT資源池為主。大規模并行運算的典型代表是谷歌公司,在全球谷歌有超過一百萬臺的服務器,這些服務器每天都需要處理海量數據,為降低運營成本,更好的占領全球市場,谷歌就采用了這種云計算系統做數據存儲和處理,成本的降低帶來的無疑是競爭實力的增長。虛擬IT資源池主要是通過將IT資源虛擬化形成資源池,以出租的形式提供給用戶使用,其中亞馬遜公司推出的彈性計算(EC2)、簡單存儲服務(S3)等服務就是這類路線的典型代表。亞馬遜應用這種技術無疑大大提升了系統資源的綜合利用率,而客戶只需要一張信用卡就可以使用這些資源,形成規模化、集中化效應后,在使用方面更加便捷。這種云計算服務無疑刺激了亞馬遜的業務增長和收益,在2009年底,亞馬遜再一次拓展了服務器數量,這無疑是云計算服務具有優勢應用前景的最佳證明[3]。
二、云計算在移動通信行業的發展前景
云計算技術的出現,對于移動通信網絡的發展來說意味著成本的降低、集中化和規模化效應,是未來業務創新的重要技術支柱,也是移動通信行業的發展福音。傳統移動通信行業發展中有四大弊端,分別是系統利用率低、擴展能力低、系統部署周期長和性價比低,正是這四個因素,限制了通信行業的拓展與升級。豎井式的業務系統和IT支撐系統限制了不同系統間的資源交流與共享,資源利用率低、能效低,運營建設成本高。傳統Scale-Up擴展方式只能通過更換設別來拓展容量,投資效益低,業務連續性受影響,且因組成設備采購、建設、布置周期長,在應對市場變化發展的靈活性上也欠佳。這些弊端造成了通信行業經營和發展的低性價比,一度使國外跨國公司壟斷了我國的通信市場,國內企業競爭能力低下,整個通信行業的發展都處于緩慢的進步狀態,但是云計算的出現徹底改變了這種局面,通信行業運營商系統運行效率有了革命性的變化,建設和運營成本大大降低。
云計算技術為移動通信行業的發展帶來了革命性的轉變,技術創新帶來了新的發展機遇。IT支撐系統在通信行業中的重要地位決定了云計算緩解系統存儲、處理數據壓力和容量上的迅速增長等優勢會吸引更多的投資,配合建設和運營成本的降低無疑將會給行業帶來質的飛躍,行業將有更多的投資用于技術升級、開發、更新換代,通信行業升級和規模拓展是必然,精細化運營成為潮流。增值業務系統中,云計算技術可以讓不同業務系統共享資源池,通過提高資源利用率。云計算的應用無疑會促使網絡資源服務向水電服務一樣變得快捷、方便,更加完善、全面的提供給用戶,在滿足用戶需要的同時為通信行業發展創造巨大的利潤。讓IT資源的使用變得像水電一樣方便,這不僅是移動通信行業對于未來云計算技術使用的期望,同時也是這種技術將會給我們帶來的美好未來。云計算模式帶來的全新服務模式,本質上可以說是計算與存儲功能從桌面到網絡客戶端的遷移和資源的動態伸縮,本質上降低了網絡服務成本,提升了運營效率,能夠更好地為移動通信行業的運營商創造收益的同時,滿足人民群眾日益提升的網絡資源服務需求,可以說,正是統一的開放的云計算業務平臺的出現,讓現代網絡服務和移動運營商有了更好的服務于競爭武器,在運營商優勢資源的輔助下,現代網絡服務逐漸以共贏合作的模式為主,網絡上臺環境和信息化變得更加高校,更多的用戶與開發者參與到這一過程中來,不僅促進了通信行業運營商的傳略轉型,廣大網絡用戶也在這個轉型的過程中享受到了更多優勢的服務。
全球IT產業目前最熱門的技術就是云計算技術,這種技術的出現和應用帶來了信息產業的革新與飛躍,隨著其應用領域和影響力的擴大,這一領域內的基礎設施和平臺建設逐漸變得越來越具于是,使通信行業運營商面臨眾多挑戰與機遇的同時,開始了行業的轉型發展。在2011年我國互聯網行業舉行的“云計算產業發展高層論壇”上,來自各大研究機構、通信運營商和互聯網行業各環節領域的專家與學者共聚一堂,對云計算技術的未來發展前景做了討論。他們一致認為,云計算技術不僅僅意味著一種新技術的應用,同時也會成為移動通訊行業轉型與發展的利器。云計算技術所代表的未來通信技術和信息服務方式的發展趨勢,使得虛擬化技術、分布與并行計算等技術不斷成熟,不僅更好的擴大了用戶群,提供了優質的服務,同時讓互聯網服務模式變為主流,引導了移動通信行業發展的趨勢[5]。
云計算技術在移動通信行業的應用,不僅有利于其自身業務能力的增強,降低生產成本,提升運營效率,利用統一的平臺架構和平臺的開放性,從外部引入開放創新力量,形成新的生態系統,在通信行業內開展大規模的低成本、高效率網絡運營服務,為云計算技術未來在移動通信行業的發展創造更好的前景。
參考文獻
[1]馮毅.淺談在云計算平臺下企業電子商務的發展[J].中國高新技術企業,2011(24).
[2]王健,莫敏.云計算和個人數字圖書館[J].當代圖書館,2011(02).
[3]姚天祥,徐運紅,劉雙霞.云計算在中小企業的電子商務中的應用研究[J].電腦知識與技術,2011(14).
【關鍵詞】云計算 服務器 虛擬化技術用
在人類現代化建設進程的不斷拓展中,應用云計算技術進行系統遠程控制,并進行信息演算,已成為整體云計算的一項重要指標形式,面對虛擬化的基層建設設施,在進行服務器內部的虛擬化科技按需模式建設上,就原有的資源能力提升限度,還需要提高服務器自身的有效利用率等。下面針對其建設的技術要求進行簡要分析。
1 云計算虛擬化技術的發源
從現代信息化建設的形成模式來看,其發展應追溯到上世紀六十年代末,次啊逐漸形成,并在虛擬化的服務操作系統中,對硬件進行相應控制。在這樣的控制環境下,允許其進行相應的移動等操作。而對于服務器的管理員,則通過虛擬機進行相應的操作,即可獲得相應的硬件維護,而其時間主要定在周末的滲液進行定期的硬件養護工作。
在進行單內核系統的操作中,應用單一途徑進行服務器管理,并完善對服務器自身利用率的相應建設,在服務器內部版本的建設方面,應用基層版本進行對比解決,同時按照相應的操作系統進行問題內部的分析,在結合虛擬化服務器建設的過程中,根據應用程序的開發性進行服務調整,并保證在單一的服務器上,能夠進行相應的程序運行,對于數據的中心空間影響調整,也應建立在對系統超負荷運轉作用的電荷承載控制基礎上。
在進行信息服務的利用率調整上,根據全隔離狀態下的安全性評定檢測,同時根據虛擬化的服務保護裝置進行硬件保護,并根據實際的利用形似進行多層次的保護,并結合硬件的保護作用進行工作負荷上的調整,同時保證在低碳足跡情況下的保護作用,同時根據虛擬化
的全面改革進行系統化的系統管理,并根據存儲的網絡空間進行安全操作應用開發。
2 虛擬化結構體系的分析
2.1 什么是虛擬化結構
就現代虛擬化的結構來看, 主要在于對數據中心的多個層次使用層次,而對于不同數據中心結構,其中最少的七層虛擬化模式,也諸如圖1結構所示。
而對于服務器的虛擬化,還需要通過操作格式上進行實物與虛擬物之間的連接,并保證兩者在連接過程中的各方位控制,根據軟件的虛擬化平臺進行綜合評價,從而實現對不同層次上的信息應用。在操作中,需層層遞進,并根據測試的開放目的進行整理調控,以此實現對虛擬模式結構的完整性調整。在測試的開發試用中,還需要滿足圖2的結構目的。
通過圖2的結構進行運行操作后,即可滿足實際的操作應用,并建立健全的技術控制,為后續的性能應用等,都能夠提供較好的性能保障。在進行存儲的虛擬化應用上,應用虛擬硬盤進行數據存檔,可更有效的確保信息數據的存儲應用,極大的增加了信息數據的存儲量。
2.2 虛擬化體系的具體應用
在進行云計算的虛擬化運行中,根據數據中心的體系結構進行調整,不能夠針對其虛擬化的本體結構進行信息分析。
在使用這一結構進行虛擬化的應用過程中,需要內閣制特定的結構構造進行逐層調控,并根據物理層以及組間的層次資源進行資源控制,并結合不同的存儲層進行虛擬化技術的調配分析,并結合虛擬的資源調控邏輯進行單元分析,完成對分配層內部的虛擬化服務管理應用。在不停層次的應用管理上,通過靜態與動態結構的虛擬網絡創建分配,從而在基層上完成對功能創建功能的有效建設,以此來完善對基層結構的有效創建。
3 虛擬化技術的安全隱患問題
云計算技術為現代社會的發展提供了更加便利的發展空間方向,但是在這樣的大環境下,自身的安全隱患,也就成為了最為主要的虛擬技術問題,在結構上,嚴重的威脅到了安全使用措施的自然實用性,并在資源的結構的管理中,不能更為有效的確保對虛擬服務產品的穩定性運用,對基層結構的框架保護,都有很大的影響,并且這一影響,對產品的生產規模等,都會產生較大影響。在進行安全防護應用中,其主要防護策略集中在以下幾點。
3.1 核心數據的保護
為完成對網絡數據的保護,就需要針對數據庫的核心數據進行備份,以保證在受到外來信息的入侵過程中,能夠及時的恢復受攻擊前的設備數據,并在一定程度上完善對不同信息數據的有效控制。這對于信息數據的安全性管理方面,是能夠極大的促進數據庫更新的一項重要安防措施。
3.2 操作系統的保護措施
為保證系統操作正常,需要為主機的服務器系統進行最高等級的安全防護供應,并以此來確保整個網絡的信息安全性,對外來入侵病毒引擎進行及時的查殺,從而確保云計算的虛擬操作系統的整體安全性。
3.3 外部訪問保護措施
在云計算服務系統的運行中,其主要目的就在于對外部信息的訪問應用,并結合內部資源進行虛擬配置調控保護,一次來建設一個較為有效的管理措施,依據遠程訪問實現對虛擬環境的專網連接應用,根據安全套結的數據信息應用,從而實現對不同加密信息的有效管理,并以此實現對服務器內部服務信息的滿足。
綜上所述,在進行現代云計算系統的安全運行中,需要結合實際的應用需求進行全面的安全體系建設,并減少因新環境下導致的嚴重事故發生。
參考文獻
[1]李亞瓊.宋瑩.黃永兵,一種面向虛擬化云計算平臺的內存優化技術[J].計算機學報,2011,34(4).
[2]李剛健,基于虛擬化技術的云計算平臺架構研究[J].吉林建筑工程學院學報,2011,28(1).
[3]朱弘飛.鄒啟明.陳章進,基于虛擬化技術的云計算實驗室設計與實踐[J].電腦編程技巧與維護,2015(19).
作者簡介
姚凱(1979-),男,黑龍江省哈爾濱市人。碩士學位。現為沈陽工業大學圖書館工程師。研究方向為虛擬化服務器。
1云計算技術
1.1云計算的概念
云計算(Cloud Computing)是一種基于internet的計算,它是在分布式處理.并行處理,網格計算等基礎上提出的一種新型商業計算模型,是一種新興的共享基礎架構的方法。它是面對超大規模的分布式環境,其核心思想是通過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序.再交由多部服務器所組成的龐大系統計算分析之后將處理結果回傳給用戶。其最終目的是充分利用互聯網資源。建立功能強大的計算中心。并基于此提供多種多樣的計算服務,使用戶能夠在不同時間、不同地點便捷的享受各種服務。
對于圖書館人而言,雖可能不大理解云計算的內涵,但或多或少已經體驗過或正在使用云計算服務,如googleDoes、Facebook等。重要的是理解云計算實質上是一個有關數據和運行數據計算設備范式如何轉變的問題。這些問題與數字化生活始終緊緊相連。而云計算,把重點轉到遠離這些設備能夠有效地存儲數據和能夠運行的應用和設備上,提供了最簡單的獲取數據和應用程序,這些存儲在不同的地方的互聯網上。但這些數據怎么放?有相應的技術保證才行,一定不是說把所有的數據放到一起才是云計算!云計算的“云”最根本的是虛擬化,是虛擬化計算!虛擬化并不是把所有東西放在一個地方才叫虛擬化。
1.2云計算在圖書館中的五大利好
1)超強的計算能力:通過一定的協調調度。云計算模式可以通過數萬乃至百萬的普通計算機之間的聯合來提供超強的、可以與超級計算機相抗衡的計算能力。使用戶完成單臺計算機根本無法完成的任務。在“云”中,使用者只要輸入簡單指令即能得到大量信息。因為在云計算模式中,人們不是從自己的計算機上,也不是從某個指定的服務器上,而是從互聯網絡上,通過各種設備(如移動終端等)獲得所需的信息,因此其速度得到了質的飛躍。
2)以用戶為中心:在云計算模式中,相關的數據存儲在“云”之中,用戶可以在任何時間、任何地點都可以以某種便捷、方便、安全的方式獲得云中的相關的信息或服務。雖然在“云”里有成千上萬臺計算機為其提供服務,但對于“云”外的用戶來說,他看到只是一個統一的接口界面,用戶使用云服務就如通過互聯網使用本地計算機一樣的方便。
3)實現綠色數據計算:人們需要監管能力更強的計算模型,來充分提高計算效率,不僅僅是計算資源的利用率,而且是從物理上降低設備能耗。云計算的出現大大加快了實現綠色數據計算的步伐。
4)降低了數據外泄的可能性:這也是云計算服務商討論最多的一個優點。在云計算之前,數據容易被盜,而隨著云計算的推廣以后。用戶可以把自己的數據放在“云”中,只要用戶能夠接人互聯網就能夠根據需要隨時存取,為網絡應用提供了幾乎無限多的可能,為存儲和管理數據提供了幾乎無限的空間。
5)經濟實惠:云計算中,用戶只需花少量的錢來租用相關的云服務商所提供的相關服務即可。它可以讓用戶利用很少的投資獲得較大的回報。不必擔心自己所購買的IT產品被淘汰,因為具體的硬件配置和更新都是由云服務提供商來提供的。用戶所需做的只是通過各種設備享受云服務所提供自己需求的信息、知識、服務等。
目前國外諸多圖書館組織與協會已在探討圖書館如何使用云計算,比如圖書館使用云計算提供用戶個性化和本地化信息尋求的模式?云可以節省資金和資源使圖書館利用計算機設備更有效嗎?用戶如何與云交互?我們的服務可能需要修改,以適應新出現的用戶模式?有一點是肯定的,無論以何種方式,我們認為對圖書館計算基礎設施和架構均需要改變,以便有效地利用云計算。云計算時代已經到來,圖書館需要開始思考如何調整服務,以便有效地適應用戶與圖書館互動。
2云計算技術在圖書館中的潛在價值
作為一種新興的、受到全球關注的技術。云計算技術一經推出,就得到了有關人士的推崇。目前,各有關廠商都在積極走在研制第一線,打造屬于自己的云計算產品與服務。例如:IBM推出了“改變游戲規則”的“藍云”計算平臺,為客戶帶來即買即用的云計算平臺。它包括一系列的自動化、自我管理和自我修復的虛擬化云計算軟件,使的來自全球的應用都可以訪問分布式的大型服務器池;Sun公司推出“黑盒子計劃”為政府,企業和大學的數據中心隨時提供額外的計算能力;國內殺毒軟件廠商如瑞星等部署應用了自己的云計算安全平臺。可以說,云計算技術也必將在作為數據中心之一的圖書館中得到廣泛的應用,而圖書館也必將在即將到來的云時代中獲益。
圖書館對于云計算而言.通常有兩種角色:一方面是云計算的使用方、受益者,另一方面又可以做云服務的開發者、提供方。前者是作為一個應用機構,后者則是作為向讀者提供服務的知識中介。
結合云計算的特點及圖書館的實際情況,云計算技術將給圖書館帶來以下重大的轉折舊。
1)確保圖書館服務器的正常運行。現在圖書館中的數據都集中在本館內的服務器上,而一旦服務器出現故障,圖書館無法給用戶提供正常的服務,更嚴重可能導致數據的丟失。在云計算模式中,“云”中有上百萬臺服務器,因此即使“云”中的某臺服務器出現故障,“云”中的服務器也可以在極短時間內,快速將某臺服務器中的數據完全拷貝到別的服務器上,并啟動新的服務器來提供服務,從而使圖書館真正實現無間斷的安全服務。
2)以極低的成本投入獲得極高的運算能力,克服服務器訪問限制的瓶頸。普通的服務器的相關硬件資源都有一定的限制,若服務器同時響應用戶的數量超過了自身的限制將導致服務器的癱瘓。因此,為確保服務器內數據資源的安全性及服務器的可靠運行。圖書館對服務器的最大服務響應數量及接入終端數量等都進行了一定的限制,如果有數萬用戶同時使用圖書館中的電子資源,有的用戶的訪問將出于安全的需要而不被響應。如果圖書館想滿足這部分被限制的用戶的請求就不得不花費大量的資金購買更高級別的服務器。而應用云計算技術,通過支付少量的費用,圖書館就可獲得云模式中百萬臺服務器提供的服務,用戶的請求便可在毫秒的時間內獲得響應,從而使圖書館以較低的成本獲得較高的效益。
3)在更大程度上進行信息資源共享。通過云計算模式,相關的圖書館之間可以共同構筑圖書館的信息共享宅間,這樣眾多的圖書館就可以分享由大量系統連接在一起而形成的基礎設施,而不必更新相關的硬件,圖書館的運行成本在大大降低的同時效率卻大幅度的提高。在“圖書館云”中,通過云計算技術,可以隨時地獲得其他圖書館的資料,使用戶的信息需求獲得極大的滿足。
4)降低有關的維護費用。云計算對用戶端的設備要求最低,使用起來也最方便。為了確保網書館工作正常平穩的運行,圖書館人員需要經常對圖書館的計算機、服務器等終端進行維護、升級和更新。由于云計算模式對于用戶終端的配置沒有限制。因此,有關的技術人員不必擔心需要升級圖書館的相關硬件,因為在“云”的另一端,有專業的管理人員幫你維護硬件,這樣工作人員的工作強度就會大大降低。
5)信息更新快。在傳統的圖書館服務模式下,用戶一般必須使用計算機才能利用圖書館的電子資源。而運用云計算模式,用戶使用手機、PDA等設備也可以使用圖書館提供的電子資源服務。圖書館數據庫經常在修改添加,相互合作的圖書館每天都有新的信息增加到數據庫中,因此用戶從圖書館數據庫能檢索到世界上最新的資料和信息。只需圖書館每個月按照服務類型和實際的使用星付費,如同抄水電煤氣表一樣,對管理者而言是完全透明的。甚至這個款項是直接從政府采購的帳戶中直接劃轉。
3云計算技術在圖書館應用中的瓶頸問題
雖然云計算技術目前還處于商用的初級階段.還有許多問題困擾著云計算服務提供商。隨著云計算技術進一步發展,以及云計算理念被用戶的廣泛接受,云計算技術必將成為最為重要的基礎設施,基于云計算平臺的應用也將成為人們最重要的選擇。作為圖書館工作人員需要認真追蹤研究以下幾個方面:
1)需要確認是否把整個圖書館資源放到“云”中。從理論上說,利用云計算技術,用戶只需要通過本地終端就可以通過互聯網使用圖書館的相關資源。但實際上,為了安全和穩定。也為了在“云”服務中斷或失效時,圖書館仍然能夠正常地提供相關的服務,圖書館顯然不能把所有的數據資源都放在”云“中.必然要繼續在本地保存一些常規的重要的數據依此來作為“云”數據的一個備份。因此,云計算模式并不會完全推翻圖書館現有的數據部署模式,而是在保留原有模式的基礎上,使現有的部署模式與云計算模式進行融合,作為現有部署模式的有效補充。圖書館應對現有的數據進行整理,通過研究來確立哪些數據資源可以放到“云”中,哪些數據必須在圖書館現有的模式中予以保留,這是值得圖書館員需要認真研究的一個方面。
2)數據據位置問題。在現在運行的系統中,許多用戶并不清楚自己的數據儲存在哪里。用戶應當詢問服務提供商數據是否存儲在專門管轄的位置,以及他們是否遵循當地的隱私協議。所以在建設圖書館這樣的公共服務機構的數據庫時,可以由國家來主導,成立專門的機構來負責“云”的建立。
3)版權問題。在云計算模式中,各個加入云計算模式的圖書館之間可以通過有關的協議共享彼此的信息資源.就像用戶使用本館的電子資源和使用他館的電子資源一樣。因此在這里帶來了版權糾紛問題。因此,圖書館界應針對在云計算模式下的信息資源共享中引起的版權糾紛問題制定切實可行的方案,從而方便用戶使用各館信息資源。
4)所網絡的建設問題。由于云計算也是建立在網絡的基礎上,所以網絡的暢通與否就關系到圖書館的資源能否順利的利用與共享。這是最基礎,也是最關鍵的問題。
4總結
關鍵詞 云計算;數據存儲;分析;計算機
中圖分類號:TP393 文獻標識碼:A 文章編號:1671-7597(2014)07-0071-02
近年來,云計算越來越多的出現在大家的視野里,人們給予了云計算極大的關注。云計算會代替傳統的計算機算法,這一理論也被認為是未來發展的必然趨勢。在傳統的模式下,工作人員為了使信息進行交互,一般都會在本地進行數據的存儲和處理。為了更好的保證數據調取的穩定性,企業需要購買各種硬件、軟件基礎設施,而且還需要對這些設施進行維護。但是由于存儲和處理的數據量在不斷的加大,所需要的存儲空間就越來越大,這樣就會大大提高企業的成本。但是這些并不是企業需要直接面對的,為了完成他們需要完成的業務,卻不得不為此投入大量的成本。
隨著計算機技術,信息處理技術不斷的發展,人們可以不用把大量的數據技術放在自己的計算機上,可以放在別人的計算機上或者是遠程的服務器上,因此企業就不需要投入大量的資金購買存儲設備,完全可以通過互聯網根據自己的需求找到存儲在遠程設備上的數據,于是云計算初步模型就出現了。
1 云計算與云儲存
1)云計算。在互聯網的技術條件下提供了云計算的一種技術形式,云計算可以提供動態變化的能夠伸縮的并且以虛擬為特點的計算模式。“云”就是一種比喻,是一個抽象的概念,實際上是計算機和互聯網在起作用。
通過云計算把大量的數據都放在計算機上,這個計算機不是指本地的計算機,而是遠程的服務器,企業可以根據自己的實際需求,對計算機的存儲系統進行訪問,企業可以把大量的信息資源都轉換到客觀應用上去。也就是說,計算機只是成為了一個簡單的終端,不需要進行任何的計算或者是存儲,直接把主機功能交給云端。
2)云存儲。在云概念的基礎上延伸出了一個新的概念那就是云存儲,云存儲與云概念十分相似,它以分布式文件系統以及網格技術作為基礎,以集群應用,借助應用軟件把計算機中的各種存儲設備進行有效的集中,讓彼此能夠協同合作。它的功能就是對外提供相關的數據存儲以及業務訪問。本質上說來,對于當前存儲模式的創新就是云存儲。云存儲也是特殊的構架服務,具體來說,一些廣域網或者是互聯網對于應用者來說具有透明性。相關的應用程序軟件是云存儲的關鍵之處,在存儲設備之間進行有機的結合,通過這些有效的軟件使設備與設備之間進行服務的轉變。
2 構建在云環境下的數據存儲體系
在實際操作的過程中,數據存儲體系包括數據中心和云服務接口以及服務協議等,數據中心是在云環境下實現數據存儲的基礎,由存儲管理、分布式文件體系和存儲備份組成。云存儲設備既可以是在企業的發展過程中所專門應用的存儲設備,也可是PC,這個系統的設計依據的基礎是客戶機和服務器模式。經過檢驗這些確實可以完成大量數據的存儲工作,并且效果也非常理想。
1)服務器的結構。云計算的組成部分中最重要的是存儲服務器架構。在云存儲體系構建之前,應該首先構建云存儲服務器架構,這個可以根據架構技術來實現,這些架構技術是多樣化的。在NAS這個文件存儲系統中,每一個節點都是一個相互獨立的個體,文件是這個系統中最小的單位。在集群中,如果文件可以完整的保留,那么其數據信息也會有效的保存在集群的特定的點上,文件雖然比較多,但是會被重新定義到一些另外的節點上,這樣信息就顯得太過繁雜了。在實踐的過程中,人們可以發現,SNA作為存儲系統的一塊兒,如果有某一個文件發出請求,每一個節點都會對該文件的不同數據塊進行訪問,它能夠有效的對用戶的某一種需求進行及時的處理。這種存儲結構比較適合在云服務器當中使用,它可以在一定的范圍內進行擴展,而且傳輸的效率也比較高。
2)服務器之間的數據傳遞。在當前的存儲系統的環境下,一些存儲系統可以進行數據之間的傳送協議,異構的平臺之間的信息可以進行有效的資源共享。在計算機的網絡系統當中,程序和數據庫的優化問題是需要我們共同考慮的。在使用數據庫的時候,存儲過程是必不可少的,它提供了一種更加高級的特性。它可以傳遞一些函數或者是邏輯表達方式,這樣就可以幫助程序人員來處理一些比較復雜的任務。它的存儲過程也比一些別的程序快很多,如果存儲的過程發生在本地的服務器上,那就可以減少在執行和操作過程中的寬帶傳輸和執行命令的時間。數據庫系統可以分頁顯示數據,執行一個命令會產生幾萬種結果,這些結果是不可能一次性的直接輸出到客戶端上,可以采用分頁顯示來解決這個問題。分頁顯示主要有兩種,一種是在數據庫的查詢所匹配的記錄一下子存儲在內存儲器當中。另一個是根據用戶的需求,從這些匹配的記錄當中顯示指定的記錄。這兩者是有一定的區別的,前一種是把所有的記錄一次性的寫到內存里,再使用分頁顯示,后一種是指通過指定數量的查詢互相匹配的記錄然后寫入到內存當中,接著分頁顯示。這個系統使每一個要求只需要返回一個頁面的數據,效率大大的提高了。
3 關于企業的存儲構建方案
1)商業化的云存儲系統。在一些數據領域數據庫已經研發出一系列的商業化存儲產品,主要建立在云存儲的相關理論基礎上。一些最早就致力于云存儲研發的公司推出數項擁有自主知識產權的存儲技術,而且還提出了云存儲系統的構架方案。從用戶的角度出發,在相關協議下可以實現自身數據的存儲和提取。可以提供一些簡單的隊列服務,在一些虛擬的主機之間信息可以互相發送好接收,而且一些支持的服務可以為用戶提供專業的存儲接口。一些公司希望他們提出的數據庫分布式的編程環境,可以適用于本公司的具體情況,還可以適用于云存儲的應用開發商提出的關于存儲的一些應用服務,可以起到一箭雙雕的作用。
2)構建企業自身的數據中心。對于許多大型企業來說,數據的安全性是最重要的,數據中包含著許多客戶的信息,這些客戶的信息一定不能泄露,泄露了以后就會面臨重大的信譽問題,這個時候如果選擇的是租用的云存儲服務的話,企業許多的數據資料都需要存儲在云服務提供的云數據中心,會面臨一定的風險性,所以有一些大型的企業轉向一些私有的云存儲的云服務提供商提供的云數據的中心,借助這個存儲設備也需要大量的資金投入,它是借助私云存儲提供的存儲設備以及冗余備份系統,所以這種結構并不靈活。作為企業可以選擇混合云存儲方案,可以把與之相關的關鍵性的數據作為首要的存儲,存到私云存儲當中,對于其它的一些數據就可以存儲在租用的云存儲當中,借用這種存儲的方法可以實現存儲效用利用的最大化。
4 云計算的環境下關于數據安全問題
為了保證數據的安全性能我們可以采用加密的方式,對于加密的方法有兩種:對稱加密和非對稱加密。實踐證明,對稱加密的算法還比較成熟,所以應用的范圍比較廣泛,這種加密的算法、加密和解密都比較容易實現,所以廣泛的應用于大量的數據傳輸,對于非對稱加密來說,可以把傳統的密鑰分為公開密鑰和私有密鑰,把加密算法和解密算法分開控制,這樣可以在計算方法的復雜程度上確保其的安全性。
1)關于加密。當想要對某一個數據進行加密的時候可以通過對稱加密算法密匙生成器,通過密匙生成器來隨機生成含有校驗信息的密匙,再通過非對稱加密算法對所包含的效驗信息的密匙進行加密。這樣就可以把密文統一打包以后發到用戶端供用戶們使用,這個密文是經過加密算法處理的。除這些以外,對于一些數據量十分大的用戶的數據可以通過對稱的加密算法對其進行加密。但是對于一些數據量用戶較小的用戶可以考慮對一些非對稱算法進行加密,將這兩種密匙和密文數據一塊兒存儲起來放到云存儲中心,對于那些非加密的密匙以及解密的密匙僅僅需要進行保存就行。
2)關于解密。既然可以加密處理,那么就應該對密匙進行解密,這樣密碼的設立才會更有意義。在對數據解密的過程中,用戶首先需要對對稱加密的算法進行解密,這種算法是跟非對稱加密相關的。這樣就可以對密匙進行還原,然后,被還原的密匙根據對稱算法對所提供的數據包進行解密,這樣可以把所需要的文件進行還原。兩種算法需要配合使用,這樣才能最大限度的發揮各自的優點,避免某一種算法的不足導致文件不能安全的進行保密。我們的目的是對數據的安全進行保密,可以通過對稱密匙對所有的數據進行加密也可以利用非對稱密匙僅僅對一部分密匙進行加密。這兩種算法互相結合,有效地解決了云計算中所面臨的安全問題。
5 結束語
在云計算環境下的數據存儲技術給人們帶了許多的方便,釋放了個人計算機終端的數據存儲任務,優化了網絡系統結構。云計算環境下數據存儲中把對稱密匙和非對稱密匙結合起來使用,為云環境下的存儲技術帶來了一定的安全性。這是一種解決安全問題比較可行的方法。隨著科技的不斷進步,云計算環境下的存儲技術一定會有更大的突破,實踐應用也一定會更加廣泛。
參考文獻
[1]李煜民,章才能.謝杰.云計算環境下的數據存儲[J].電腦知識與技術,2010(5):32-34.
[2]陳鳳萍.云計算環境下的數據存儲技術分析[J].硅谷,2013(17):43,29.
[3]張慶華.云存儲技術在視頻監控中的發展與應用[J].中國公共安全(綜合版),2013(17):53-54.
【工業4.0】
工業4.0是在現代智能機器人、傳感器、數據存儲和計算能力實現突破的條件下,通過工業互聯網將供應鏈、生產過程和倉儲物流智能連接,從而實現智能生產的“四化”:供應和倉儲成本較小化,生產過程自動化,需求相應速度較大化和產品個性化。
在4.0時代,不僅制造環節的人工將得到節省(機器人為主體的自動化生產連線),前端供應鏈管理、生產計劃(互聯網接入,實施管理訂單)、后端倉儲物流管理(WMS+自動化立體倉庫)都將實現無人化以及較低的渠道庫存和物流成本。
工業4.0是德國政府提出的一個高科技戰略計劃。中國的工業4.0就是中國制造2025。在現代智能機器人、傳感器、數據存儲和計算能力實現突破的條件下,通過工業互聯網將供應鏈、生產過程和倉儲物流智能連接,從而實現智能生產的“四化”:供應和倉儲成本較小化,生產過程全自動化,需求相應速度較大化和產品個性化。工業4.0的終極目的是使制造業脫離勞動力稟賦的桎梏,將全流程成本降到較低,從而實現制造業競爭力的較大化。在4.0時代,不僅制造環節的人工將得到節省(機器人為主體的自動化生產連線),前端供應鏈管理、生產計劃(互聯網接入,實施管理訂單)、后端倉儲物流管理(WMS+自動化立體倉庫)都將實現實現無人化,以及較低的渠道庫存和物流成本。回顧前三次工業革命,實際上是應用機械、電氣和信息技術等越來越先進的工具逐步將人力從生產中解放,從而提高生產效率、降低生產成本的過程。
【工業4.0的關鍵內容】
工業4.0有一個關鍵點,就是"原材料(物質)"="信息"。具體來講,就是工廠內采購來的原材料,被"貼上"一個標簽:這是給A客戶生產的XX產品,XX項工藝中的原材料。準確來說,是智能工廠中使用了含有信息的"原材料",實現了"原材料(物質)"="信息",制造業終將成為信息產業的一部分,所以工業4.0將成為最后一次工業革命。
【工業4.0兩大主題】
1.智能工廠:重點研究智能化生產系統及過程,以及網絡分布式生產設施的實現
2.智能生產:主要涉及整個企業的生產物流管理、人機互動以及3D技術在工業生產過程中的應用等。該計劃將特別注重吸引中小企業參與,力圖使中小企業成為新一代智能化生產技術的使用者和受益者,同時也成為先進工業生產技術的創造者和供應者
【智慧工廠】
智慧工廠是在數字化工廠的基礎上,利用物聯網的技術和設備監控技術加強信息管理和服務;通過大數據與分析平臺,將云計算中由大型工業機器產生的數據轉化為實時信息(云端智能工廠),并加上綠色智能的手段和智能系統等新興技術于一體,構建一個高效節能的、綠色環保的、環境舒適的人性化工廠。
【智能工廠的三大技術和特點】
三大技術:
1.無線感測技術
2.控制系統網絡
3.工業通信無線化
特點:
1.制造過程管控可視化。由于智能工廠高度的整合性,在產品制造上,包括原料管控及流程,均可直接實時展示于控制者眼前。
2.系統監管全方位。通過物聯網概念,以傳感器做連接使制造設備具有感知能力,系統可進行識別、分析、推理、決策以及控制功能。
3.制造綠色化方面,除了在制造上利用環保材料、留意污染等問題,并與上下游廠商間,從資源、材料、設計、制造、廢棄物回收到再利用處理,以形成綠色產品生命周期管理的循環。
【智能生產】
智能生產是一種由智能機器和人類專家共同組成的人機一體化智能系統,它在制造過程中能進行智能活動,諸如分析、推理、判斷、構思和決策等。通過人與智能機器的合作共事,去擴大、延伸和部分地取代人類專家在制造過程中的腦力勞動。它把制造自動化的概念更新,擴展到柔性化、智能化和高度集成化。
【云計算】
云計算是一個提供便捷的通過網絡訪問一個可定制的IT資源共享池能力的按使用量付費的模式(IT資源包括網絡、服務器、存儲、應用、服務),這些資源能夠快速部署,并只需要很少的管理工作或很少的與服務供應商的交互。
簡單來說云計算是一種未來信息技術的一種主要架構,服務云+消費端。云端通過集中的資源提供各種服務,各種終端通過互聯網接入使用,而不是原來各自維護自己的基礎架構。
通俗的理解云計算的“云”就是存在于互聯網上的服務器集群上的資源,它包括硬件資源(服務器、存儲器、CPU等)和軟件資源(如應用軟件、集成開發環境等),所有的處理都在云計算提供商所提供的計算機群來完成。
【云計算的特點】
1.按需即取
消費者可以隨時按需使用各類云服務,快速交付,并且通過自助的方式,不需要提供商人工參與。
2.隨時擴展
通過虛擬化技術,云服務提供商提供規模較大的資源池,服務資源可按需隨時進行擴展和收縮。
3.按使用付費
區別于傳統軟硬件購置的方式,云計算采用按使用付費的模式,讓企業IT從資本投資轉變為更靈活的運營費用。
【云計算的基本類別】
1.混合云
客戶同時使用公有云資源和私有云資源,邏輯上是一個整體,可實現內部互聯,既保證了用戶的私有性,又能夠靈活使用公有云。
2.私有云
客戶獨占使用云資源池。私有云部署在企業數據中心或第三方托管場所(如電信運營商IDC機房)。
3.公有云
云資源池為所有用戶共享,一般通過互聯網使用。
【云計算的服務形式】
1.軟件及服務
SaaS服務提供商將應用軟件統一部署在自己的服務器上,用戶根據需求通過互聯網向廠商訂購應用軟件服務,服務提供商根據客戶所定軟件的數量、時間的長短等因素收費,并且通過游覽器向客戶提供軟件的模式。
2.平臺即服務
這是一種分布式平臺服務,廠商提供開發環境、服務器平臺、硬件資源等服務給客戶,用戶在其平臺基礎上定制開發自己的應用程序并通過其服務器和互聯網傳遞給其他客戶。
3.基礎設施服務
IaaS即把廠商的由多臺服務器組成的“云端”基礎設施,作為計量服務提供給客戶。它將內存、I/O設備、存儲和計算能力整合成一個虛擬的資源池為整個業界提供所需要的存儲資源和虛擬化服務器等服務。
【大數據】
21世紀是數據信息大發展的時代,移動互聯、社交網絡、電子商務等極大拓展了物聯網的邊界和應用范圍,各種數據正在迅速膨脹并變大。
大數據是一種規模大到在獲取、管理、分析方面大大超出傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。如果將大數據比作一個產業,那么這種產業實現盈利的關鍵在于提高對數據的“加工能力”,通過“加工”實現數據的“增值”。
【大數據的4V特征】
1.體量(volume):非結構化數據的超大規模和增長,總數據量的80~90%,比結構化數據增長快10-5-倍,是傳統數據倉庫的10-50倍。
2.多樣性(variety):大戶數的異構和多樣性,很多不同形式(文本、圖像、視頻、機器數據),無模式或者模式不明顯,不連貫的語法或句義。
3.價值密度(value):大量的不想管信息,對未來趨勢與模式的可預測分析,深度復雜分析(機器學習、人工智能等)。
4.速度(velocity):實時分析而非批量式分析,數據輸入、處理與丟棄,立竿見影而非事后見效。
【大數據與云計算】
云計算的模式是業務模式,本質是數據處理技術,數據是資產,云為數據資產提供存儲、訪問和計算。當前云計算更偏重海量存儲和計算,以及提供的云服務,運行云應用,但是卻反盤活數據資產的能力,挖掘價值性信息和預測性分析,為國家、企業、個人提供決策和服務,是大數據核心議題,也是云計算的最終方向。
從技術上來看,大數據和云計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單臺的計算機進行處理,必須采用分布式架構。它的特色在于對海量數據進行分布式數據挖掘,但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。
云計算(Cloud Computing)是一種新興的共享基礎架構的方法,通過云計算技術可以將巨大的系統池連接在一起以提供各種IT服務,并可以按需提供資源、收取費用等,因此云計算也被看做是一種新型的資源利用模式。從技術角度看,云是一個包含大量可用虛擬資源(例如硬件、開發平臺以及I/O服務)的資源池,這些虛擬資源可以根據不同的負載動態地配置,以達到更優化的資源利用率。這種資源池通常由基礎設施提供商按照服務等級協議(SLA,ServiceLevel Agreement)采用用時付費(PPU,Pay-Per-Use)的模式開發管理。云計算使得超級計算能力通過互聯網自由流通成為了可能,企業與個人用戶無需再投入高昂的硬件購置成本,只需要通過互聯網來購買或租賃計算力。
很多因素推動了對云計算的需求:從IT資源利用的角度來看,建設云計算這種超大規模IT資源池可以簡化用戶使用,降低IT資源的平均成本;從業務角度講,移動應用、實時數據流、SOA、Web搜索、開放協作、社會網絡和移動商務等新應用急劇增長,需要利用大規模的云平臺進行支持;特別是對超大規模數據進行數據挖掘與分析的需求,直接推動了云計算的產生和發展。
2 電信行業中的數據分析業務
電信企業是典型的數據密集型企業,保存有海量的用戶呼叫數據、WAP與GPRSEI志以及其他業務系統日志等。正確地分析這些數據從而獲得有用的知識,能夠使電信企業更好地向用戶提供服務、發現更多的商機,同時可以分析市場狀況,以便于制定營銷策略、調整資費策略。因此,數據挖掘技術在電信業中有重要的應用價值。
但進行此類數據挖掘,需要投入大量的金錢和人力,用于購置、維護硬件設備以及購買相應軟件。這主要是由于,電信行業中產生的經營日志數據巨大,一般技術無法處理。以話單數據為例,一個較大規模城市每月的數量可以達到50GB,對于大型直轄市,這個數字可能超過1TB。如此大的數據量,傳統的數據庫工具無法負荷,必須采用專用數據挖掘與分析工具,例如SASEnterprise Miner、SPSS Clementine、IBM IntelligentMinet等,而這些軟件一般需要花費百萬以上的年費。
不過,盡管這些數據挖掘工具價格昂貴,挖掘效果卻仍有待提高。首先,傳統數據挖掘工具基本都實現了常見數據挖掘算法,例如文獻[2―4]中討論了基于這些算法的客戶流失預測分析方法,然而這些算法的實現都是傳統的內存駐留式,所處理的數據也是結構化的數據(通常是某種數據庫軟件的固有格式),對于非結構化數據無能為力(例如原始日志)。其次,當數據集很大時,建立模型所需要的時間往往很長,所采用的機器往往是小型機等高端設備,雖然投入很大,但處理效果仍受制于單個主機的性能,無法通過分布式方式實現并行處理。
云計算技術可以彌補傳統數據挖掘成本高、性能差的缺陷。通過云計算技術,即可以利用已有設備搭建分布式、高性能、可伸縮的數據分析中心,從而節省設備投入和軟件投入成本,提高執行效率,為構建低成本、高效率的數據挖掘與分析系統提供了可能性。Hadoop則是構建此類系統的熱門技術。
3 Hadoop云計算平臺
Hadoop是Apache組織支持的一個開源軟件,是Google云計算理論GFS、Map/Reduce、Bigtable的一個開源實現。Hadoop最早作為開源搜索引擎項目Nutch的基礎平臺而開發,隨后成為一個獨立的項目而發展。
Hadoop可以使用廉價Linux PC機組成集群運行各種應用,同時保持系統的穩定、高效。它能使編寫和運用處理海量數據的應用程序更加容易,其核心組件有3個:一個是HDFS,分布式文件系統,可以提供高效、穩定的分布式存儲,隱藏下層負載均衡、冗余復制等細節,對上層程序提供一個統一的文件系統API接口;一個是HBASE,一個大型的分布式數據庫,這個數據庫不是關系式的數據庫,而是一個巨大的按列存儲表格,可用來分布式存儲半結構化的數據,例如日志數據等;Hadoop系統中最重要的組件則是Map/Reduce分布式處理組件。
Map/Reduce是一個編程模型,用以進行穩定、高效、超大數據量的分析計算。它將一個任務分成很多更細粒度的子任務,這些子任務能夠在空閑的處理節點之間調度,使得處理速度越快的節點處理越多的任務,從而避免處理速度慢的節點延長整個任務的完成時間。Map/Reduce模型將分布式運算抽象為Map和Reduce兩個步驟,其中Map是把輸入Input分解成中間的Key/Value對,Reduce則是把Key/value合成為最終輸出。
開發者只需要實現Map和Reduce函數的邏輯,然后提交給Map/Reduce運行環境,計算任務便會在計算機集群上自動、并行地調度執行。運行環境負責分割輸入數據、調度任務、自動處理運行過程中出現的機器失效問題,以及協調不同節點之間的數據通信。很多分布式數據運算可以抽象為Map/Reduce操作,圖1描繪了Map/Reduce框架的基本工作流程。
4 基于Hadoop的電信業務數據分析系統
基于Hadoop云計算技術,可以構建低成本、高可靠性、高性能的數據分析系統,這在電信行業具有很大的應用價值。本文以“客戶流失預測”業務為例,來說明如何基于Hadoop構建實際應用系統。系統主要實現如下基本功能:
(1)用戶流失預測;采用現有最為基本的客戶流失預測方法;
(2)用戶流失原因分析:基于經驗值的客戶流失原因分析;
(3)自動化數據處理和基于Web的可視化界面。
圖2是基于Hadoop構建的實際數據分析系統的架構:
整個系統運行在分布式Hadoop平臺之上,數據可通過HDFS進行分布式存儲,并通過Map/Reduce機制進行作業調度和分布式處理。由于Hadoop是利用分布式技術對數據進行存儲的,因此可承載的數據量將隨著集群規模的增加而增長,理論上可存儲PB級的數據,非常適合存儲電信業務責任編輯:左永君zuoyongjun@rn日志等海量數據。
在Hadoop平臺上,開發者只需要編寫數據預處理業務邏輯和算法即可,不需要處理分布式計算中的調度、消息等底層邏輯。編程語言基于Java或Python等腳本語言,開發非常方便。通過合適的數據挖掘模型對話單數據進行分析,可以得出用戶流失預測概率。在數據挖掘算法方面,流失預測一般采用分類算法如Logistic回歸模型對數據進行處理。這種處理一般有三個過程:
(1)數據的預處理(ETL)過程;對原始話單等數據進行預處理,對數據進行壓縮、轉換和必要的計算, 通常需要較多的步驟才能完成;而傳統的數據挖掘中,時間開銷最大的步驟,即是預處理過程。
(2)數據訓練過程:對已知離網或流失數據進行運算,需要利用預處理后的海量數據進行復雜運算。
(3)概率預測過程:利用訓練所得參數。對當前話單數據進行預測,以分析目前用戶離網、流失的可能性,并對特定用戶群進行篩選、報告等。
云計算技術通過可靠的分布式處理,將傳統的單機操作并行化,大大加快了預處理的效率,可以使上述過程更加快捷地進行。
客戶端采用基于瀏覽器的SAAS模式提供分析結果的可視化服務(圖3),即預測結果可以通過簡潔的Web界面進行查看,并通過圖形化和報表等直觀方式,向用戶展示分析結果。
5 基于Hadoop的數據分析系統的優勢
如前所述,傳統的流失預測系統存在成本高、效率低、系統可靠性和可擴展性差等問題,利用云計算技術,則可以有效地解決這些問題。基于Hadoop的數據分析系統的優勢體現在以下方面:
(1)吞吐量大、運算速劇央、可伸縮性佳
使用云計算技術,實現分布式計算,極大提高了系統吞吐量和運算速度。例如客戶流程分析模型中分類預測方法中的相關算法,包括分類預測算法、ETL操作等均基于Map/Reduce實現,并以一種可靠容錯的方式并行處理TB級別的數據集。系統可以有效統合多臺服務器資源共同進行計算,不會因通信、協調等機制而限制多臺服務器發揮作用。其效果可通過系統測試數據體現。
(2)穩定性高
Map/Reduce模型提供了容錯、調度機制,保證系統的健壯性。在設計Map/Reduce時,研究人員考慮了很多大規模分布式計算機集群進行含量數據處理時所要考慮的關鍵問題:容錯處理保證了節點失效的情況下計算任務仍能夠正確執行;操作本地化保證了在網絡等資源有限的情況下,最大程度地讓計算任務在本地執行;任務劃分的粒度使得任務能夠更加優化地被分解和執行;對于每個未完成的子任務,Master節點都會啟動一個備份子任務同時執行,無論初始任務還是備份子任務處理完成,該子任務都會立即被標記為完成狀態,通過備份任務機制可以有效避免因個別節點處理速度過慢而延誤整個任務的處理。
(3)經濟、綠色、廉價
基于混合模型的并行二元分類預測方法是基于Map/Reduce機制實現的,所以其只需要普通的PC機組成集群就可以對海量的用戶數據進行流失預測分析;而SAS、SPss等工具用的是IBM等商業機器,只能處理少量數據,無法對千萬億級用戶展開大規模數據挖掘。因此,相比于SAS、SPSS等工具,本系統具有成本低廉、可擴展性強的優點。
(4)易用性
系統可以通過Web方式使用,較為方便。可通過項目總結出流程化的快速搭建方式,以指導兄弟單位根據需要搭建相似系統。其效果通過試用,以研究報告和文檔方式體現。
參考文獻
[1]Vaquero L M, RODERO2MER INO L, Caceres J, et al. A break in the clouds: Towards a cloud definition[J]. ACM SIGCOMM Computer Communication Review,2009,39(1): 50-55.
[2]Hung S Y, Yen DC, Wang H Y. Applying data mining to telecom chum management[J]. Expert System with Application,2006,31(3): 515-524.
[3]Wei C P, Chiu I T. Tuning telecommunications call detail to churn prediction: A data mining approach[J]. Expert System with Application,2002,23:103-112.
[4]郭明,鄭惠麗,盧毓偉,基于貝葉斯網絡的客戶流失預測分析[J],南京郵電大學報:自然科學版,2005,25(5):79-83.
[5]Ghemawat S, Gob IQFF H, Leung P T. The Google file sys2tem[C]//Proceedings of the 19th ACM Symposium en Operating Systems Principles. New York: ACM Press,2003: 29-43.
【關鍵詞】云計算 云服務 高校教學 資源共享 數字化
隨著當前教育改革持續推進,教育發展與信息技術的結合也日益密切,以云計算為代表的數據服務在當前高校數字化校園建設中占據主流,有利于促進高校教育資源的可持續發展。云計算與高校教育網絡的聯合使得以“云服務”為主要代表的形式通過在線“云端”服務遍及到廣大師生中間,配合高校管理信息化趨勢,構建嶄新的資源共享模型框架,為高校教育服務,也是高校目前數字化、信息化教育資源網絡環境構建的一種重要嘗試方向。下面我們以云計算在高校數字化校園建設中的具體應用為例進行探索研究。
一、云計算介紹
云計算的出現離不開大數據時代優勢,在現代社會,數據作為一種傳遞信息的服務形式能夠為他人活動提供各種便利,比如上網查詢資料、資源共享、數據收集與整合等,數據傳遞的各類信息都對人們的生活產生深刻的影響,這種影響力得到貫徹的途徑即數據服務,可以說,云計算是大數據時展到一定階段必然會出現的產物。云計算本質上是數據服務,也可以進一步理解為虛擬化服務和桌面云服務,即通過云計算理念將桌面作為服務形式提供給用戶,可以說是SaaS(軟件即服務)內容的一個重要構成部分。這種服務的優勢在于安全性能更佳、硬件成本和管理成本降低,能夠實現快速部署,支持功能強大,管理簡單,容災能力強,業務連續能力佳,用戶所需花費更低。
云計算的出現為高校整合教育資源提供了嶄新的途徑與方法,云計算技術參與構建教學資源網絡平臺將會優化廣大師生的網絡學習環境和資源共享環境。將云計算應用于高校資源庫的建設有利于為教學模式創新提供強有力支持,提升教學資源利用率和利用水平,為現代教育信息化理論的豐富和實踐提供寶貴經驗。作為以服務為核心思想的大數據時代,采用云服務成為了發展主流,其顯著的優勢使得能夠在高校信息化進程建設方面提供切實保障。比如云端數據的儲藏,不僅有效節省了空間資源,通過建立權限不一的云端服務平臺實現資源的高度整合與共享。云端提供的軟件服務將無數軟件置于服務器,解決了各種標準和協議的網絡準入,并且可實現多人網絡協作使用,這種數據服務促使桌面云服務有了更好的發展空間與市場。新時期云計算、云服務的出現滿足了廣大用戶多元化、多層次的網絡需求,個人定制服務成為主流,這種更加人性化的設置和服務無疑將會促使資源網絡的構建變得更加普遍和強勢,用戶通過個人賬號即可享受高質量的數據服務。
二、云計算與高校教育的結合
云計算與教育結合已經成為當前主流,以云服務為代表的數據服務在近年來和眾多教育機構進行了聯合實踐。比如美國的北卡羅納州,西蒙公司在美國格雷漢姆小學進行了云計算項目的嘗試,滿足校內教學資源共享和數字化學習需求,為超過六百余名的師生提供了虛擬桌面云服務,在為他們提供豐富的學習材料的同時,構建了高效共享的資源網絡,師生們無論身處何地,都可以通過計算機訪問虛擬桌面服務。國內,眾多高校也與網絡公司進行了云計算合作項目,比如北京師范大學的“教育大發現”就是一個典型的云服務工具,它通過利用google、維基、好看簿等免費云服務工具將其與校內資源共享平臺相連接,形成了一個高質量的學習研究社區,成功為校內教學科研提供了優質服務。當前教育領域與數據服務的高度結合促使越來越多的結合實踐將重點放在了教育研究與云計算、云服務的結合上,學校方面將個人信息處理遷移到“云”上的傾向越來越強,這不僅僅是教育信息化發展過程中的戰略性眼光和前瞻性實踐,同時也是對云計算時代潮流的把握,是探索嶄新教學方式、資源建設和共享的重要步伐,是利用信息技術輔助教育的關鍵舉措。
三、云計算在高校教學資源網絡構建中的應用
云計算與高校教育資源服務的結合帶來眾多優勢,比如當前積極提倡和推廣的高校教學資源網絡的構建。作為當前數字化建設重要課題,對于高校而言,云計算的應用能夠降低學校軟硬件建設成本,提升資源建設和使用質量。要知道,云計算對客戶端要求并不高,僅需要普通的上網配置就可以實現眾多服務,無需頻繁對硬件設備進行更新換代,應用成本大幅度降低,普及頻率大幅度提升。這種以云服務、桌面虛擬服務等為主要形式的服務,可以隨時隨地展開學習活動,降低了教學對空間環境的限制,學生通過電腦、手機、PDA等就可以在線查看教學資源,也可以將學習任務帶回家,被儲存在云端的數據可以隨時獲取。云端數據存儲相較一般個人資源存儲在安全性上更加有保障,專業高效的安全存儲無疑是最佳選擇,不需要擔心數據的損壞或丟失等問題,更有利于實現數據的共享。目前國內已經有不少企業和教育機構選擇了這種信息服務形式,數據服務與教學資源網絡構建的結合將其眾多優勢服務于教學,利用其強大的協同互補能力提供共享網絡構建,將個人乃至高校置入同一個資源網絡“云”服務中,實現真正意義上的大范圍的資源共享。
就目前來說,云計算環境下高校數字化教學資源網絡的建立還面臨著不少問題,比如教學資源分布不均、更新速度慢、共享程度低、維護建設成本高等,這些都困擾著高校教學資源數字化網絡環境的建立。從這些問題入手,應用數據服務優勢從多方面予以解決,是高校加快、加強數字化建設的必然途徑。從總體架構上來看,國家教育部當前籌建的“互聯網應用創新開放平臺”是高校教學資源網絡模型環境建立的最佳依托,根植于學校自身信息化建設成果,結合統一身份認證平臺和眾多門戶網建設服務,從存儲層、業務處理層和服務層分別入手,完成環境建設。高校教學資源網絡模型架構見圖1。
國家教育部籌建的創新平臺為高校應用創新和資源共享提供了良好的基礎,高校通過依托這個平臺的優勢來完成自身的教學資源網絡模型環境建設,將會事半功倍。這個專業化的平臺服務層面上將會廣大用戶提供一站式的資源下載、上傳、共享等服務,利用分布式只能處理技術完成業務處理并快速響應大量用戶的服務申請,利用數據庫技術和NOSQL(非關系型數據庫)技術完成海量資源的存儲。通過嶄新數據平臺服務于教學,利用數據交換的方式獲得基礎用戶數據,以平臺為用戶出入口,提供資源瀏覽、共享和下載服務,并且對注冊賬號擁護提供個性化服務,將平臺與學校門戶系統相結合,利用統一身份認證系統進入教學資源網絡,從而構建起優質的服務環境。目前來說,教學資源平臺的云計算環境可采用Hadoop作為基礎軟件,采用關系型數據庫服務于用戶基礎數據和教學資源管理,NOSQL技術加上分布文件系統,不僅降低了對軟硬件的要求,且容錯性高,尤其適合超大數據集的應用需求,高訪問量數據交換,解決數據服務、桌面云服務等面臨的通信協議解決難等問題。
比如根據高校需求購買高質量的優勢教學資源,直接入庫,在導入屬性標志后放到資源平臺上供用戶使用,或者整理網上免費資源,整合篩選成優質資源提供下載服務,或者依托高校本身強大的科研師資力量自主開發打造特色教學資源,發揮廣大師生的教學潛力。在資源展示方面,可參考優質門戶網站,設計優質界面,提供便捷服務,方便師生應用索引,通過設置導航、搜索、熱門資源、宣傳推薦、評價、個性化與管理等多個模塊提升廣大師生用戶體驗,打造優質的學校教學資源網絡模型,切實提供多樣化的優質服務發揮數據服務的優點,加快高校教學信息化建設進程。利用云計算技術服務于高校教學資源整合與共享,能夠使得資源管理和利用變得更加高效便利,不過目前這種探索還處在初級階段,需要深入分析風險問題的基礎上解決資源協調、信息安全和資費收取等問題,為信息化進程和水平的進一步提升提供保證。
總之,高校數字化校園的建設離不開云計算的應用,發揮云計算優勢建立優質高校教學資源網絡,有助于充分、合理、高效的整合資源服務于教育,加快完成信息化、數字化,打造新時代特色高校教育模式,利用越來越成熟的云服務技術切實服務于廣大師生。
參考文獻:
[1]林偉偉,齊德昱.云計算資源調度研究綜述[J].計算機科學,2012,39(10).
[2]張鑫.在云計算環境中搭建安全的數字化校園平臺[J].新鄉學院學報:自然科學版,2012,29(6).