前言:想要寫出一篇引人入勝的文章?我們特意為您整理了云計算分布式容錯技術研究范文,希望能給你帶來靈感和參考,敬請閱讀。
摘要:伴隨云計算和物聯網等技術受到推廣和使用,以往的存儲陣列早已不能達到飛速增長的數據存儲需要。分布式存儲擁有超規模的數據處置能力,同時無論是擴展性、可靠性還是成本上均表現得極為出色,漸漸變成了公有云存儲的主流產品。此外,為提升云計算的運行效率,本文提出了云計算存儲的架構和容錯技術,并加以探究,論證了其達成過程和重要技術。通過實驗發現,該容錯技術性能優良。
關鍵詞:云計算;傳統存儲;分布式存儲;容錯技術
科學技術的飛速發展,云計算模型也在持續健全,當下云計算的發展已經成熟且受到廣泛使用。云計算作為一類資源共享的商業計算模型,每天要接受的數據量很多,并且數據化量還在持續增加,給計算環境中的分布式存儲帶來了很大的威脅。分布式存儲的重要技術是云計算的主要構成部分,它所存在的問題將會成為云計算發展和推廣的阻礙。本文將對該技術加以分析。
1云計算技術
(1)作為服務的云計算技術是信息技術
IaaS是計算服務提供方式之一,它就像水、電、氣的供應一樣,只要擰一下龍頭或開關,不需要自己就可以建造復雜的管線和線路。優秀的云計算平臺可以把目前的軟件作用有效發揮,提供設備性能,在消費IT服務時,跟消費水、電、氣同樣便利。云技術主要包含IaaS、PaaS、SaaS三種模式。使用云計算技術,用戶可以在基于Web的平臺上進行操作,無論何時,無論何時,只要能連接互聯網,任何地方都可以使用終端設備,能夠訪問所需的程序和文件,以鏈接到數據,處理工作任務。
(2)虛擬化技術
目前計算機硬件設備發展迅速,盡管設備不錯,但性能也在提高,但是無法提升資源使用率,借用虛擬化技術,可以重新分配資源。軟件技術可模仿硬件設施,可以在一臺或是多臺設備上運轉,使該計算機的資源使用增加,在此之前可能需要五臺機器來運行的程序,僅用一臺計算機就能運行,極大地節約了能源。云的概念主要是用虛擬化技術向用戶提供一臺機器,其功能與實際設備相同,使用者不必知道這種機器的位置,也不必擔心如何管理和維護,管理人員可以根據用戶的需要提供服務。一般而言,Virtualization是一種資源管控技術,存儲空間、硬件、計算機軟件等資源重新配置時,原來每個設備只能提供給一位用戶使用,但Virtualization可以分開這些資源,使資源得以充分利用。
2云計算下分布式存儲安全性面臨的問題
在云計算基礎上,分布式存儲技術以“云”為根本,有自身特征,首先,大量數據集中存儲在多個數據中心,這給數據中心的存儲空間帶來了巨大的挑戰。與此同時,云服務消費者需要從數據中心讀取和寫入數據,這使得數據訪問成為更大的瓶頸。為盡可能地提高空間利用率,加快數據存取速度,減少數據中心中傳輸帶寬的壓力,一定要有個小冗余,該容錯技術可以極大地節省帶寬資源。網絡編碼容錯技術的出現,為滿足上述需求提供了可能。但是在前面章節的介紹中可以看到,以網絡編碼為基礎的容錯技術可以從網絡中獲取足夠的數據塊,能夠將系統存儲的原始數據恢復到原來狀態,這個特性提高了系統的可靠性,再次成為系統的安全瓶頸。在云計算環境下,數據中心網絡相互依賴、相互連接,因此必須將數據中心向外開放,而數據中心之間又常常是地理距離較遠的,很難控制數據中心中所有存儲節點的情況,這一特點還使攻擊者能夠輕松地利用數據中心的開放以實現對“云”的攻擊。所以在云計算環境中,分布存儲器數據中心網絡結構不但要保證傳輸的可靠性和效率,還要保證網絡設備的安全可控;將容錯技術應用于分布式存儲,同時具有較小的冗余高可靠性,具有節約帶寬、同時要保證安全,防止仿冒、串謀等攻擊。針對這一問題,本文提出了一套安全容錯系統的設計方案,該系統包括數據中心網絡安全架構和安全容錯編碼,以保證云計算環境下分布式存儲數據的安全可靠。
3云計算下分布式存儲關鍵技術架構
(1)將服務器當作數據中心
還可以將服務器用作數據中心,而將服務器用作數據中心的機制與將交換機用作數據中心的機制完全不同。該服務器并非專用數據存儲設備,其作用是在與因特網設備相連的前提下,對因特網上的數據進行轉發。與用于數據中心的交換機相比,顯然,使用服務器作為數據中心更簡單,但是,把服務器當作數據中心來使用也存在嚴重的問題,也就是說,它的數據鏈路比較長,不但減少存儲效率,另外,它本身對于較小的存儲空間也有一定的影響。上述兩個缺點也是需要改進和創新的。
(2)將交換機作為數據核心
用作數據存儲裝置,交換機可連接網絡系統和數據中心。接通電腦后,能夠實現數據包存儲、轉送、處理等。把開關看成是一棵樹,它包括三個部分:聚合層、邊緣層和核心層。將交換機作為數據核心的利弊,是顯而易見的。優勢在于操作簡單,與服務器連接后更易擴散。不足在于存儲數量少,已經跟不上時代。必須將其存儲空間和靈活性加以優化。
(3)結合交換機和服務器優點
將交換機與服務器混合在一起,機理如下:首先,將交換機作為連接實時網絡系統和數據中心,在數據包上繼續存儲,傳送與處理,將帶有Internet設備的服務器作為次要對象,它還有助于交換機處理數據包、轉發和存儲工作,這使得以服務器為數據中心、以交換機為數據中心的優勢得以最大化地發揮出來,與此同時,如果能將這兩個中心作為數據中心,數據存儲空間將獲得補充,彌補數據存儲效率不高、數據鏈路過長等缺陷,對云計算的發展是非常有用的。
4系統試驗
(1)密鑰整體架構
密鑰服務器客戶端由三部分構成:交互模塊、存儲模塊和運算模塊,下面介紹三個模塊的功能。交互模塊:交互模塊主要有兩種,第一種,負責與系統中的密碼模塊互動,獲得密鑰服務器的密鑰并將認證所需信息提供給密碼模塊;第二種,負責將數據傳輸到客戶端的存儲模塊和運算模塊。存儲模塊:存儲模塊負責存儲密胡的密鑰、驗證信息和分享秘密。運算模塊:運算模塊會共享秘密和為交互模塊供應所需的運算技術。
(2)存儲服務器客戶端架構
存儲服務器客戶端架構類包含五部分:存儲數據交互模塊、編碼數據存儲模塊、數據恢復服務器模塊、身份驗證信息存儲模塊和運算模塊,以下是五個模塊的功能介紹:存儲數據交互模塊為存儲服務器和系統存儲管理模塊提供交互接口,從系統存儲管控模塊獲得存儲數據,同時發送到編碼數據存儲位置;負責將服務器作為數據恢復服務器,存儲獲得外加存儲服務器的數據;運轉過程中為保證安全性,將獲得的密鑰服務器共享碼交到運算模塊。編碼數據存儲模塊:用于保存編碼資料。數據恢復服務器模塊執行數據恢復操作。身份驗證信息存儲模塊在運行時,認證信息存儲模塊的功能與系統運行的安全編碼算法相關,并進行安全編碼,身份驗證信息存儲模塊存儲了服務器的身份驗證信息,該信息用于獲取密鑰服務器的共享秘密。運行模塊:運行模塊主要用于安全編碼,用于還原編碼的秘密,數據恢復操作模塊用來進行數據恢復操作。
(3)分布存儲架構中容錯技術的實現
分布存儲技術是分布式存儲的關鍵技術,是系統可用的數據容錯技術,其對可靠性和數據訪問效率的干擾是十分顯著的。數據容錯技術一般利用增多數據冗余來達成,因為冗余數據可以使失敗和丟失的數據被發現,并且,存儲資源耗損也在增多,所以,要確保容錯能力,盡可能提升對存儲資源利用率,還可以減少成本。在目前階段,最常用的技術分為兩種,一是基于容錯復制技術,二是基于糾刪碼的容錯技術。對于復制式容錯技術來說,可以為一個對象創建多個數據的同一副本,而且,它所創建的多個拷貝可以分布到不同的存儲節點。要使這項技術更加有效,一般情況下,以復制為基礎的容錯技術需要關注數據的組織和復制策略。用這些方法,海量數據對象和管理復制的方式是數據結構的主要研究對象,復制的生成時間、拷貝的數量、拷貝的位置等都是數據復制策略需要研究的問題。會有較多的因素干擾數據的復制方式,比如運用需要、網絡環境、數據存取方式和存儲空間,等等。在研究復制方式時,應該從復制策略入手,具體為關注并討論拷貝的創建時間和數目,設置策略主要是改善數據的容錯性能,當拷貝失敗時,允許用戶從其他拷貝中獲取數據。容錯技術以糾錯碼為根本,此技術源自編碼技術,能夠允許多個數據幀的丟失,因而可以加入存儲域。通過這種方式,技術可以容忍多個數據塊失效,其中,編碼容錯技術又是被運用最為多的。基于編碼的容錯技術是一種經過多個數據對象而出現的一種編碼方式。這樣做的目的能降低完全復制產生的存儲開銷。但由于計算量太大,維修費用太高是它的弊端。
5結束語
總之,科技飛速發展的今天,云不知不覺地改變了我們的生活,它以一種新的計算方式改變了世界,云計算還可以更新時調整數據環境,從而更有效鏈接更多數據點和網絡設施。IT行業的飛速發展,帶動了分布式存儲技術的發展和進步,改進數據的容錯能力,并使用多種節能技術減少能源損耗,其擴展性強大,在實際生活中,屬于分布式存儲的數據中心。
參考文獻:
[1]李鑫,孫蓉,劉景偉.分布式存儲系統中容錯技術綜述[J].無線電通信技術,2019(5):463-475.
[2]郭威,謝光偉,張帆,等.一種分布式存儲系統擬態化架構設計與實現[J].計算機工程,2020,514(06):18-25.
[3]孫黎,蘇宇,張弛,等.分布式存儲系統中的糾刪碼容錯方法研究[J].計算機工程,2019(11):74-80.
[4]李浩,樊鵬華.關于云計算環境下的分布式存儲關鍵技術分析[J].電子世界,2019,578(20):189-190.
作者:李振 單位:浙江長征職業技術學院