英特爾在云存儲軟件的解決方案
時間:2020-03-25 14:03:30 作者:無名 瀏覽量:55
在北京以數據造化智見未來為主題的2013中國存儲峰會在北京盛大開幕。作為一年一度的中國信息產業界領袖級會議,本次大會得到了中國軟件行業協會、中國計算機學會存儲技術專業委員會、武漢國家光電實驗室和國防科技大學計算機學院的大力支持。在下午軟件定義與數據中心論壇上,
英特爾亞太研發公司基礎架構實驗室高級軟件開發工程師周淵為大家現場分享軟件定義云存儲解決方案,帶給大家全新的云存儲軟件的趨勢與觀點。
在演講現場,周淵分析道,軟件定義存儲這個概念大家都在談,但僅靠幾個名詞很難有深入的理解,對此給大家分享一個英特爾實際在做的關于對象存儲的項目,希望能對大家有幫助。首先是關于對象存儲的一些基本概念,大家可能理解最多是本地文件系統,比如本地的一塊硬盤格式化成NTFS,向應用程序提供了Posix接口,然后是傳統的分布式文件系統,也會向應用程序提供Posix接口。而對象存儲有所不同,通常來說一個對象存儲,首先會有一套RESTful 的接口,然后是一個代理/控制節點,主要做關于數據定位,最后面就是真正的存儲節點,用于存儲數據。與傳統的文件系統比,最大的差別在接口。
另一方面,值得注意的是對象存儲系統持久性,通常有三種機制,第一種就是說對于非常“熱”的數據可以用副本機制,對冷一點數據可以應用糾刪碼機制,實際情況中采用混合的方案:既有冷數據也有熱數據。這里其實也可以理解為是一個區分的服務等級,“比方說你給我最多錢就讓你用三副本的形勢來存儲。”對象存儲在過去幾年時間里面發展非常快,Amazon S3已經有2萬億數據,每秒鐘請求數有110萬。
英特爾在云存儲軟件的解決方案圖二
Erasure Coding很早就出現了,一直在不同的領域變動進化。實際上,其基本思想是,把數據切割成小塊的形式,再對這些小塊數據計算校驗碼得出校驗塊,這樣當原始數據塊丟失時,可以通過校驗塊計算出原始數據,于是可以容忍一定程度上的數據丟失。總結來說就是用CPU資源節省存儲資源。英特爾對此專門來做存儲相關的一個庫,提供英特爾® 架構上erasure code,壓縮等的支持,從實驗數據來看,這個庫性能是很不錯的,我們也正嘗試把它開源。現在這個項目也利用了這個庫在Swift里面支持Erasure Coding。
對于Swift來說,可以這么理解,它是Amazon S3的替代品。最早是由Rackspace共享出來給OpenStack提供存儲對象的一個項目。首先它有一個RESTful的接口來訪問,其提供container模型來組織對象,針對非機構化數據來提供最終一致性。當然最重要的一點就是說它提供了一個很好的擴展性:可以用最普通的硬件組建的
服務器就可以把它擴展好。比較具體一點來說Swift 里有個Ring的概念,Ring是一組內部的一致性hash表。當大家在硬盤上存儲數據的時候,Swift通過Ring里的算法,可以保證三個副本放在盡可能不同的位置,不同副本之間盡量不產生影響,同時后臺會有一些不同的進程來維護一致性。值得注意的是,Swift不是分布式文件系統,不提供Posix的接口,不支持ACID語義操作,不是NoSQL數據存儲,不提供對塊級別存儲服務。
從總體來看,Swift分成幾個部分,最前面它有Proxy節點負責處理所有的請求,并將請求發至后端存儲節點去訪問真實數據。Swift的結構很清晰,里面正好有一個proxy,像一個程序的入口出口一樣,所以英特爾考慮在這個節點上做文章,在讀寫請求做Erasure code編
解碼。然后以Container為模型來組織數據,通過container的元數據(metadata)來識別其中的對象是否被編碼過。這和現有Swift架構保持一致,還可以同時支持線上和線下的Erasure code。通過更加靈活的配置及優化策略,可以更好地做一個Tiering的解決方案,在這里英特爾更多是定義好一個機制而非策略,策略可以根據用戶自己的需要去定義。
12下一頁>
- 軟件性質:國外軟件
- 授權方式:共享版
- 軟件語言:簡體中文
- 軟件大小:17668 KB
- 下載次數:1663 次
- 更新時間:2020/3/25 10:35:45
- 運行平臺:WinXP,Win7,...
- 軟件描述:Intel Rapid Storage Technology即英特爾快速存儲技術... [立即下載]
相關資訊