EMC存储产品介绍分析（二）：大数据利器Isilon （1）
1、概述
Isilon是EMC收購的NAS集群產品，其最大的特點在于可以進行線性擴展。隨著節點數目的增加，Isilon的性能可以線性增長。在大數據時代，和傳統的Scale?Up存儲相比，Isilon是一款很具競爭性的存儲產品。
2、Cluster?Storage存儲結構
2.1Cluster?Storage分類
Clustered?Storage?architectures?are?changing?the?rules?of?how?data?is?stored?and?accessed。
Isilon在很早就提出了新的存儲體系結構Cluster?Storage，這是Isilon對存儲體系結構的一種分類：
?
?
與DAS、NAS和SAN都有別，Cluster?storage可以被分為如下三種解決方案：
u2-way熱備結構的集群
uNAS集群（Namespace?Aggregation）
u分布式集群存儲（Distributed?Cluster?Storage）
2.2?2-way熱備結構的集群
?
2-way熱備結構的集群實際上就是雙機熱備的方式，這種集群的主要目的是為了提高設備的高可用，采用了全冗余手段，NAS廠商往往將這種技術稱之為“2-way?Clustering”。2-way?clustering主要是為了提高設備的可用性，因此單個設備的體系結構和傳統的存儲結構是一致的。
這種架構與生俱來的特點限制了系統的性能以及可擴展性，小的文件系統容量、管理的復雜性以及相關高昂的HA軟件費用都是該技術推廣的主要障礙。隨著信息量的爆炸式增長，這種解決方案將不會滿足企業未來發展的需求。
2.3NAS集群（Namespace?aggregation）
?
?
NAS集群可以向外提供一個相同的目錄樹，這樣便于存儲的管理。這樣的解決方案完全是一個基于軟件的解決方案。在這種解決方案中，每個存儲節點智能訪問所屬的存儲空間，不能對其他的存儲空間進行訪問。
2.4?Distributed?Clustered?Storage?(DCS)
這種解決方案就是Isilon提出的OneFS方案。這種方案是在N-way熱備冗余和NAS集群的基礎之上發展起來的。
這種方案與2-way方案相比，在冗余度上實為最佳冗余，與NAS集群系統相比，DCS系統中的節點可以訪問所有的存儲空間，而NAS集群中的節點只能訪問所屬的存儲空間。DCS內部的軟件可以使得所有的節點對稱分布，因此，這個集群系統可以構成同一的整體，每個節點都獨立運行自己的軟件，與其他的節點能夠互相通信，傳輸對方需要的文件。由于集群中的每個節點都是相互聯系的，因此，每個節點都知道其他節點的所有事情，正因為這樣的一個特性，distributed?clustered?storage才能提供最高級別的高可用、高可靠和高度的聚合吞吐量。
?
Cluster?Storage三種方案比較總結：
2-way熱備結構 | 文件存儲在一個存儲空間中，這種結構主要是用作高可用的 |
NAS集群 | 向外提供統一的文件樹，但是每個集群節點只能訪問所屬的存儲空間 |
Distributed?clustered?storage（clustered?storage?with?DFS） | 向外提供統一的文件樹，每個集群節點之間都可以互相通信，每個節點都知道其他節點的操作，提供系統的高可用。 |
2.5?Cluster?Storage三種解決方案比較
Isilon的解決方案具備如下幾個方面的特點：
u對稱均衡的集群結構
u可升級的分布式文件系統
u與生俱來的高可用特性
u單一便捷的管理方法
u線性可升級的特性
u企業級存儲要求
?
三種cluster?storage集群方案在這些方面的比較如下：
?
3、Isilon集群存儲
3.1Isilon的多層體系存儲解決方案
Isilon提供多層體系結構的存儲解決方案，在應用層其提供了數據遷移軟件SyncIQ，可以完成基本的數據存儲和數據歸檔任務。在SyncIQ的下方為OneFS分布式文件系統，另外Isilon還提供了系列工業級的存儲硬件。下圖描述了Isilon存儲解決的體系結構：
?
?
Isilon的存儲解決方案中的軟件體系架構如下：
?
?
u在應用層的軟件為SyncIQ?Replication?Software，該軟件的主要作用是用來進行數據遷移，應用于數據的遠程容災、數據信息生命周期管理以及近線或者遠程數據備份。該軟件是文件級的數據遷移操作。
u在應用軟件的下面是解決方案的核心軟件OneFS分布式文件系統。該軟件主要由以下幾大模塊構成：
AutoBalance：該模塊的作用是自動平衡集群節點的數據分布。
FlexProtect-AP：該模塊的作用是完成數據保護等方面的工作，為系統提供高可用的保障
SmartConnet：該模塊的作用是平衡客戶端連接集群節點，使系統的性能達到最優化
SmartRead：該模塊是一個讀操作的一個智能算法
WebAdmin：這是一個簡單的，基于Web的管理工具
3.2Isilon?IQ的產品線
Isilon?IQ產品線的性能和容量之間的關系如下：
?
?
3.3?Isilon?IQ產品主要特性
下面對Isilon?IQ產品的一些主要特性進行歸納。
3.3.1可擴展的分布式文件系統
Isilon集群存儲的核心部分是OneFS，這是一個具有專利保護的文件系統。他由傳統意義上的三層功能構成：文件系統、卷管理和RAID。
?
?
OneFS提供了大存儲空間的管理、快速的文件訪問、內嵌的高可用、簡便的擴容能力、10GB/s的數據吞吐量以及數百T的存儲容量，所有這些功能都來自一個網絡文件系統。
?
OneFS獨特的條帶化文件分布式對傳統一個設備中數據的條帶化分布的一種改進。OneFS為每個存儲節點提供了整個文件系統的布局信息，并且讓每個節點知道文件或者文件的部分存儲在什么地方。
?
3.3.2均衡對稱的體系結構
每個Isilon?IQ集群由3到96個節點構成，每個節點由磁盤、存儲服務器、CPU、內存和網絡，每個節點都封裝在緊湊的2U機箱中。ISilon?IQ節點能夠自動的一起工作，利用集體的力量將單個一體化的存儲變得強大，并且這個系統能夠容忍系統中的任何硬件部件損壞，包括磁盤、交換機甚至于整個節點。
?
在一個完全分布式的體系結構中，讓集群系統中的所有節點都同步的工作是由難度的。Isilon?IQ利用了千兆以太網或者是低延遲的InfiniBand實現了節點之間的互連。通過該互連可以實現同步以及內部操作。這樣就允許節點與節點之間共享信息，也就達到了每個節點都能知道其他節點操作的目的。
Isilon?IQ系統的體系結構如下圖所示：
?
?
在Isilon?IQ集群存儲中的每個節點都能執行讀寫請求，并且每個節點都能代表整個文件系統，所有的節點在集群中都是平等的，所以，這個系統是完全均衡對稱的，避免了層次與固有的性能瓶頸。
3.3.3與生俱來的高可用性
保證數據的完整性，避免單點故障的唯一可行的辦法是將所有節點構成平等對稱的集群。由于Isilon?IQ中的每個節點都是平等的，每個節點都可以處理來自AS端的讀寫請求，能夠為AS提供服務，因此，當系統中的某個節點宕掉，其他的任何節點都可以完成任務，這樣就避免了單點故障。
?
Isilon?IQ支持多節點故障。采用Isilon?IQ系統，用戶可以經受得住多塊磁盤或者整個節點失效，而不影響數據完整的訪問。OneFS的獨特FlexProtect-AP（OneFS中用于數據保護的模塊）特性利用了ReedSolomon?ECC（error?correction?code）編碼、奇偶條帶分布以及文件條帶鏡像辦法。這些策略都可以被設置成任何級別，包括：cluster，directory，sub-directory，或者individual?file?level。在Isilon系統中，所有文件被條帶化的存儲到各個節點中，不會有單個節點存儲100%的文件信息，如果一個節點發生故障，集群中的其他節點仍然可以將100%的文件發送出去，而不需要中止服務。用戶可以針對自己的需求任意的改變某個數據的保護級別。
?
在多種文件級別上，用戶可以設置數據保護方法，不同的數據保護方法具有不同的算法復雜度和數據可用性，這些都可以由用戶來設置，下圖描述了用戶設置數據保護的方法：
?
?
目前，Isilon系統可以支持“n+4”模式，也就是系統中同時存在4個故障點的時候，系統仍然能夠維持運行。可以說，Isilon系統是可用性級別極高的集群。
?
OneFS將條帶化的數據和ECC校驗數據交叉存儲到整個節點中，而不是多個磁盤中，這樣就能得到更高性能的數據保護功能。下圖演示了“n+1”和“n+2”的數據保護方案，當節點或者磁盤遭到破壞之后，系統會自動將數據重組恢復到交叉的有效空閑空間中去。
?
?
舉一個例子，Isilon采用“n+2”的雙ECC糾錯碼，其允許集群系統中兩個磁盤或者兩個節點同時發生故障。一個文件在集群系統中的分布如下圖所示：
?
?
Isilon?IQ具有很好的磁盤恢復性能。在故障事件中，OneFS會將文件自動地重構到分布式的空閑空間中，避免了傳統rebuild過程中需要額外的“parity?drives”。OneFS在數據恢復過程中有效利用集群系統中的空閑空間是有優勢的，通過利用空閑空間以及集群的多處理器計算能力，Isilon的數據恢復能力比傳統體系結構快5~10倍。
?
在傳統的存儲系統中，數據恢復就需要占用處理器的許多時間，并且伴隨著磁盤容量的增大，這個問題在惡化。目前磁盤容量達到500GB，隨著1TB磁盤的出現，傳統存儲系統將需要花費24小時以上的時間去恢復磁盤故障，并且在這段時間內這個系統是十分脆弱的，很容易導致數據的丟失。
?
下圖是Isilon系統與FC等磁盤（傳統體系結構）在rebuild時間上的對比。
?
?
Isilon在自我復原方面具有很強的能力。OneFS不斷的監測所有文件、磁盤的健康狀況，并且維護了一個smart統計信息表，通過這個表可以預見磁盤的失效情況。當OneFS監測到一個部件處于危險狀態，他會強制的將處于危險設備中的數據遷移到有效的空閑空間，這一切的所有操作都是自動和對用戶透明的。一旦數據遷移之后，用戶將會被通知去維修這個處于潛在隱患的部件。這樣的一個特性能夠保證寫入的數據100%可靠，bit-for-bit的正確以及高可用。到目前為止，還沒有其他的集群解決方案能夠提供如此可靠程度的數據保護。
?
在這里再說明一點，Isilon集群在數據恢復的過程中，將需要rebuild的數據恢復到其他存儲空間的剩余空間中。這就相當于一個系統中壞掉一個設備，那么就將該設備從集群系統中剔除，但是不再需要重新加入一個新的節點。以后如果用戶加入了一個新的節點，那么根據數據的均衡分布，系統會自動將數據均衡的遷移到新加入的節點中，從而保證系統最優化的運行。下圖描述了節點發生故障后，rebuild數據的分布。
?
?
第一幅圖為正常情況
第二幅圖為發生節點故障時的情況
第三幅圖為數據恢復之后的情況
?
<待續>
轉載于:https://blog.51cto.com/alanwu/1404774
總結
以上是生活随笔為你收集整理的EMC存储产品介绍分析（二）：大数据利器Isilon （1）的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 快速学习使用 Windows Azure
- 下一篇： Openstack部署工具