本節書摘來自異步社區《數據中心虛擬化技術權威指南》一書中的第2章，第2.2節，作者【巴西】Gustavo A. A. Santana，更多章節內容可以訪問云棲社區“異步社區”公眾號查看

2.2　數據中心網絡拓撲

數據中心虛擬化技術權威指南
一般來說，數據中心網絡可以認為是從園區網絡專門演變而來的。實際上，直到 20 世紀 90 年代晚期，公司將服務器和用戶終端連接到相同網絡結構并不罕見。

圖 2-5 描繪出了一個我和幾個客戶共同見證的網絡設計方案。

如圖 2-5 左側所示，此公司遵循了20世紀 90 年代園區網設計的三層結構（核心 - 匯聚 - 接入），其內部服務器直接連接到了園區核心。而后，關鍵
服務器與這些交換機這樣相連，也是有理由的，因為他們通常都被高度使用而放在園區網絡的中心。

然而，隨著服務器的不斷增加和它們對公司的重要性不斷提高，設計好的網絡也需要不斷發展。圖 2-5 的右邊代表在 2010 年左右客戶網絡的狀態。在此設計方案中，一個單獨的三層網絡結構被設計用來連接公司服務器。盡管兩個結構都會使用相似的網絡設備（以太網交換機），但它們的布置和配置肯定會滿足不同的需求。

不只是一個找茬游戲，桌面和服務器連通的區別可以總結為以下幾點。

故障影響：園區網交換機故障意味著一些用戶將無法使用他們的應用，數據中心網絡故障意味著包括遠程用戶在內的所有用戶的應用都無法使用。

主機連通性：一個普通用戶的桌面只有一個接入園區網的連接，而數據中心的每個服務器通常都有至少兩個以太網連接。

通信方向：據統計，園區網的主要通信集中在接入和匯聚層通往可達服務器的上行鏈路。這種情況不可能發生在數據中心網絡中，因為服務器間的通信是均衡的。

2.2.1　數據中心網絡分層

核心 - 匯聚 - 接入分層的數據中心網絡結構濃縮了多年的網絡集成經驗，起源于第一個互聯網服務供應商（Internet Service Providers，ISP）。由于這種分層方法增強了網絡的模塊性、靈活性和恢復能力，因此在多數據中心項目中已成功應用。

在此結構中，每個交換層計劃為不同的通信情景提供不同的網絡功能。例如，核心層為數據中心進出口通信提供傳送能力。利用專屬的路由特性，在密集的數據中心網絡中，核心交換機提供一個可升級、靈活、能復原的結構來為多對匯聚交換機建立連接。

匯聚層原本是設計用來作為服務器 IP 子網的匯聚點，通常作為它們的默認網關和多對接入交換機間通信鏈路。因此，匯聚層也被認為是接入有狀態網絡服務的中心點，例如防火墻和服務器負載均衡器。

注意：
有狀態網絡設備根據有如 TCP 這樣的協議確定的網絡狀態作出發送決定。相反，無狀態設備僅僅根據一個包或者幀內部信息處理它們。
接入層包含的交換機必須和服務器物理相連。由于這一層處理數量最多的端口，因此它的配置通常目標是簡化改善管理。由于這個原因，接入交換機通常致力于同一子網服務器直接的通信。這一設計方案決定改善了服務器間任何通信交換類型（單播、組播和廣播）。

顯然，核心 - 匯聚 - 接入模型并沒有在地球上每一個數據中心網絡中得到應用。然而，它為一些特殊環境的需求提供了一個綜合的指導。例如，小數據中心也許會將核心和匯聚層壓縮為一層，甚至使用園區核心交換機連接一些匯聚模塊。

而服務提供商大型的數據中心可以僅在核心交換機使用路由，以便在每個服務器上出現所有的IP 子網，無論它們屬于哪個匯聚模塊。

2.2.2　數據中心網絡的設計因素

設計一個數據中心網絡時，網絡專業人員必須考慮相關領域的因素。例如，設計必須考慮到數據中心的增長率（服務器、交換機端口、客戶的數量或任何其他參數）來避免網絡拓撲成為網絡環境拓展的瓶頸。

應用帶寬需求也是數據中心網絡設計的一個重要方面。通常來說，網絡專業人士會超額接受這些需求，并將其轉換成更多相關元件（例如端口和交換機模塊）。在通信系統中，多種元素共享公共資源，超額率是指每個用戶分配到的資源和每個用戶潛在能夠消耗的最大資源的比值。

在數據中心網絡中，超額基本是指每一層交換機可以有效提供給下游設備多少帶寬。例如，如果一個接入層交換機有 32 個 10 千兆以太網服務器端口和 8 個千兆上行 10 千兆以太網接口，那么它對上行服務器流量有 4∶1 的超額率。

通過測試和微調，可以發現在每個應用程序環境支持的超額率并確定最佳的網絡設計方案，以滿足程序當前和未來的需求。

業務相關的決定也會影響到數據中心網絡的設計，如故障范圍的大小。因此，如果一個組織根本無法承受同時失去多個應用環境，那么每個 IP 子網的服務器和匯聚接入交換機的數量將不僅僅是一個技術決定的問題。

應用彈性是影響數據中心網絡設計最重要的因素之一，因為它要求應用和網絡現有機制的完美和諧，例如：

服務器冗余以太網接口應該連接到不同的接入交換機上，并防止“黑洞”（一個活躍的服務器連接在一個孤立的網絡設備上）產生；

網絡與應用服務器相比應該有更快的反應速度。

最后，數據中心網絡的設計者應該知道在不同情況下不同因素的優先級，因為對一個因素有利會潛在對另一個有害。一個經典的例子就是匯聚層和接入層之間的連接拓撲。

圖 2-6 描述了傳統交換機使用的 4 種冗余設計方法。

提示：
匯聚層交換機上的虛線分隔開了這些設備上的交換（2層）和路由（3層）接口。
圖 2-6 中的方案可分為環狀和無環拓撲結構，取決于它們阻止連接損失的機制，例如生成樹協議（Spanning Tree Protocol，STP）。

由于其確定性和靈活性，環狀三角拓撲無疑是數據中心網絡中部署最為廣泛的。在本拓撲中，接入匯聚層的超額率保持不變，以防止上行鏈路或匯聚交換機出現故障。但是，STP 協議并沒有允許所有上行鏈路投入使用。

相比較而言，環狀矩形拓撲增加了接入層交換機的密度，因為每個接入層交換機只需要一條連接接入匯聚層（此情況在 STP 可以通過強制阻斷接入交換機之間的連接來實現）。

此設計方案一個潛在缺陷是，當一個匯聚服務器或上行鏈路發生故障后，到匯聚層的通信超額率會翻倍。

在一個無環 U 形拓撲中，由于沒有環狀結構，所以沒有鏈路被阻斷，但是仍然推薦使用 STP 協議偽裝連接錯誤。在環裝矩形拓撲中，此設計方案允許每個匯聚對接入更多接入層交換機并最優化的利用上行鏈路。但是，無環 U 形拓撲每個 2 層范圍只使用一對接入交換機（不然則會形成環路）。另外，任意一臺交換機發生故障都會使整個匯聚層間 2 層通信停止（包括首跳冗余性協議 （First Hop Redundancy Protocols，FHRP） 的 hello 包）。

除了分享無環 U 形拓撲的所有優勢，無環反向 U 形拓撲在一個 2 層范圍內允許加入超過兩臺接入交換機。但是此拓撲的上行鏈路和匯聚層故障很復雜，因為服務器流量會產生“黑洞”。

在決定使用哪種拓撲時，需要設計師仔細權衡數據中心網絡中最重要的因素。我覺得這不是個輕松的工作。

注意：
我會在下面幾個章節討論生成樹協議以及它的延伸，在第 3 章“網絡虛擬化謙遜的起點”和第 6 章“生成樹欺騙”中，您將了解到一些網絡虛擬化技術是專門設計用來從多設計方案中得到優點、規避缺點的。

2.2.3　物理層網絡布局問題

選擇一個正確的邏輯拓撲并不是數據中心網絡設計的結束。網絡設備和服務器的物理構造確實影響這些結構的效果。圖 2-7 作為例證展示了兩種流行的數據中心針對機架可安裝服務器的物理接入設計方案。

頂架式（Top-of-Rack，ToR）和列端式（End-of-Row，EoR）的設計代表了接入服務器和交換機是如何互連的。它們對整個中心的線纜系統有直接影響。

頂架式（ToR）的設計是基于內機架式服務器和小交換機之間的布線，可以將服務器安裝在一個機架中。而這些設計方案減少了布線，優化了網絡設備的使用空間，從而讓網絡團隊可以去管理更多數量的設備（每個機架兩臺設備，如圖 2-7 所示）。

另一方面，列端式（EoR）設計是基于服務器直接的機架間布線和高密度成列安裝的交換機作為服務器機架。相比較而言，列端式減少了網絡設備數量并優化了設備端口的效用，但是其在活動地板下或者電纜槽內有大量的水平線纜。

如果您問“哪個更好呢？”，那么正確的回答是模糊的“看情況”。實際上，最好的設計方案選擇是根據每個機架的服務器數量、連接速率、預算和運行復雜度而定。

注意：
我會更詳細地討論頂架式和列端式設計方案（和它們的變體）。第 7 章“帶陣列擴展器的虛擬化機箱”會展現一種能讓用戶享受到兩種技術方案優點的虛擬化技術。

2.2.4　ANSI/TIA-942標準

此標準是 2005 年由電信行業協會的 TR-42 工程委員會發表，EIA/TIA-942 電信數據中心基礎設施標準為數據中心的設計和安裝提供了非常有用的指導方針。

協議以靈活性、可拓展性、可靠性和數據中心項目的空間管理為目標，規定了一個數據中心的分等級的可靠性分類，并闡述了重要的環境問題。

特別的，ANSI/TIA-942-2005 也提供了線纜布置和空間布局的最佳實例。有關這些主題，標準定義以下空間和結構化布纜元素。

• 機房：一個主要功能是容納數據處理設備的建筑空間。
• 接入室：提供數據中心結構化布纜和外部建筑線纜（服務提供商或者客戶所有）之間的接口，應該位于機房外面以防止物理層受到安全破壞。
• 主要分布區（Main Distribution Area，MDA）：在機房內部，是結構化布纜的核心點。由于可以自由連接到數據中心其他位置，網絡設備通常位于此區域。
• 水平分布區（Horizontal Distribution Area，HDA）：活躍設備延伸線纜的分布點，同樣在機房內部。小型的數據中心的主要分布區可能可以支撐網絡，可能不需要水平分布區。
• 設備分布區（Equipment Distribution Area，EDA）：一個用來放置活躍設備的空間，設備包括計算機系統和通信設備。在設備分布區，來自水平分布區的水平線纜末端接上插線面板，服務器機架被間隔排布出冷通道和熱通道，以方便溫度管理。
• 區域分布區（Zone Distribution Area，ZDA）：一個位于水平分布區和設備分布區直接的可選互連地點，方便重配置，使系統具有靈活性。
• 交叉連接：是一種設備，使線纜終端能夠和布線系統、子系統、跳線和硬盤端口連接跳線建立連接。
• 骨干線纜：在數據中心結構化布纜系統中提供主要分布區、水平分布區和接入室之間的連接。骨干線纜要求能在一個或者幾個計劃階段內滿足數據中心的服務需求，在不安裝額外線纜的情況下，適應服務需求的增長和改變。

ANSI/TIA-942-2005 標準推薦在骨干線纜上使用分層星形拓撲，在不同區域使用交叉連接（允許非星形配置，但水平分布區之間不能有連接）。標準同時提倡將主要分布區放置在數據中心的地理幾何中心來最小化布線距離。

水平布纜也同樣推薦使用星形拓撲，但是不強制使用交叉連接。對于水平線纜和骨干線纜，標準建議的最大距離是雙絞電纜 90m，光纖 300m。

圖 2-8 展示了如何標準地規劃一個數據中心網絡。

圖 2-8 同樣描繪出了用傳統的三層結構放置交換機的方式，可以設想核心和列端式匯聚交換機都可以放置在主要分布區，以接入數據中心的其他區域。列端式接入交換機通常放置在水平分布區而水平線纜則對應部署在設備分布區。列端式設備分布區的以太網水平電纜可以是雙絞電纜或者光纖（當然，根據服務器接入速率，功率資源和預算而定）。

頂架式的匯聚層交換機可以放置于平行分布區域，因為接入交換機會占用設備分布區域的機架。在這些設計方案中，骨干和水平線纜（在設備分布區和水平分布區之間）為了作出有遠見的線纜投資，都預先采用了光纖。而機架內部的線纜由于混雜的特性能夠更快地適應服務器環境。

這些 ANSI/TIA-942-2005 中的數據中心通信基礎設施標準的內容，是在經過電信行業協會（www. tiaonline.org）書面允許之后重現的。所有的標準都有可能被修訂，鼓勵大家檢查任何標準變化，并應用可能發布的最新標準版本。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的《数据中心虚拟化技术权威指南》一2.2　数据中心网络拓扑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。