交通擁堵已經成為當今時代與每個人息息相關的問題，它直接影響了我們在現代社會的生活體驗。傳統的分布式交警管控方式，已無法解決急速擴張的汽車保有量與緊張的公路資源之間的矛盾，這顯然也不是互聯網時代解決問題的一貫思路。所以我們有了品類繁多的互聯網導航系統，它可以在出發前就根據全城的實時路況為駕駛者推薦最優路線，甚至當途中突遇堵車時，可以快速調整路線。這是一個看上去很棒的方法，前提是所有的駕駛者都會聽從電子導航的指揮，但看看路上的漫漫長龍，就能感受到現實的骨感。假如能有一個超級警察，可以讓所有的車輛都按照規定線路行駛；并且摩托車、小汽車、大貨車的通行情況可以根據當前的路況隨時調整；當發生擁堵時，可以讓救護車、消防車、公交車等具有暢通無阻的特殊通道，相信城市交通問題將大大緩解。那么問題來了，這個超級警察什么時候才能降臨呢，5年后，10年后，也許更久。但這科幻般的場景，在騰訊的網絡世界里已然來臨。

2017年12月，騰訊DCI網絡深圳Region成功上線了全球首個基于交換機實現的SDN集中控制的Segment Routing Traffic Engineering方案。該方案經過三年多的研究探索及15個月的開發測試，基于Segment Routing技術和SDN思想，率先實現了對10w服務器級別的IDC園區間通訊，進行全局視角的、帶寬利用率和鏈路質量等多維度、可定義約束條件的智能調度。騰訊DCI網絡向著打造軟件定義的、開放的高度智能化網絡的目標又邁出了重要一步。

圖1 網絡拓撲展示示意圖

背景介紹

騰訊DCI網絡自創建之初，至今已經歷過數次技術演進，其中2011年的IP向MPLS技術的演進，是騰訊DCI網絡發展的重要里程碑之一。隨著騰訊在各領域業務的極速增長以及開放生態的需求，DCI網絡需要提供多業務承載的、靈活性和擴展性更強的QoS能力；另一方面，傳統的基于IP路由技術的網絡，在流量調度方面的能力顯得捉襟見肘。

MPLS技術在運營商網絡中已有超過十年的成熟應用，基于MPLS技術實現的RSVP-TE協議，提供了完整的流量工程方案，網絡設備可以基于不同的服務等級進行隧道帶寬預留和路徑計算。但是RSVT-TE由于協議設計和實現的復雜性，在實際應用中遇到了很多問題。比如其復雜的協議交互流程，對設備的軟件實現帶來了很大的挑戰，并且當網絡規模不斷擴大，TE Tunnel數量逐漸增多，所有隧道路徑的首節點、傳輸節點、尾端節點都需要維護大量的LSP信息，這對于設備性能的消耗十分顯著。

如今騰訊在全球已擁有百萬級服務器規模，面對如此龐大的網絡，以及在云上用戶業務對網絡性能提出的更加嚴苛的要求下，我們必須選擇一個更加有效的流量工程方案。也正是在這樣的背景下，騰訊DCI網絡在剛剛過去的幾周，完成了再一次的重大技術演進，基于SDN集中控制的SR-TE流量調度方案成功上線。

Tencent Defined SR TE

Segment Routing技術自提出以來就在行業內引發了廣泛的關注和討論，作為以太網領域“繼MPLS之后最具革新意義的網絡協議”，現在已經具備了多個RFC draft，同時業界主流網絡設備供應商也紛紛在軟硬件方面提供了全面支持。但是至少到目前為止，還沒有形成一個統一的、標準的應用方案。騰訊作為全球互聯網行業的領導者和先行者，結合自身網絡場景特點和需求，借助SR和SDN技術自主設計了完整的SR TE集中控制流量調度方案。該方案無需網絡設備供應商對現有IGP協議進行拓展開發，SR相關控制層面完全由控制器實現，為方案的快速落地和穩定運行奠定了基礎。之所以選擇了SR技術，除了其在設計理念上利用了源路由技術天然避免了LSP對傳輸節點和尾節點的壓力，更是看重了其與SDN思想完美結合的能力。傳統的分布式流量工程方案只能基于單一節點進行流量調度，引入了SDN控制器，就可以實現基于全局信息對Tunnel進行路徑計算，從而達到提高整網利用率的效果；同時，將路徑計算的控制層轉移到控制器，為用戶自定義、可編程的實現流量調度提供了極大的便利。

圖2 方案部署流程示意圖

為了提高方案的可靠性，我們設計部署了TE的Hot-Standby保護、多場景的BFD保護等方案，同時結合控制器和智能網管系統開發實現了一鍵隔離、一鍵逃生等功能，確保在鏈路故障、網絡節點故障、控制器故障等場景下業務流量可以進行優雅切換。

開放定制的控制系統

作為一個SDN集中控制方案，在設計時對轉發層面進行盡量簡化的同時，勢必將更多的控制層功能上移到了控制器，在邏輯上增加了控制器的實現復雜度，這也是SDN控制器最有價值的部分。考慮到騰訊復雜、多廠商設備共存的網絡場景，我們選擇了具有豐富南向協議、平行可擴展的開源控制器平臺Opendaylight作為我們底層的核心控制器平臺，并結合SR-TE流量調度方案進行了定制化的開發與增強。

圖3 SDN控制器架構示意圖

圖3為我們控制器的一個整體架構。在南向，我們使用當前成熟的BGP-LS協議動態收集網絡拓撲與TE屬性，并結合騰訊智能網管平臺所提供的多維度網絡參數（i.e流量，延時，丟包率等），使用定制化的路徑計算算法進行TE LSP路徑的動態實時調整，以實現“上帝視角”的網絡資源最優分配。在網絡故障或擁塞場景下，算法可根據隧道優先級進行智能優化，優先將低優先級隧道繞行，解決網絡擁塞問題，同時保障網絡SLA。在騰訊復雜的網絡場景下，存在著多廠商轉發設備共存的環境。在控制器南向方面，我們使用成熟的NETCONF協議。同時，我們致力于推動基于OpenConfig YANG的配置標準化。通過統一模型，屏蔽多廠商設備差異，實現轉發設備的統一管理和配置。未來，我們會繼續探索更加高效的南向通道（如：BGP SR-TE Policy等），以實現控制器更加快速敏捷的調整網絡路徑。在可靠性方面，我們增強優化了開源ODL平臺的集群機制，解決了網絡延時場景下數據同步效率問題，實現了控制系統的跨區域部署容災，提供了最可靠的DCI網絡控制系統。網絡的開放性一直是我們在SDN探索道路上的目標之一。在SR-TE流量調度系統中，我們將智能網絡路徑計算能力通過控制器北向接口開放給騰訊豐富的業務場景，實現業務定制化的網絡算路請求。如：流量負載均衡、延時最短、丟包率最低等。

簡化的數據平面

完善的SDN控制器設計和實現，大大降低了對轉發設備的復雜度要求，讓整個方案在基于ASIC芯片的交換機上實現成為可能。無論交換機廠商采用商用套片還是自研芯片，只需要在現有邏輯下增加對Segment Routing相關表項和標簽棧封裝的支持即可，無需對現有Pipeline進行改變；另外通過對現有ACL能力的運用，可以完整的實現CBTS（Class-Based Tunnel Selection）功能。這意味著我們不需要再通過購買昂貴的基于NP芯片的路由器來實現復雜的流量工程，每100G網絡建設成本下降為之前的1/10甚至更低。隨著ASIC芯片廠商對于用戶最前沿技術需求的不斷追逐，以及芯片設計上逐漸提升的可編程能力，我們看到尤其在OTT基礎網絡場景中，交換機和路由器在能力上的界限已逐漸模糊，相信未來成本相對較低的基于ASIC芯片的核心交換機會成為DCI網絡的主流。

收益與展望

全新的流量調度方案幫助騰訊提升網絡平均帶寬利用率15%以上，在每年超過100T的數據中心互聯帶寬建設背景下大大降低了網絡建設成本，并且對多點故障等極端場景下引發的流量擁塞可實現秒級自動檢測和調度。未來隨著骨干網IPv6技術的推進，基于Segment Routing技術的流量調度方案也將會隨之進行更具有創造性的演進，諸君敬請期待。

本文轉自“鵝廠網事”公眾號

總結

以上是生活随笔為你收集整理的腾讯DCI上线基于集中控制的SR-TE方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。