CDN关键技术研究与应用—内容路由技术
?
?
內容路由技術作為CDN中關鍵技術之一對業務的支撐效果起著舉足輕重的作用。在LiveVideoStackCon2019上海 大會中，愛奇藝高級技術經理白帆從技術背景，架構優化，特殊場景應用等多方面詳細介紹了CDN內容路由技術的實現并為用戶提供高效的服務能力。
?
文/白帆
整理/LiveVideoStack
?
大家好，我是來自愛奇藝的白帆，視頻業務是目前愛奇藝的主營業務，CDN是支撐視頻分發的關鍵系統，視頻流技術的發展和高清視頻流的應用對視頻分發提出了更高的要求。本次分享的主要內容是如何通過內容路由技術的優化來提升CDN系統服務用戶的能力。
本次分享主要從以下幾個方面進行：
1. 內容路由背景
1.1 傳統CDN架構
?
在傳統的CDN架構中，CDN系統分為若干層，用戶一般是先從Local DNS發起域名請求，如果Local DNS 沒有所需內容就繼續向上層權威DNS請求，并將CDN節點的DNS結果返回給用戶，最終將用戶調度到邊緣CDN節點，通過DNS結果獲取此內容所在的具體網絡位置，這是經典的路由尋址方式。
1.2 P2P CDN架構
?
隨著P2P技術的發展，內容路由技術也有所演進，P2P中有的關鍵模塊是Tracker，其匯聚了所有內容的相關位置信息，終端可以在這些節點上進行注冊，同時也可以從Tracker獲取內容的來源，實現類Mesh的一種組網模式。
1.3 兩種架構的區別
?
上圖展示的是在兩種架構的特性對比。從對比中可以看出，傳統CDN的擴展成本較高，如果要擴展一個點就需要對此進行相應建設，建設CDN要以IDC為條件。國內的IDC節點在三四線城市相對匱乏，擴展成本較高。但P2P的模式是用戶一起來幫用戶提供整體的內容，所以擴展成本相對較低。內容尋址方面CDN采用的是DNS，P2P則是采用Tracker模式。傳輸效率方面，傳統CDN共享邊緣節點的能力，傳輸效率相對較低，而P2P可以利用空閑資源提高數據共享效率，這也是P2P CDN資源利用率比傳統CDN更高的原因。傳統CDN分層級架構較為簡單，所以容易管理，但P2P CDN在節點聯動和不完整內容共享上都存在比較難解決的問題。在流量有序性方面傳統CDN采用流量區域控制，P2P CDN的流量處于無序的狀態。以上便是傳統CDN和P2P CDN兩種架構的主要區別。
?
1.4 媒體新體驗帶來的新需求
視頻流媒體新體驗帶來了高清、4K/8K、VR、媒體移動化、短視頻和5G新場景這些新的元素，同時無疑也對系統提出了播放必須穩定、必須秒播、必須高清、帶寬足夠大和延遲足夠低等多種要求。
?
1.5 內容路由定義
CDN涉及到的關鍵技術包括：內容路由、內容分發、內容存儲和內容管理。終端、邊緣和云統一形成了CDN的基本業務架構而且同時承載了端到端的業務邏輯。終端網絡特性結合云端策略實現針對性的內容調度和路由的方法，終端感知本身所處網絡的特性進行正確的解析行為，并將這些特性同步到云端，云端結合全網狀態形成調度策略動態匹配終端和邊緣的服務關系。本文主要講解云和邊緣針對于內容路由方面的業務實現及優化方案。
內容路由是指將用戶的內容請求導向全網CDN中相對請求者的最佳服務節點，通常CDN的內容路由功能由CDN調度體系來實現，DNS、負載均衡和網絡路由等都是比較常用的實現方式。愛奇藝在融合多種技術于CDN工作模式中，統一調度體系保障用戶體驗。
2. 系統優化實踐
2.1 內容路由實踐方向
?
內容路由實踐方向主要從系統架構和網絡兩個方面進行優化保障。
2.2 系統架構優化
2.2.1 系統架構建設目標
?
系統架構優化的第一個目標是一跳到達內容，這需要讓用戶內容請求路由到某一個明確的位置，國內網絡存在流量重復下載和流量繞轉問題，如何使用戶一次請求獲取到具體的地域、運營商、節點、服務器、磁盤和目錄便是系統架構建設的第一任務。第二個目標是最優的節點服務能力，根據具體用戶請求內容返回給請求用戶的服務節點不止需要有用戶需要的內容，而且必須有足夠的服務能力保障用戶下載服務。第三個目標是請求MISS后的用戶體驗保障，當無法給請求用戶提供精準的可服務節點時，不能降低用戶體驗。
2.2.3 實現關鍵指標
?
上圖中列出的關鍵指標會影響到用戶的使用體驗，從網絡方面來講，服務器網口狀態、接入交換機狀態、IDC出口狀態、線路狀態等都是需要考慮的內容。從內容方面來講，有內容存儲位置（IDC、Server、Disk）、內容更新和內容存儲規則等問題需要考慮。從單服務器節點角度出發，Load、IO、MEM、進程、線程、并發連接等問題需要考慮。這些指標都需要我們進行關注和分析。
2.2.4 系統建設之構建CDN控制面
?
常規調度是把用戶分配到最近的節點（節點內容有無不確定）上去，根據來源地址和請求內容Hash到某個服務器之后再Hash到某個盤上（盤里有無內容不確定），種種不確定因素導致傳統的調度系統無法保證其優質的服務能力。這種方式從網絡來說是最優的解決辦法，但從服務能力來講傳統調度方式存在一些問題。所以我們在構建CDN控制面時提供了一個整體的策略中控，CDN節點上報服務狀態到策略中控，中控根據這些數據結合外圍用戶的請求數據形成策略并應用到分發、同步、調度和回源。用戶在發送請求內容時，調度進入索引服務，根據全網的服務情況找到相應節點為之服務。中控生成的策略會影響分發，生產內容之后根據相應的分發策略到全網的節點。在承載層中用到多點回源。
2.2.5 精準調度——一跳到達
?
一跳到達是通過索引服務來實現的，索引服務分為緩存節點和預存節點兩種，緩存節點數據動態更新過程和索引服務同步，通過本地磁盤索引管理模塊實時通告內容的變化信息。預存節點是向相應節點預推相應的內容，此內容在索引中注冊并和節點綁定作為調度的依據。
2.2.6 點選
?
服務請求需要通過一定的節點選擇算法，根據節點實時運行數據和節點的歷史趨勢數據判斷節點當前的服務能力，最終提供給用戶最佳的服務節點。
2.2.7 節點數據共享——MISS體驗保障
?
在點選算法因為某些原因沒有找到用戶請求的內容時，結合當前網絡全域針對此內容的請求情況，根據基本服務能力將用戶調度到次優節點，此節點可以通過其他有數據的節點同時獲取內容，保障內容能夠最快的獲取并推給用戶，使得內容在網絡中達到均衡狀態。
2.3 網絡優化
2.3.1 網絡優化目標
?
網絡優化的目標有三個，第一，為了使內容接近用戶，需要把內容下沉到邊緣，同時網絡提供一定的保障方式。第二，統一入口可以很大程度上減少系統管理的復雜性，提高內容路由的效率。第三，流量重復和流量繞轉是影響用戶體驗的兩個關鍵因素，內容下沉可以解決流量重復問題，而流量繞轉最好的解決辦法就是互聯互通。
2.3.2 內容下沉之奇速播
?
為了解決內容下沉問題，愛奇藝推出了一個CDN擴展方案——奇速播。從毛細血管來看系統存在IT基礎設施薄弱、用戶規模較小和難以形成集中熱點三個難點。通過奇速播可以把相應的存量計算/存儲資源合作利用。奇速播的工作模式是依靠可定制的播單引導并收攏用戶的視頻點擊行為，用戶點擊播單內容，通過愛奇藝調度系統，由部署在ISP內網的播單服務器交付文件。
2.3.3 Anycast——統一入口
?
Anycast使得DNS對用戶提供統一的服務接口，憑借這個接口我們可以在任何地方給用戶提供不間斷服務，任何節點出現問題用戶可以通過動態路由導到其他節點，網絡通過BGP的方式連接每個城市的核心節點，用戶在任何地方訪問都只有一個入口。
2.3.4 Anycast——統一出口
?
系統本身內部節點也需要與外部進行交互，所以在網內和網外之間加了一層Overlay加速平面，Overlay是全基于虛擬化來實現，把物聯網的路由全部打碎，所有的用戶在對外訪問時需要在中間Overlay層做路由優化，通過SDN方式把流量導向最優出口。
?
總體來說Anycast統一入口可以面向業務請求者同一訪問地址、使得單點故障后路由自動倒換收斂、解決DNS劫持帶來的業務不穩定性和簡化內容路由系統架構。
2.3.5 互聯互通——BGP對等互聯
?
互聯互通可以很大程度上減少流量繞轉所帶來的訪問延遲，讓用戶通過最短的路徑獲取到所請求的內容。ISP通過多點對等互聯可以解決因為單點故障帶來的業務中斷問題。
3. 特殊場景舉例
3.1 移動場景下內容路由
?
相對有線網絡，移動網絡CDN加速實現更加復雜，隨著無線網絡技術的發展，移動網絡中內容加速技術也隨之發生改變。5G MEC（邊緣計算）在移動網絡中將內容下沉到用戶邊緣提供了解決方案。
?
終端定位由移動終端本機獲取基站位置信息，通過MEP公共接口獲取位置信息。節點匹配MEC唯一編碼和基站信息建立對應關系，通過基站信息可以找到匹配的MEC服務點。節點調度根據終端位置信息和下沉節點的匹配信息判斷使用哪個邊緣節點為用戶提供服務。
3.2 封閉場景
?
封閉場景是在外網無法持續性提供服務的情況下，通過內容下沉來解決本地用戶快速獲取服務。用戶終端通過組播/廣播方式在本地網內尋找服務點，并從服務點獲取相應的業務服務。
3.3 奇速播5G-MEC案例——5G+8K+VR
?
2019年第一季度，愛奇藝和中國聯通北京公司聯合測試，通過奇速播落地5G場景，提供了VR視頻、8K視頻的極速播放體驗，VR視頻和8K視頻這類高碼流的技術應用在5G場景有更顯著的播放效果。
4. 展望
?
最后介紹一下CDN系統對內容路由技術的展望，在覆蓋方面，希望之后CDN服務節點能滲透到網絡的細枝末節，讓用戶享受到低延遲的網絡環境。在網絡方面，希望流量在網絡的路徑更合理，通過網絡的方式幫助用戶更快的找到資源，下載資源，并能針對不同的流量提供定制化的服務保障。在智能化方面，隨著數據智能化的程度越來越高，我們希望通過更靈活的策略、更加準確、高效的為用戶提供服務。最后在適用性上，希望業務支撐能力的下沉可以給節點的靈活部署提供支持以此來給用戶帶來更好的使用體驗。
總結
以上是生活随笔為你收集整理的CDN关键技术研究与应用—内容路由技术的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 从网络、编码、内容感知、存储、分发看视频
- 下一篇： Xilinx软硬IP双管齐下解决音视频处