本篇文章中，吳桐將向大家介紹網易云信NRTC融合架構、RTC視頻會議場景優化方案以及他個人一些前瞻性的思考和展望。

網易云信NRTC融合架構

NRTC是NetEase Real-Time Communication的簡寫，是網易云信自主設計研發的全功能工業級音視頻技術框架，它可提供以下功能：

（1）NRTC提供實時音視頻與低延時直播功能，這一方案是基于UDP的，低時延流暢，這一能力可以用于音視頻交友、在線教學、多人視頻會議等多種場景；

（2）NRTC同時也提供傳統直播功能，這一方案是基于TCP的，可以提供高品質的直播能力，這一能力可以用于秀場直播、游戲直播、大班教學等場景；

（3）NRTC也可以將（1）和（2）的能力結合，提供旁路直播功能，通過上麥下麥控制用戶在連麥和觀眾模式間切換；

（4）NRTC提供點播與轉碼功能，通過融合CDN實現海量分發；

（5）NRTC提供短視頻功能，提供了短視頻SDK；

（6）NRTC同時使用小程序網關和WebRTC網關來接入微信小程序音視頻和WebRTC。

綜上，NRTC能夠提供的能力是非常全的，相關的功能也非常成熟穩定，NRTC支撐了網易內外部各個客戶的海量應用，譬如網易云音樂、網易新聞、有道、云課堂等等。

那么我們是如何將低延時與CDN分發網絡結合的？

?

低延時部分無論是否有上行數據，都采用UDP協議接入我們上面提到的低延時網絡中，由低延時分發網絡來保證所有參與方的低延時體驗，如果需要和CDN分發網絡融合，會由其中的一個Mesh節點，將所有上行數據發送給旁路MCU服務器，旁路MCU服務器會向融合CDN控制中心請求調度融合CDN源站節點，旁路MCU服務器做音頻與視頻的混合后，轉發給我們的融合CDN源站，由融合CDN源站根據融合CDN的配置情況向一個或者多個CDN推流。

用戶可以根據自己的需求以及對費用情況，選擇定制是否要旁路到CDN，選擇融合CDN情況。

RTC視頻會議場景優化

在融合架構的最后，我想和大家就RTC視頻會議場景做一些交流。

RTC視頻會議場景的需求和復雜度比單向直播要大的多，視頻會議中各個終端的觀看需求不同、網絡情況也各不相同。因此為了做好視頻會議，我們需要有一個完善的發布訂閱系統，同時配合好服務端的智能選擇，這依賴于服務器上的一套智能碼率分配以及碼流選擇算法；另一個核心功能是要實現服務器的分段QoS，所謂分段QoS就是在服務器上需要分別針對用戶到服務器的上行鏈路和服務器到用戶的下行鏈路做好QoS保障，當然對于服務器來說核心是要做好下行的帶寬估計、擁塞控制和丟包對抗。

一套發布訂閱系統的基礎功能，其實很好理解。

有A、B、C、D、E、F，每個人都可以發布自己的視頻，這些發布消息會在媒體服務器上做匯總，然后分發給每一個與會者。如圖E選擇訂閱B/C/D，那么媒體服務器就會根據E的訂閱請求將B/C/D的媒體包轉發給E，同理F可以做出不同訂閱，他訂閱A/B/C，那媒體服務器就只會將A/B/C三個用戶的媒體包轉發給F。

這就是訂閱系統的基礎功能，滿足不同用戶的不同需求。有了訂閱系統，我們就可以繼續來看看一些進階用戶需求。

我們知道每個參會用戶對于不同人的清晰度需求是不同的，同時每個用戶的網絡的下行帶寬是不同的。舉個例子，發布者發布了最大能力是720p 1.5Mbps，用戶A下行帶寬大于1.5Mbps，他在界面上需要看發布者的大畫面，所以他訂閱720p 1.5Mbps；用戶B的下行帶寬只有700Kbps，他在界面上也需要看發布者的大畫面，所以他也訂閱的是720p 1.5Mbps；用戶C的下行帶寬 大于 1.5Mbps，但是他由于界面上只需要發布者的一個小畫面，因此他只需要訂閱發布者的360p 600Kbps。

此時A/B/C的訂閱請求到達服務器后，服務器綜合：發布、訂閱以及下行帶寬估計三個因素，發現無法得到最優分配以滿足和匹配所有人需求，有一種可行做法是匹配最低訂閱，這樣所有人都看到的是360p 600Kbps的視頻。這時候對A來說，他看到發布者的畫面就會不清晰，但是他的下行帶寬其實足夠的。為了解決這個問題，當前的方案已經無法滿足了，需要引入新的能力。

為了解決這個問題，我們提出多流的方案，也就是讓發布者發送多條流給服務器，關于多流業界有一個專有名詞叫simulcast。發布者開啟多流能力，服務器通過智能決策，可以獲得最佳匹配。

這個方案的要點是，服務器需要有各個分辨率的碼率范圍，同時下行帶寬需要估計準確，在服務器上根據各個下行的帶寬和用戶的具體訂閱需求進行分配。同時服務器需要兼容上行網絡變差時，發布者將多流切為單流的情況，此時在傳輸協議設計時需要考慮如何可以方便服務器做出正常的選路，這也是我們前面談到的傳輸協議需要可以描述多流能力的原因。

那是否還有其它方案呢？當然有。

我們還可以保持發布者一路流上行，如果發布者上行是高分辨率，只需要按照下行用戶的需求，轉碼出所需的分辨率即可；而如果發布者上行的是低分辨率，對于訂閱他高分辨率的下行用戶，可以采用“超分”方案（下文有簡要介紹）。但是無論是轉碼還是超分，對服務器的性能負載要求都不小，因此需要謹慎選擇，畢竟所有方案都要考慮性價比。

進階與展望

• 窄帶高清與超分

所謂窄帶高清，其實就是傳輸低帶寬，觀看高清視覺。

不讓馬兒吃草，還讓馬兒跑，你們覺得有這么便宜的事嗎？還真有，所以說科學技術才是第一生產力。

由深度學習發展，人工神經網絡可以做到將低分辨率超分為高分辨率。我們在工程中采用ESPCN網絡做的超分Demo在旗艦機型上已經可以實現540p->1080p的超分。不過由于低分辨率的意義不大，而高分辨率對性能要求實在是很高，所以我們暫時沒有將這個功能做上線。

我認為當前超分技術還是更適合用于點播場景，而實時或者低延時場景還不適用，當然隨著機器性能和算法性能提高，未來還是可期的。

• 基于機器學習的擁塞控制-PCC

這個演講中，我們談了很多擁塞控制（回顧《低延時直播與RTC融合架構設計②：直播與RTC低延時方案》），無論是GCC和BBR都是一種依賴一種Hardwired Mapping 來控制發送速率的，其實本質上都是對網絡的一種假設。現在有論文提出一種基于機器學習思路的擁塞控制算法，其中PCC是其中的佼佼者。

PCC類似于機器學習，設置一個目標函數，然后不斷地嘗試各種發送速率，最終使得目標函數達到最優，逼近最優解，不過最困難的也是如何設計這個這個目標函數了。PCC現在已經有了第二版本 Vivace在算法和設計上做了進一步的優化，我認為這是一個非常有意思的方向，建議大家保持關注。

• 展 望

AI人工智能、機器學習和深度學習就不用說了，在未來肯定會在各個領域發光發亮。VR也是可以大大改變和變革用戶體驗的一個手段，隨著5G和芯片性能提高，我相信未來VR眼鏡會變得像手機一樣被廣泛使用。伴隨著5G和IPv6的普及，萬物互聯IoT，你可以和所有設備進行音視頻溝通，想想就有些期待。

最后，我覺得最快落地的就是5G邊緣計算，正如我在《低延時直播與RTC融合架構設計①：5G與未來的網絡格局》舉的例子，5G邊緣計算將改變IDC、CDN乃至云產商的現有格局。

以上是網易云信多媒體資深技術架構師吳桐在 QCon 全球軟件開發大會上海站的演講實錄《超高清4K視頻低延時直播與RTC融合架構設計》系列第三篇，也是最后一篇。

邀請好友使用網易云信，好友下單成功即可獲得500元京東/嚴選無門檻現金券，點擊立即推薦>>

總結

以上是生活随笔為你收集整理的低延时直播与RTC融合架构设计③：RTC融合架构设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。