从编解码、传输到基础架构 详解Bigo多媒体技术栈
本文來自Bigo多媒體技術(shù)團(tuán)隊(duì)的投稿，詳細(xì)介紹了Bigo多媒體技術(shù)的前生今世，通過何種技術(shù)手段支撐起了BigoLive、Likee和imo三大業(yè)務(wù)。技術(shù)棧具體涉及編解碼、傳輸、全球基礎(chǔ)設(shè)施架構(gòu)等三方面。如果你也有獨(dú)到的經(jīng)驗(yàn)與思考，歡迎通過contribute@livevideostack.com投稿給我們。
--------------
BIGO從2014年創(chuàng)立至今一直聚焦在全球范圍提供音視頻服務(wù)，短短五年時(shí)間已穩(wěn)定進(jìn)入全球App收入排行榜前十。旗下全球視頻直播社區(qū)Bigo live，短視頻內(nèi)容創(chuàng)作平臺(tái)Likee，音視頻通訊imo服務(wù)于全球150個(gè)國(guó)家的4億多用戶，已形成了涵蓋「實(shí)時(shí)多人語音/視頻+直播+點(diǎn)播」全面完善的音視頻產(chǎn)品矩陣。? ? ? ?
BIGO能在全球音視頻業(yè)務(wù)領(lǐng)域高歌猛進(jìn)，與在音視頻技術(shù)領(lǐng)域多年的深厚積累是密不可分的。回顧過去十年，YY一直都是國(guó)內(nèi)互聯(lián)網(wǎng)業(yè)界音視頻技術(shù)的開拓者與領(lǐng)軍者。2008年YY語音的巨大成功，2010年開創(chuàng)音視頻直播，2017年YY Live贏得移動(dòng)音視頻直播的千播大戰(zhàn)，再到2018年孵化的游戲直播“虎牙”在紐交所上市，到2020年海外直播BigoLive持續(xù)進(jìn)入全球App收入排行榜前十，Likee成為全球用戶規(guī)模第二的短視頻平臺(tái)，都離不開音視頻技術(shù)強(qiáng)大的支撐。BIGO音視頻技術(shù)從創(chuàng)立初就站在在YY行業(yè)領(lǐng)先的音視頻技術(shù)的基礎(chǔ)之上，針對(duì)全球復(fù)雜多樣的終端分布與網(wǎng)絡(luò)環(huán)境，經(jīng)過多年三大超大規(guī)模核心業(yè)務(wù)在真實(shí)場(chǎng)景下的千錘百煉，進(jìn)一步沉淀出了針對(duì)全球當(dāng)?shù)丨h(huán)境極致優(yōu)化的BIGO音視頻技術(shù)整體解決方案。
BIGO全球音視頻技術(shù)整體解決方案的核心能力包括：
a) 超大服務(wù)規(guī)模：單月服務(wù)的音視頻時(shí)長(zhǎng)超過100,000,000,000分鐘，在全球范圍內(nèi)數(shù)一數(shù)二
b) 支持海量用戶同時(shí)在線：提供千萬人同時(shí)在線的實(shí)時(shí)視頻互動(dòng)服務(wù)
c) 優(yōu)質(zhì)服務(wù)能力：在全球復(fù)雜網(wǎng)絡(luò)環(huán)境下提供QoE/QoS行業(yè)領(lǐng)先的優(yōu)質(zhì)音視頻服務(wù)
d) 高性價(jià)比：相同服務(wù)條件下，平均成本僅為業(yè)界通用水平的50%
接下來將從「音視頻編解碼」，「音視頻傳輸介紹」和「音視頻基礎(chǔ)設(shè)施」三個(gè)角度深入剖析BIGO音視頻的十年技術(shù)積累。
BIGO音視頻編解碼技術(shù)
首先音視頻編解碼技術(shù)對(duì)于獲得清晰、流暢的互動(dòng)體驗(yàn)非常關(guān)鍵。編解碼算法通過去除音視頻內(nèi)容的時(shí)域、空域、感知域等冗余，在低帶寬的情形下使視頻也能達(dá)到較高的清晰度，但是編解碼算法在實(shí)用時(shí)，也面臨著一些挑戰(zhàn)：1、如何用有限的計(jì)算資源，及時(shí)處理千萬級(jí)別視頻的編碼；2、視頻內(nèi)容千差萬別，如何適應(yīng)不同的內(nèi)容，以發(fā)揮編碼算法的最大效用。
Bigo通過自研編碼器、自適應(yīng)編碼、自適應(yīng)降噪等技術(shù)，有效應(yīng)對(duì)了上述挑戰(zhàn)，提升了相關(guān)產(chǎn)品的音視頻基礎(chǔ)體驗(yàn)。在此，重點(diǎn)介紹自研編碼器與自適應(yīng)編碼技術(shù)。
1. 自研編碼器技術(shù)
在全球復(fù)雜的網(wǎng)絡(luò)環(huán)境下，用戶對(duì)視頻畫質(zhì)提升的需求日益增加，如何以更低的碼率更快的速度提供更高的畫質(zhì)，這對(duì)編碼器技術(shù)提出了挑戰(zhàn)，x265編碼器是業(yè)界公認(rèn)的優(yōu)秀HEVC開源編碼器，相對(duì)于上一代編碼器x264，其在同等編碼速度及畫質(zhì)條件下能夠節(jié)約40+%的碼率，因此被大量音視頻業(yè)界公司集成，以大幅改善視頻基礎(chǔ)體驗(yàn)。作為一種視頻基礎(chǔ)技術(shù)，我們認(rèn)為x265的編碼性能并未發(fā)揮HEVC標(biāo)準(zhǔn)的壓縮極致，因此，我們自主研發(fā)了Bigo265編碼器。以下是Bigo265在不同類型測(cè)試序列上的編碼表現(xiàn)，與x265的veryslow檔相比，在5倍加速的情況下，平均可以節(jié)省15%的碼率，達(dá)到業(yè)界領(lǐng)先水平。
我們?cè)贐igo Likee測(cè)試集上對(duì)比了Bigo265 與其它標(biāo)準(zhǔn)編碼器的壓縮性能，如下表所示，平均情況下，Bigo265可以節(jié)省37%的碼率，同時(shí)加速1.6倍。
除此之外，我們?cè)贛SU編碼器大賽的測(cè)試條件下對(duì)Bigo265進(jìn)行了評(píng)估，如下圖所示，可以看出Bigo265 已經(jīng)達(dá)到了近年MSU編碼器大賽的top級(jí)別。
這里的測(cè)試集共三類，包含了不同的分辨率和內(nèi)容復(fù)雜度，覆蓋多種視頻場(chǎng)景；其中Likee是業(yè)務(wù)側(cè)的相關(guān)視頻，JCTVC是HM官方測(cè)試集，MSU是莫斯科大學(xué)提供的復(fù)雜混合的測(cè)試集，以上可見，Bigo265在各類測(cè)試視頻上的編碼效果均具有較大優(yōu)勢(shì)。下圖是測(cè)試序列的時(shí)間和空間復(fù)雜度：
1) Bigo265技術(shù)介紹
Bigo265在H265內(nèi)核的基礎(chǔ)上，基本上支持了HEVC標(biāo)準(zhǔn)全部的編碼工具。另外它添加了數(shù)十種高效的快速算法，在很小畫質(zhì)損失的條件下極大提高了編碼速度。碼率控制方面，支持包括ABR，CBR，VFR, 多PASS，CRF等在內(nèi)的多種碼率控制方法。預(yù)處理部分也做了大量的優(yōu)化，可以根據(jù)視頻內(nèi)容自適應(yīng)的提高編碼效率。下面簡(jiǎn)要介紹一下高性價(jià)比快速算法技術(shù)及自適應(yīng)碼率控制技術(shù)。
高性價(jià)比快速算法技術(shù)，為了適應(yīng)不同業(yè)務(wù)對(duì)于速度及質(zhì)量的不同要求，Bigo265提供了八個(gè)編碼檔位，每個(gè)檔位快速算法性價(jià)比保持一致，如下圖速度質(zhì)量曲線所示，與x265相比，Bigo265速度質(zhì)量曲線近似是一條直線，且斜率遠(yuǎn)低于x265，因此Bigo265在面對(duì)不同業(yè)務(wù)需求時(shí)，可以提供更加平滑的速度及質(zhì)量，并且在相同速度下，如果編碼速度要求越快，Bigo265相比x265的優(yōu)勢(shì)就越大。
自適應(yīng)碼率控制技術(shù)，Bigo265可以根據(jù)視頻場(chǎng)景特征、內(nèi)容復(fù)雜度、幀類型自適應(yīng)的進(jìn)行碼率控制，同時(shí)通過AQ/CUTREE技術(shù)針對(duì)塊級(jí)權(quán)重調(diào)整QP，除此之外，還提供了ROI接口，可以根據(jù)用戶的ROI區(qū)域自適應(yīng)調(diào)節(jié)QP，以達(dá)到碼率穩(wěn)定的目的。
2) 與業(yè)務(wù)側(cè)結(jié)合
Bigo265已經(jīng)在Likee和BigoLive的業(yè)務(wù)上進(jìn)行了部署，在節(jié)約20+%的帶寬同時(shí)獲得了更優(yōu)質(zhì)的用戶觀看體驗(yàn)。目前編碼器可以配置多個(gè)速度和畫質(zhì)級(jí)別，并針對(duì)不同的應(yīng)用場(chǎng)景進(jìn)行了優(yōu)化，適用于直播、點(diǎn)播、零延遲、云游戲等多種業(yè)務(wù)下的編碼；另外還提供了豐富的接口，業(yè)務(wù)部門可以很方便的進(jìn)行調(diào)整和適配，以滿足自己的需求。Bigo的編解碼團(tuán)隊(duì)除了專注于Bigo265編碼效率和速度的改進(jìn)之外， 同時(shí)也開始進(jìn)行AV1、VVC、AVS3等新一代標(biāo)準(zhǔn)編碼器的研發(fā)。
2.自適應(yīng)編碼技術(shù)（BigoCAE）
傳統(tǒng)轉(zhuǎn)碼服務(wù)采用固定的編碼參數(shù)進(jìn)行轉(zhuǎn)碼，無法根據(jù)視頻內(nèi)容的復(fù)雜度自適應(yīng)地選擇最佳編碼參數(shù)，造成簡(jiǎn)單視頻的碼率浪費(fèi)和復(fù)雜視頻的質(zhì)量不足。BigoCAE致力于自動(dòng)識(shí)別視頻內(nèi)容的復(fù)雜度從而選擇合理的編碼策略，達(dá)到質(zhì)量和碼率的最佳平衡，全局上節(jié)約碼率，平衡畫質(zhì)。
BigoCAE在現(xiàn)有業(yè)務(wù)中，目標(biāo)vmaf分 [-2,+2] 范圍內(nèi)的編碼預(yù)測(cè)準(zhǔn)確度可以達(dá)到93%+。在涵蓋多個(gè)分辨率、幀率的3000個(gè)測(cè)試集上，質(zhì)量方差明顯變好，減少了低質(zhì)case，平均碼率節(jié)省40%+。
BigoCAE內(nèi)容自適應(yīng)轉(zhuǎn)碼策略立足于我們的自研Bigo265編碼器，集成了內(nèi)容分析（遷移學(xué)習(xí)，編碼特征分析等）、AI編碼參數(shù)預(yù)測(cè)、細(xì)粒度的碼率控制（幀級(jí)碼控、ROI碼控）等技術(shù)，達(dá)到質(zhì)量平穩(wěn)，碼率節(jié)省的目的。
???
其中內(nèi)容分析，采用了編碼特征與遷移學(xué)習(xí)特征。其中編碼特征采用原始碼流與pass1快速編碼的信息，如下圖所示：
遷移學(xué)習(xí)采用經(jīng)典的圖像分類網(wǎng)絡(luò)，使用已訓(xùn)練好的用于cv應(yīng)用的圖像分類網(wǎng)絡(luò)，提取其分類之前的fc層作為AI編碼預(yù)測(cè)的輸入特征。
為了加快預(yù)測(cè)速度，滿足業(yè)務(wù)實(shí)時(shí)需求，AI編碼預(yù)測(cè)采用一個(gè)簡(jiǎn)單的淺層神經(jīng)網(wǎng)絡(luò)，如下圖所示：
碼控層面，對(duì)ROI區(qū)域的內(nèi)容做了自適應(yīng)調(diào)整，如面部區(qū)域是大家比較感興趣的焦點(diǎn)，對(duì)此區(qū)域我們做了編碼增強(qiáng)，整體碼率不變的情況下，使ROI區(qū)域比其他區(qū)域更清晰一些。
BigoCAE隨著業(yè)務(wù)的進(jìn)化而不斷進(jìn)化，我們會(huì)不斷引入新的特征、新的網(wǎng)絡(luò)、新的碼控算法改善BigoCAE算法的內(nèi)容自適應(yīng)效果。
BIGO音視頻傳輸技術(shù)
構(gòu)建工業(yè)級(jí)「高可用」，「高通用」，「高質(zhì)量保障」的音視頻傳輸技術(shù)對(duì)于音視頻產(chǎn)品非常關(guān)鍵，而且不同業(yè)務(wù)場(chǎng)景，對(duì)于傳輸技術(shù)的優(yōu)化側(cè)重點(diǎn)有很大差別：
另外不同國(guó)家、地區(qū)網(wǎng)絡(luò)特性差異很大；跨國(guó)家、跨洲的路由和鏈路質(zhì)量及收費(fèi)方式也有很大差別。不同網(wǎng)絡(luò)類型有各自的行為模式和管道特征，需要適配不同的傳輸控制策略。
最后，不同地區(qū)用戶的網(wǎng)絡(luò)接入類型和方式差別巨大，用戶對(duì)于網(wǎng)絡(luò)流量費(fèi)用的偏好也不盡相同。
因此，在制定傳輸策略過程中，需要對(duì)業(yè)務(wù)場(chǎng)景的側(cè)重點(diǎn)、不同國(guó)家、地區(qū)網(wǎng)絡(luò)特性以及用戶對(duì)于體驗(yàn)質(zhì)量和網(wǎng)絡(luò)付費(fèi)偏好等多維度情況進(jìn)行綜合考量和優(yōu)化設(shè)計(jì)。
面對(duì)上述音視頻傳輸關(guān)鍵挑戰(zhàn)，BIGO音視頻傳輸技術(shù)從設(shè)計(jì)之初到實(shí)際落地，經(jīng)過持續(xù)不斷的演進(jìn)，構(gòu)建了完整的傳輸技術(shù)基礎(chǔ)體系，包含以下4個(gè)關(guān)鍵技術(shù)方向：
這四個(gè)關(guān)鍵技術(shù)在整個(gè)音視頻解決方案中，占據(jù)了重要的位置，下面我們一一介紹。
1.網(wǎng)絡(luò)傳輸擁塞控制技術(shù)
如果將互聯(lián)網(wǎng)想象成為公路系統(tǒng)，每一條互聯(lián)網(wǎng)路徑就像一條公路。當(dāng)過多的數(shù)據(jù)進(jìn)入網(wǎng)絡(luò)，就會(huì)像公路系統(tǒng)中由于某些節(jié)點(diǎn)的運(yùn)輸能力不足產(chǎn)生堵塞。這種數(shù)據(jù)堵塞我們通常稱為鏈路擁塞。
擁塞控制研究已經(jīng)歷經(jīng)30余年，涌現(xiàn)了眾多擁塞控制算法，一些有代表性的算法如圖所示。
1.1 BTP擁塞控制系統(tǒng)
在BigoLive直播系統(tǒng)，針對(duì)直播的卡頓、清晰度敏感，延時(shí)相對(duì)不敏感的特點(diǎn)，我們積累了一套完整的擁塞控制方案——BTP擁塞控制系統(tǒng)，在線上達(dá)到了平均零卡頓率超過94%，720p占比超30%，平均延時(shí)低于2s，在業(yè)界位于頂尖水平。
?
BTP擁塞控制系統(tǒng)是一個(gè)分場(chǎng)景控制系統(tǒng)，它的主算法是TFRC。TFRC基于速率發(fā)送，過程平穩(wěn)，更適合流媒體傳輸，但是它具有隨機(jī)丟包下吞吐率低，以及小帶寬場(chǎng)景下延時(shí)高等不足之處。
???????
隨機(jī)丟包下吞吐率低：以丟包為擁塞信號(hào)的擁塞算法，當(dāng)遇到無線網(wǎng)絡(luò)Wifi/2G/3G/4G時(shí)，會(huì)因?yàn)闊o線信道本身可能的信道衰落、信號(hào)干擾特性產(chǎn)生一些隨機(jī)丟包，這種丟包會(huì)使得這一類算法誤判擁塞，導(dǎo)致吞吐率變低。為解決隨機(jī)丟包場(chǎng)景的問題，我們前置了一個(gè)隨機(jī)丟包過濾器，它能夠在混合了各種不同的隨機(jī)丟包分布下的限速網(wǎng)絡(luò)下（如10%服從高斯分布的隨機(jī)丟包+800kbps限速），準(zhǔn)確過濾出隨機(jī)丟包，保留擁塞丟包作為擁塞控制信號(hào)。
? ? ??
小帶寬場(chǎng)景延時(shí)高：對(duì)于600kbps以下的小帶寬網(wǎng)絡(luò)，它的典型特點(diǎn)是路由buffer隊(duì)列長(zhǎng)，當(dāng)檢測(cè)到丟包擁塞時(shí)，buffer里堆積的數(shù)據(jù)等待時(shí)間可以高達(dá)10s以上，嚴(yán)重影響直播體驗(yàn)。為此，我們引入輔助算法slops，它是一種基于延時(shí)的擁塞控制算法，能夠準(zhǔn)確推斷延時(shí)類型和網(wǎng)絡(luò)狀態(tài)從而實(shí)施相應(yīng)得擁塞控制輸出。
在上述多個(gè)算法的共同作用下，BTP擁塞控制系統(tǒng)在實(shí)驗(yàn)室仿真環(huán)境的驗(yàn)證下：具有超過40%的隨機(jī)丟包抗性，帶寬低至300kbps依然可用，網(wǎng)絡(luò)抖動(dòng)1200ms仍然工作正常。
1.2 大數(shù)據(jù)驅(qū)動(dòng)算法優(yōu)化系統(tǒng)
傳統(tǒng)的CC算法優(yōu)化流程是“問題驅(qū)動(dòng)”模式，屬于被動(dòng)優(yōu)化，存在諸多局限：部分問題非關(guān)鍵/瓶頸問題、優(yōu)化后對(duì)整體大盤性能改善微弱，日志欠缺導(dǎo)致問題重現(xiàn)耗時(shí)、復(fù)現(xiàn)難度大。
我們研發(fā)了大數(shù)據(jù)驅(qū)動(dòng)的CC算法優(yōu)化系統(tǒng)。它基于線上用戶真實(shí)網(wǎng)絡(luò)數(shù)據(jù)，通過trace特征分類分析，便于發(fā)現(xiàn)關(guān)鍵問題，完整/快速進(jìn)行算法迭代評(píng)估。如上圖所示，構(gòu)建全面的網(wǎng)絡(luò)特征數(shù)據(jù)庫(kù)和搭建系統(tǒng)仿真平臺(tái)是大數(shù)據(jù)驅(qū)動(dòng)的CC算法優(yōu)化系統(tǒng)的兩個(gè)關(guān)鍵步驟：
構(gòu)建網(wǎng)絡(luò)特征數(shù)據(jù)庫(kù)：不失一般性，我們通過 {帶寬，時(shí)延，丟包率，緩存} 來表征一條端到端的網(wǎng)絡(luò)鏈路的特征。針對(duì)每個(gè)關(guān)鍵參數(shù)，我們?cè)O(shè)計(jì)了獨(dú)立的trace采集方案，以提高采集的準(zhǔn)確性，同時(shí)確保對(duì)用戶體驗(yàn)影響盡可能小。
構(gòu)建系統(tǒng)仿真平臺(tái)：以Pantheon + mahimahi平臺(tái)為依托，我們擴(kuò)展豐富了網(wǎng)絡(luò)trace的輸入類型、完善CC算法性能分析工具，形成一套完整的系統(tǒng)仿真及分析平臺(tái)。
線上閉合驗(yàn)證：我們以某國(guó)家為切入點(diǎn)，開展對(duì)該國(guó)用戶網(wǎng)絡(luò)trace的數(shù)據(jù)分析，以及與不同擁塞控制算法的仿真對(duì)比，結(jié)果如下2圖，吞吐率和時(shí)延的綜合收益排名在各個(gè)對(duì)比CC算法中排名靠前。
?
同時(shí)，在線上進(jìn)行ab實(shí)驗(yàn)后，獲得吞吐率+0.74%，卡頓率-0.38%的技術(shù)指標(biāo)收益，與線下評(píng)估一致。基于大數(shù)據(jù)驅(qū)動(dòng)算法優(yōu)化系統(tǒng)，我們上線了數(shù)項(xiàng)優(yōu)化項(xiàng)，取得了顯著的收益。
2.弱網(wǎng)對(duì)抗技術(shù)
用戶接入網(wǎng)絡(luò)形態(tài)復(fù)雜（特別是無線信道本身存在明顯的信道衰落、信號(hào)干擾特性）、承載的業(yè)務(wù)多樣，傳輸過程中會(huì)經(jīng)歷網(wǎng)絡(luò)條件的大幅突變、惡化。從網(wǎng)絡(luò)傳輸能力指標(biāo)上來表征，即可用帶寬低、端到端時(shí)延大、丟包率高，極大的影響用戶的傳輸性能，現(xiàn)有技術(shù)可能無法保證最低質(zhì)量的QoS要求。
?帶寬分布? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ?丟包率分布
RTT分布? ? ? ?? ? ? ? ? ? ? ? ? ? ? ? ? RTT抖動(dòng)分布
借助于網(wǎng)絡(luò)trace采集系統(tǒng)，我們對(duì)BIGO全球用戶網(wǎng)絡(luò)特征進(jìn)行了不同維度的分析。以某地區(qū)用戶網(wǎng)絡(luò)為例，從帶寬指標(biāo)來看，平均帶寬低于500kbps的占比約1%；從丟包率指標(biāo)來看，總體平均丟包率7.2%，連接丟包率高于20%的占比約10%，隨機(jī)丟包類型占比約66%；從時(shí)延指標(biāo)來看，平均RTT高于380ms的連接占比約30%。因此，弱網(wǎng)對(duì)抗技術(shù)從方法上主要可以分成抗丟包技術(shù)和抗抖動(dòng)技術(shù)。
2.1 抗丟包技術(shù)
眾所周知的兩種抗丟包技術(shù)是主動(dòng)重傳請(qǐng)求（ARQ）和前向糾錯(cuò)（FEC）。ARQ和FEC分別有各自得優(yōu)缺點(diǎn)：ARQ能最大化帶寬利用率，但需要引入額外延時(shí)，而FEC通過增加信息冗余（犧牲帶寬利用率）的方式避免增加額外延時(shí)。
?????
針對(duì)ARQ與FEC兩種抗丟包方法的特點(diǎn)，我們采用了揚(yáng)長(zhǎng)避短的策略，盡可能發(fā)揮各自的優(yōu)勢(shì)，這就是HARQ（Hybric ARQ）。整體思路是，HARQ在RTT較小的網(wǎng)絡(luò)中，主要采用ARQ，減少冗余流量；在RTT較大的場(chǎng)景中，主要使用FEC，降低恢復(fù)延時(shí)。
我們通過在不同場(chǎng)景下HARQ和ARQ+FEC各自處理的效果對(duì)比，可以看到，限速場(chǎng)景HARQ恢復(fù)率提升明顯；另外引入流量指標(biāo)降低明顯，HARQ統(tǒng)一決策有效降低流量代價(jià)。
???????
我們通過音頻傳輸質(zhì)量MOS的評(píng)價(jià)方式，測(cè)試HARQ技術(shù)的實(shí)際抗丟包效果。根據(jù)對(duì)比結(jié)果，抗丟包模塊明顯提升了MOS，丟包率40%以下MOS分均能保持在4分以上，音質(zhì)平穩(wěn)度較高，有效地提升用戶體驗(yàn)。
?????
FEC技術(shù)前沿探索：在音視頻傳輸中，Reed-Solomon（RS）作為常見地編碼方式將視頻的若干幀組合成為一個(gè)FEC編碼塊進(jìn)行編碼——在相同冗余度下較長(zhǎng)的FEC編碼塊可以容忍更多的丟包，但是以視頻播放延時(shí)為代價(jià)。我們提出新的解決思路（RE-RS），使用滑動(dòng)窗口掃過視頻連續(xù)若干幀，窗口每擴(kuò)張或移動(dòng)一幀相應(yīng)生成一組冗余包，在常見網(wǎng)絡(luò)丟包分布下RE-RS可以及時(shí)有效地恢復(fù)數(shù)據(jù)
圖：滑動(dòng)窗口編碼示意圖
我們通過控制隨機(jī)丟包的丟包率實(shí)驗(yàn)來檢驗(yàn)RE-RS編碼方式的效果，如下表所示，在不同的丟包率配置實(shí)驗(yàn)中，RE-RS能獲得比RS更高的恢復(fù)率。
2.2 抗抖動(dòng)技術(shù)
???????
為了適應(yīng)多變的網(wǎng)絡(luò)和用戶場(chǎng)景需求，我們?cè)O(shè)計(jì)了BigoJitter，其主體包括語音包緩沖區(qū)，網(wǎng)絡(luò)抖動(dòng)估算器，播放延時(shí)估算器，播放決策器，解碼器，變速器，解碼數(shù)據(jù)緩沖區(qū)等模塊，核心算法在于網(wǎng)絡(luò)抖動(dòng)程度估算，播放延時(shí)估算以及播放策略制定，BigoJitter使用歷史抖動(dòng)范圍和自回歸算法來估算播放延時(shí)，從而可以快速適應(yīng)網(wǎng)絡(luò)的抖動(dòng)變化。
BigoJitter架構(gòu)圖
我們?cè)俅我砸纛l傳輸質(zhì)量MOS的評(píng)估方式，下圖所示，BigoJitter在各種弱網(wǎng)條件下的抗性都表現(xiàn)得很出色。
3.自適應(yīng)碼率播放控制技術(shù)
為了應(yīng)對(duì)全球各區(qū)域用戶巨大的帶寬能力差異，Bigo自研了實(shí)時(shí)按需轉(zhuǎn)碼和自適應(yīng)碼率控制的功能。如圖中示例，根據(jù)觀眾端觀看碼率的匯總情況，在云端按需轉(zhuǎn)碼和分發(fā)，達(dá)到節(jié)省轉(zhuǎn)碼計(jì)算資源和網(wǎng)絡(luò)傳輸資源的目標(biāo)。
3.1 直播/視頻點(diǎn)播自適應(yīng)碼率控制
在直播和視頻點(diǎn)播場(chǎng)景中，我們研發(fā)落地了基于MPC模型預(yù)測(cè)的自適應(yīng)碼率算法，它通過分析用戶特征和偏好、預(yù)測(cè)下載帶寬信息和緩存長(zhǎng)度變化狀態(tài)，將選擇分辨率/碼率問題建模成一個(gè)求解動(dòng)態(tài)最優(yōu)化問題，優(yōu)化的目標(biāo)就是用戶的觀看體驗(yàn)指標(biāo)QoE（Quality of Experience）。
從框架圖中可以看出，如何準(zhǔn)確有效預(yù)測(cè)QoE是影響整個(gè)自適應(yīng)碼率算法效果得最關(guān)鍵因素。因此，我們經(jīng)過不斷努力，自研和落地了基于User Engagement的QoE預(yù)測(cè)模型。
3.2 基于User Engagement的QoE預(yù)測(cè)模型
???????
我們提出將播放技術(shù)指標(biāo)同用戶參與度相結(jié)合的觀看體驗(yàn)指標(biāo)QoE，從而進(jìn)一步縮小QoE模型與用戶實(shí)際主觀體驗(yàn)的差距。
特征選取：和傳統(tǒng)的QoE公式不同，除傳輸技術(shù)指標(biāo)外，我們還使用了包括用戶地理位置信息、手機(jī)軟硬件屬性、用戶-視頻互動(dòng)等多方面的原始特征，通過特征工程生成的有顯著意義的新特征，以及特征交叉生成的新特征。然后根據(jù)相關(guān)性和特征重要性，逐輪篩選生成新的特征子集。下圖展示了若干主要特征和目標(biāo)用戶參與度的皮爾遜相關(guān)系數(shù)（PCC，左圖），以及在提升樹模型中的特征重要性（以增益衡量，右圖）。
???????
參數(shù)調(diào)整：在選定的特征集上，我們采用貝葉斯優(yōu)化、K折交叉驗(yàn)證搜索提升樹模型的最優(yōu)超參數(shù)。貝葉斯優(yōu)化假設(shè)被優(yōu)化函數(shù)為黑盒函數(shù)且來自高斯過程，每輪通過優(yōu)化采集函數(shù) ???確定下一組嘗試的超參數(shù)??，其中??為改善期望，
??
其中??,??為標(biāo)準(zhǔn)高斯分布的密度和累積分布函數(shù)，??為高斯過程根據(jù)現(xiàn)有觀測(cè)值均值、方差的估計(jì)，??，??為當(dāng)前最優(yōu)參數(shù)。
超參數(shù)優(yōu)化一般會(huì)選取較為激進(jìn)的參數(shù)生成復(fù)雜的樹模型，帶來額外的部署成本。因而我們綜合考慮模型的擬合精度、模型大小和調(diào)用時(shí)間，生成帕累托前沿（Pareto frontier）的一系列模型，并根據(jù)實(shí)際上線需要部署。下圖展示了一個(gè)帕累托有效的壓縮模型的前3棵提升樹結(jié)構(gòu)。
模型應(yīng)用和收益：我們利用QoE擬合模型對(duì)Bigo Likee短視頻清晰度選檔算法進(jìn)行優(yōu)化，在提升用戶觀看滿意度的同時(shí)節(jié)省了Bigo服務(wù)器的帶寬消耗。
4.接入路由策略優(yōu)化技術(shù)
Bigo用戶覆蓋全球上百個(gè)國(guó)家和地區(qū)，不同國(guó)家和地區(qū)的用戶的網(wǎng)絡(luò)條件和網(wǎng)絡(luò)質(zhì)量的差異性很大，依托Bigo全球幾十個(gè)數(shù)據(jù)中心和Bigo強(qiáng)大的AI技術(shù)、大數(shù)據(jù)分析能力的支持，我們實(shí)現(xiàn)了完整的"實(shí)時(shí)智能路由調(diào)度"：
a) 從海量的歷史傳輸數(shù)據(jù)中提取多維傳輸質(zhì)量指標(biāo)，結(jié)合不同形態(tài)產(chǎn)品對(duì)QoS、QoE的不同需求，將多維傳輸質(zhì)量指標(biāo)映射為質(zhì)量得分，最終生成一個(gè)細(xì)化到運(yùn)營(yíng)商的基準(zhǔn)路由表；
b) 通過統(tǒng)計(jì)不同時(shí)間粒度的網(wǎng)絡(luò)質(zhì)量的變化，不斷更新及動(dòng)態(tài)調(diào)整基準(zhǔn)路由表；
c) 實(shí)時(shí)監(jiān)控傳輸路徑質(zhì)量，對(duì)于突發(fā)的網(wǎng)絡(luò)擁塞和網(wǎng)絡(luò)故障及時(shí)動(dòng)態(tài)切換中間轉(zhuǎn)發(fā)節(jié)點(diǎn)，降低網(wǎng)絡(luò)問題對(duì)傳輸質(zhì)量的影響。
通過“實(shí)時(shí)智能路由調(diào)度“，我們?yōu)槊襟w數(shù)據(jù)傳輸尤其是跨國(guó)、洲際數(shù)據(jù)傳輸提供了穩(wěn)定的高質(zhì)量路徑。
BIGO全球網(wǎng)絡(luò)基礎(chǔ)設(shè)施建設(shè)
從我們多年大規(guī)模業(yè)務(wù)沉淀的技術(shù)經(jīng)驗(yàn)來看，高質(zhì)量的音視頻技術(shù)服務(wù)能力離不開基礎(chǔ)設(shè)施的深度定制，BIGO選擇全自建了全球的網(wǎng)絡(luò)基礎(chǔ)設(shè)施，提供給業(yè)務(wù)端到端的turnkey技術(shù)解決方案能力。
結(jié)合音視頻業(yè)務(wù)業(yè)務(wù)場(chǎng)景來看，組建一個(gè)優(yōu)質(zhì)的全球RTN網(wǎng)絡(luò)面臨的挑戰(zhàn)可以拆成兩個(gè)部分：（1）如何保證海量用戶到各個(gè)機(jī)房的接入質(zhì)量；（2）如何保證分布全球的各個(gè)DC之間的通信質(zhì)量。下面分別介紹BIGO在這兩塊的建設(shè)情況。
1.用戶接入網(wǎng)質(zhì)量?jī)?yōu)化
不論是主播還是觀眾端，用戶接入都是影響服務(wù)質(zhì)量最重要的環(huán)節(jié)，也面臨最復(fù)雜多樣的網(wǎng)絡(luò)環(huán)境。BIGO在全球各大洲和重點(diǎn)國(guó)家選擇運(yùn)營(yíng)商資源最豐富的城市來構(gòu)建BIGO的Internet接入的節(jié)點(diǎn)， 通過BIGO互聯(lián)網(wǎng)交換平臺(tái)（BIGO Internet eXchange，簡(jiǎn)稱BIX）來管理。主要從以下三個(gè)方面來優(yōu)化。
BIX = Bigo Internet eXchange，IPT = IP Transit Provider，IX = Internet eXchange
Peer = BGP Private Peer
（a）貼近用戶，連通世界。 在最接近用戶的城市，自建優(yōu)質(zhì)BGP出口網(wǎng)絡(luò)，與大量本地ISP對(duì)等互聯(lián)，對(duì)接方式包括IPT、IX、Peer等。目前與全球運(yùn)營(yíng)商建立Peer數(shù)量已達(dá)到170+，與2W多家ISP開展深度技術(shù)合作。
（b）DC到用戶，智能路由。 實(shí)時(shí)分析機(jī)房到用戶的網(wǎng)絡(luò)質(zhì)量，包括丟包、抖動(dòng)、RTT、連接成功率等關(guān)鍵指標(biāo)，同時(shí)根據(jù)Internet路由變化，實(shí)時(shí)繪制出口可用路徑。通過智能調(diào)度控制器，確保到用戶網(wǎng)絡(luò)擁有最佳路由。
（c）用戶到DC，動(dòng)態(tài)優(yōu)選。 實(shí)時(shí)分析用戶訪問不同機(jī)房的質(zhì)量，結(jié)合機(jī)房負(fù)載、用戶質(zhì)量等指標(biāo)，動(dòng)態(tài)調(diào)整機(jī)房分配策略，確保每個(gè)地區(qū)每個(gè)運(yùn)營(yíng)商的用戶接入綜合得分最優(yōu)機(jī)房, 提升用戶體驗(yàn)。
2.DC之間的通信質(zhì)量?jī)?yōu)化，提供99.99%優(yōu)質(zhì)傳輸率
（a）同城互聯(lián)，高速可靠。在歐洲，美洲，東南亞，印度等歐洲自建多張城域網(wǎng)，通過波分復(fù)用技術(shù)深度利用物理光纖資源，為同城數(shù)據(jù)中心互聯(lián)提供超大帶寬與高可靠DC間通信網(wǎng)絡(luò)。
（b）全球物理專線互通，智能調(diào)度。在全球數(shù)據(jù)中心間，以及各地區(qū)到各大洲的數(shù)據(jù)中心，通過海纜自建一張全球骨干網(wǎng)，連通全球各大城域網(wǎng)；并且通過SDN控制器實(shí)現(xiàn)擁塞控制，流量調(diào)度，故障自愈，實(shí)現(xiàn)全球數(shù)據(jù)中心穩(wěn)定高速互聯(lián)。為保證質(zhì)量，海纜一般都會(huì)在物理上冗余，比如同時(shí)使用兩條不同的海纜。
（c）虛擬光纖，公網(wǎng)專線。即使海纜做了物理上的冗余，但在流量突發(fā)、海纜維護(hù)、業(yè)務(wù)爆炸式增長(zhǎng)、新節(jié)點(diǎn)快速上線等場(chǎng)景，還是有風(fēng)險(xiǎn)導(dǎo)致上層業(yè)務(wù)不可用。BIGO自研“公網(wǎng)專線”（BVTS）系統(tǒng)，解耦網(wǎng)絡(luò)對(duì)物理專線的依賴，并加入抗丟包、TCP壓縮、加密等技術(shù)。實(shí)現(xiàn)專線極速開通，業(yè)務(wù)快速上線，提升骨干網(wǎng)絡(luò)可靠性。
（d）除了底層鏈路的質(zhì)量保證，在上應(yīng)用層也增加一層優(yōu)化：多維分析，構(gòu)建智能路由。自研全球DC間IP到IP的（點(diǎn)到點(diǎn)）智能選路系統(tǒng)，根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)、網(wǎng)絡(luò)路徑負(fù)載、可用帶寬、成本等因素綜合自動(dòng)決策，并且可以根據(jù)不同的業(yè)務(wù)需求來選擇最佳傳輸路徑，比如音視頻服務(wù)要求是低延遲，可接受少量丟包；而信令業(yè)務(wù)對(duì)丟包敏感度高，但可以接收稍高延遲。
?經(jīng)過多年的積累和發(fā)展，目前BIGO在亞洲, 歐洲, 美洲等全球各地建了近百個(gè)IDC，出口容量達(dá)到40T，與2W多家ISP開展深度的技術(shù)合作，覆蓋全球150個(gè)國(guó)家和地區(qū)。為全球DC間提供99.99%優(yōu)質(zhì)傳輸率。
總結(jié)
本文從音視頻編解碼、音視頻傳輸、基礎(chǔ)設(shè)施建設(shè)的三個(gè)主要視角介紹了BIGO音視頻技術(shù)解決方案十年的技術(shù)沉淀。技術(shù)無止境，BIGO還持續(xù)在音視頻技術(shù)進(jìn)行技術(shù)研究以保持在行業(yè)中的領(lǐng)先性，譬如網(wǎng)絡(luò)質(zhì)量智能定位能力，精細(xì)化的網(wǎng)絡(luò)類型切分與場(chǎng)景化算法優(yōu)化能力，用戶主觀體驗(yàn)的理解和評(píng)估，基于AI的編解碼算法，HDR10和4K技術(shù)優(yōu)化，新一代編解碼標(biāo)準(zhǔn)等等。
站在2020年的時(shí)間點(diǎn)上，BIGO已經(jīng)做到了從歐洲到亞洲，從美洲到非洲，把最好的視聽服務(wù)傳遞到世界的每一個(gè)角落，傳遞給每一個(gè)熱愛生活的人。在這個(gè)過程中，音視頻核心技術(shù)能力和BIGO業(yè)務(wù)增長(zhǎng)多年來相互成就，通過在真實(shí)市場(chǎng)大規(guī)模應(yīng)用的千錘百煉，最終鍛造成堅(jiān)如磐石的BIGO音視頻技術(shù)解決方案。
LiveVideoStackCon 2020?北京
2020年10月31日-11月1日
點(diǎn)擊【閱讀原文】了解更多詳細(xì)信息
總結(jié)
以上是生活随笔為你收集整理的从编解码、传输到基础架构 详解Bigo多媒体技术栈的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【LiveVideoStack线上分享】
- 下一篇： Mozilla裁员波及Daala Cod