過去的一年見證了人類百年不遇的大事記，也見證了多種視頻應用的厚積薄發。而因此所帶來的視頻數據量的爆發式增長更加加劇了對高效編解碼這樣的底層硬核技術的急迫需求。正是在這樣的大環境下，在ITU-T VCEG和ISO/IEC MPEG兩大標準組織再次聯手推出的最新視頻編解碼標準VVC定稿不久之后，阿里巴巴的視頻團隊開始全力投入開展VVC軟件編解碼的開發工作。本次LiveVideoStackCon2021北京峰會我們邀請到了阿里巴巴研究員，阿里云智能云視頻標準與實現負責人葉琰老師來分享視頻業界現狀、Ali266自研VVC編解碼器的技術演進史和業務展望、以及視頻業界所面臨的未來機遇和挑戰。

文 / 葉琰

整理 / LiveVideoStack

大家好，我是葉琰，我是阿里云智能視頻標準與實現團隊負責人。本次分享的話題是編解碼再進化：Ali266與下一代視頻技術。

本次分享分成四個部分：首先是視頻業界現狀、然后Ali266自研VVC編解碼器的技術演進史和業務展望，最后會從視頻業界角度來看所面臨的未來機遇和挑戰。

01

視頻業界現狀

不夸張的說，過去一年和現在所經歷的新冠疫情是人類百年不遇的大事。疫情打斷了正常生活節奏和人與人之間習慣的面對面交流模式，改變了非常多游戲規則，同時觸發了先進視頻視頻科技產品的厚積薄發。全世界疫情情況各有不同，中國屬于疫情控制非常好的國家，因此人民日常生活基本照常，但是在疫情較為嚴重的國家和地區，由于受到疫情影響，人們的生活和工作發生了天翻地覆的變化。

這些變化包括幾個方面。首先無論是工作上的交互從線下轉到線上，大量使用云會議，拿釘釘的視頻會議來講，到今天累計每天用戶時長超過了一億分鐘。另外，受疫情影響比較嚴重的國家和地區過半員工在家辦公，在家工作中通過遠程協同進行，和之前所習慣的面對面交流有了很大變化。不光是工作，人們的娛樂也從線下轉到線上，拿美國來講，在過去一年多電影院關門，雖然從今年夏天開始營業，但是看電影的人寥寥無幾。大家的娛樂生活主要依賴于家庭影院，包括明星也從線下轉到線上演出，通過線上交互方式與粉絲進行互動。

從視頻業界的角度來說，我們在過去的一年見證了非常重要的里程碑，就是H.266/VVC新一代國際視頻標準的定稿。VVC標準是從2018年4月正式開始標準化，經過兩年多時間，在2020年夏天達到Final Draft International Standard，也就是第一版的定稿。VVC在整個兩年多的旅程中，尤其最后半年，受到疫情影響，來自全世界各地近300名的視頻專家日夜顛倒的參加通過網會的形式開展技術討論，終于如期完成H.266/VVC新一代標準制定。

與之前每一代國際視頻標準類似，VVC相對于上一代HEVC標準帶寬成本減半。上圖表示VVC主觀性能測試結果，這里展示的是VVC參考平臺相比于HEVC參考平臺，在相同主觀質量的前提下，VVC所能做到的帶寬節省。這里面的視頻內容分為5類，前兩列為UHD和HD，也就是超高清和高清視頻，我們可以看到VVC的VTM參考軟件相比于HEVC的HM參考軟件可以達到43%到49%的帶寬節省。對于HDR和360全景視頻這兩種更加新穎的視頻格式，VVC可以做到更高的帶寬節省，分別達到51%到53%。最后一列是針對于低延時應用的測試，也就是使用視頻會議上所用的時域預測結構，由于預測結構收到了更多的限制，VVC所能達到的帶寬節省稍小，但也達到了37%，相當可觀。篇幅有限，這里面只是展示了高度總結的數字，如果讀者對中間細節感興趣，可以去查一下JVET標準委員會T/V/W2020三個會議中主觀測試集報告，其中有非常多的細節可供參考。

在視頻爆發和最新標準VVC定稿的背景下，阿里巴巴開始了Ali266技術開發。首先看一下Ali266技術演進史。

02

Ali266技術演進史

什么是Ali266？我們希望它做到什么？Ali266是我們對最新標準VVC進行編解碼實現，第一點希望做到高壓縮性能，拿到VVC所帶來的帶寬節省紅利；第二點是高清實時編碼速度，相較于HEVC，VVC編碼工具更多，保持實時編碼速度對于真正商用來說具有巨大的意義；第三點是讓Ali266具有完整的自成一體的編解碼能力，更好打開端到端的生態。做Ali266是希望實現上述三個非常有挑戰的技術點，做到技術領先性，轉換成產品競爭力，并幫助我們進行業務拓展。

上圖展示了眾多的VVC編碼工具。我這里把傳統的視頻編解碼框架中的主要功能模塊分成幾類，包括塊劃分、幀內預測、幀間預測、殘差編碼、變化量化、環路濾波、以及其他編碼工具。上面的藍色圓圈是HEVC的編碼工具，下面的紫色圓圈是VVC的編碼工具。我們可以看到，在相應的功能模塊中，HEVC只有三四個相應編碼工具，而VVC支持更加豐富的編碼工具集，這也是它能夠有強大的壓縮能力并拿到帶寬節省紅利的主要原因。

編碼工具都具有一定的復雜度，因此每增加一個編碼工具都會相應帶來復雜度和性能的上升。上圖是JVET標準委員會在VVC標準開發期間跟蹤的每個編碼工具帶來的復雜度和能提供的編碼性能的全面概覽圖。這個圖中橫軸是時間，縱軸是編碼性能的上升，不同顏色點對應于不同的VVC編碼工具。其中橫軸越往右相當于一個編碼工具的復雜度越低，縱軸越靠上說明編碼工具帶來的性能越高。因此我們希望編碼工具落在右上角，但其實從圖中可以看到，VVC編碼工具基本上在右上角一片空白，更多的編碼工具能夠帶來1%、1.5%的性能增益，但是也有小幅的復雜度上升。這對于做編碼器優化提出挑戰，因為并不能只要抓住幾個主要的編碼工具進行優化就可以，而是要在豐富的編碼工具集中，針對當前的輸入視頻能夠快速準確選擇應該使用的編碼工具，這是做H.266編碼器的主要優化難點。

上圖右邊的表展示的是在我們軟編系統對不同編碼工具耗時比進行profile，相應于左邊的圖，再一次驗證40%的編碼工具的耗時都不多，只占了2%左右，但都提供性能，所以我們必須決定如何去選擇。另外，92%的編碼工具的耗時都不到10%，對整個工程算法上的優化提出挑戰。

這圖里面展示的不光是H.266編碼器優化所受到的挑戰，而是任何一個實時編碼器都會受到的挑戰。因為在視頻編碼過程中，都要經歷壓縮性能上升、編碼速度下降的拉鋸戰，所以我們要做的是克服這個拉鋸戰。如果我們對比VVC參考平臺VTM相比于HEVC參考平臺HM，雖然帶寬減半，但是VTM的編碼速度只有HM編碼速度的八分之一，這是對實時編碼是不能接受的，所以接下來我主要講一下Ali266所進行的優化。

我們主要從兩個維度對優化工作進行介紹，首先是編碼質量（編碼性能）的優化。

我們在編碼質量和性能的保持上做了很多工作。由于篇幅有限，我只介紹一個例子，這里我選的是預分析、前處理、和核心編碼工具的聯合優化例子。預分析選的是場景切換檢測，做編碼器的同學都知道每個商用編碼器能夠進行精準的場景切換檢測非常有必要；前處理選的是MCTF過程，下文會簡單介紹一下MCTF是什么；核心編碼工具選的是VVC的新編碼工具LMCS。

這個是關于MCTF前處理過程的一個簡介。MCTF是motion conmpensated temporal filtering的意思，它是通過逐層運動搜索和運動補償對輸入視頻信號進行時域上濾波，通過雙邊濾波器做時域上的濾波，可以進行有效的進行視頻降噪，并且降噪在時域上發生的同時在空域上也起到降噪的效果。MCTF可以有效提升編碼效率，正是因為如此，VTM和VVEnc（VVC的開源編碼器）平臺上都有支持MCTF這個前處理過程。

那么我們看一下場景切換和MCTF如何進行結合。上圖展示編碼器在淺黃低時域層視頻幀上進行MCTF，由于MCTF要使用時域上的運動補償和搜索，每個淺黃色的幀都有相應的淺灰的幀作為MCTF的參考幀，而淺藍色的幀與MCTF沒有關系。由于有時域參考的關系，因此遇到場景切換時需要對MCTF進行修改。我們可以看到，在正常情況下，第八幀是MCTF幀，它的前后兩幀共四幀是MCTF參考幀。遇到場景切換情況，比如在第十幀遇到場景切換，本來第十幀是MCTF參考幀，但是由于場景切換，第十幀會變成新的I幀，它的時域層相應下降，原來的MCTF濾波幀和MCTF參考幀必須進行調整，也就是淺黃色和淺灰色的幀會有調整。上下對比可以看見，因為場景切換，第八幀的MCTF參考幀調整為它的前三幀和后一幀，而第十幀變成MCTF濾波幀，其使用的MCTF參考幀為它的后四幀。

看一下場景切換和LMCS如何進行結合。LMCS是VVC中的新編碼工具，需要編碼器進行相應的參數計算，通過APS進行傳輸，這里LM指的是luma mapping，調整亮度信號動態范圍，讓亮度信號更加充分利用動態范圍，比如說8bit是0-255動態范圍、10bit是0-1023動態范圍。由于在LM過程中對亮度信號進行調整，需要進行CS過程，也就是chroma scaling，對同一個塊里面的色度信號做相應的調整，來補償亮度信號調整對色度的影響。

此工具和場景切換如何結合呢？用剛才那個例子，第十幀發現有場景切換，是新I幀，新場景的動態范圍可能完全不一樣了，因此會在新的I幀上判斷是否需要進行LMCS參數更新，而且在相應的GOP預測結構改變后，新的幀會變成新的低時域幀，比如第26幀在GOP16情況下變成低時域幀，那么我們會對運動是否比較劇烈進行判斷，如果運動劇烈，在低時域幀上也需要進行LMCS參數更新。

通過這樣的優化，場景切換+前處理MCTF+LMCS聯合優化能夠拿到什么樣的性能呢？如果視頻相當長，包括一次以上場景切換，如果單獨與LMCS一起優化，可以達到2%的帶寬節省；如果單獨與MCTF一起優化，可以達到2.1%的帶寬節省；如果三個同時進行優化，可以將性能完美疊加，得到4.1%性能增益。

如果一個視頻中場景切換相當頻繁，達到2次以上，表中可以看出有進一步性能提升，從單獨優化分別達到2.1%和2.9%，到三者同時優化拿到5%性能增益。

如果還有更加頻繁的場景切換，那么這個聯合優化的紅利會更多，和LMCS進行結合，可以達到3.6%；如果與MCTF結合，可以達到3.2%；如果三者一起聯合優化，可以得到6.8%的性能增益。大家做編碼器的同學都知道，6.8%的性能相當可觀，而我們可以通過預分析、前處理和核心編碼工具的聯合優化的方法拿到。

剛才主要介紹的是編碼質量性能的優化，接下來會從第二個非常重要的維度去看怎樣進行編碼的速度優化。

首先看一個示例。VVC非常有代表性的新工具是靈活的塊劃分結構，上圖對比VVC和HEVC對同一個場景的劃分對比，VVC是左邊，HEVC是右邊。在同一場景下，VVC通過更加靈活的塊劃分可以更加好的對物體輪廓進行描述。我們看一下放大圖。拿HEVC來講，由于只支持四分樹劃分，所以每一塊都是正方形的。VVC允許更加靈活的在水平方向、豎直方向進行二分樹（binary tree，BT）或三分樹（ternary tree，TT）的劃分。二分樹和三分樹統稱為MTT（mutli-type tree）。對比左邊的放大圖和右邊放大圖，通過長方形劃分，VVC對于手指描述更加精準。

雖然VVC用了更多的塊劃分方法得到更加好的物體輪廓描述，但是給編碼器帶來的困難是編碼器需要嘗試更加多的選擇，因此怎么樣加速MTT劃分的決定對提升編碼速度非常重要。這里我們使用了基于梯度的MTT加速概念。如果一個塊的紋理變化是在水平方向上比較劇烈，那么在水平方向進行劃分的可能性就會降低，豎直劃分也是一樣的道理。如果拿水平做例子，基于這個觀察，對于每個塊進行塊劃分的具體決策之前先會計算四個方向梯度，包括水平方向梯度、豎直方向梯度、和兩個對角線上的梯度。拿水平方向來講，如果我發現水平方向梯度大于另外三個方向梯度，超過一定閾值，就說明當前塊在水平方向的紋理變化比較激烈，因此編碼器將不再進行水平的BT和TT的決策，加速編碼時間。

我們可以看到，這個技術的加速效果從絕對幀率、編碼器速度衡量來看，可以做到14.8%的提升，這個提速百分比相當可觀。當然，因為跳過了一些塊劃分的決策會造成性能下降，但是因為性能損失只有0.4%，從整體加速與性能性價比來說，這個是非常完美的快速算法。

我們有其他非常多的優化工作，由于篇幅關系不一一多述。我來做一個Ali266編碼器小結。現在Ali266支持兩大檔次：Slow檔次，主要適用于離線應用，對標x265 veryslow檔次，Ali266 Slow檔次的編碼速度和x265 veryslow一樣，同時相比起x265 veryslow檔次可以達到50%的碼率節省，也就是帶寬減半。同時Ali266還支持對于商業化來說非常重要的Fast檔次，對實時編碼速度要求嚴格的商業應用，可以做到720p30幀每秒實時編碼，在VVC編碼器速度業界領先，對標的實時應用，與x265 medium檔次相比，做到40%碼率節省，是非常大的帶寬紅利。從編碼速度來說，我們并沒有停留在720p30，還在繼續開發2k和4k、8k超高清視頻實時編碼能力。另外，在準備此次的分享過程中，Ali266已經做到了2k，也就是1080p30幀每秒的實時編碼能力，增加了我們挑戰超高清實時編碼的信心。我們后續持續推進Ali266的主要目標是繼續保持VVC的性能優勢，加速VVC商業落地。

講完編碼器，我接下來講一下解碼器，因為我們之前講到，開發Ali266的主要目標之一是提供完整的VVC編解碼能力。解碼器設計目標從商用角度來說有以下幾個，首先是實時解碼速度，甚至比實時更快；其次是需要解碼器非常穩定魯棒；然后是thin decoding的概念，希望解碼器比較輕。為了實現這些設計目標，我們從4個方面進行了優化，其中一個非常重要的維度就是從零開始。這個是說我們拋棄了之前所有的開源或者參考平臺的架構設計、數據結構設計，從零開始，按照VVC標準文檔開始進行完全全新的數據結構和框架設計，在設計過程中使用了大家比較熟悉的加速辦法，包括多線程加速、匯編優化、內存和緩存效率優化等。通過這四個維度來提升Ali266解碼器的性能。

上圖羅列了從四個維度上Ali266解碼性能。從速度來說我們比較關注低端機（讓VVC有普惠概念），然后在低端機測試上我們發現Ali266只需要三個線程就可以做到720p的實時解碼，由于線程占用率較低，可以有效降低CPU占用率和手機的功耗，對于實際商用是相當有利的指標。從穩定性的角度來說，我們進行了多款蘋果手機和安卓手機的測試，覆蓋了兩大移動端操作系統，并且全面覆蓋高中低三檔移動端設備來保證穩定性。從魯棒性來說，我們使用了上萬條錯誤碼流來沖擊Ali266解碼器，保證其在無論是slice之上還是slice之下的出現錯誤，都能夠有完美的快速錯誤恢復機制。最后，正是由于我們從零開始，才能在thin decoder上給出一個滿意的答案，我們的Ali266解碼器包大小不到1MB，而且在解碼高清720p的時候，內存使用只需要33MB。

我來做了一個Ali266解碼器的小結。從當前性能來說，Ali266的解碼速度、穩定性、魯棒性、decoder footprint等指標均達到設計目標和商用要求，下一步我們希望對VVC進行Main Profile的全方位支持，主要指的是10-bit解碼的全面支持。另外，我們也會全力進行播放器生態的完善化，與Ali266編碼器相配合，加速VVC商業落地。

031

Ali266業務展望

既然之前我們多次提到了商業落地，接下來看一下對Ali266的業務展望。

首先來看VVC標準層面兩到三年的落地展望。與HEVC和之前的H264一樣，VVC是個通用標準，因此可以全面覆蓋多種視頻應用，包括點播、視頻會議、直播、IoT視頻監控等已有的視頻應用。還有很多新興視頻應用在興起中，包括全景視頻、AR、VR、以及最近很火的元宇宙，這些應用也需要視頻編解碼的技術底座，因此對于這類新興應用，VVC標準也有普適性。

那么我們再來看一下Ali266的應用展望。我們從阿里集團內開始，這里列了四點：優酷、釘釘視頻會議、阿里云視頻云、淘寶。在整個如何推進Ali266應用上我個人的見解是會從閉環應用走到開放應用。為什么是這樣的邏輯？原因在于閉環業務下端到端可控性更強，在新標準生態還不夠完善的時候可以通過閉環方法打通，這里面優酷和釘釘視頻會議是比較完美的閉環業務示例。在閉環打磨了Ali266，并且走通從內容到播放的整體鏈路后，我們再去應對開放應用會更加ready，更加成熟。我們開始推進大規模開放應用的時候，VVC會有比較全面的移動端和端上硬解支持，那也將是真正大規模展示VVC標準壓縮力的時候。

剛才講到優酷，這里我與大家介紹一下優酷幀享，就是藝術家與科學家聯手打造的超高清視聽體驗。它依賴了幾大非常重要的超高清技術指標，中間包括高幀率，60幀到120幀每秒的高幀率，從空域分辨率角度來說，4K-8K都在幀享范圍內，動態范圍來說幀享完全支持HDR高動態范圍對比度和寬色域。而且，有影必須有音，優酷幀享還包括對3D環繞音效的支持。

另外一個優酷非常新穎的應用是優酷自由視角，它主要支持Free ViewPoint Video（FVV），FVV提供給用戶很好的Feature，因為它傳遞的視頻格式是全景視頻，用戶可以自己用手在屏幕上進行滑動選擇自己想要觀看視角，從不同角度自由選擇自己想看的內容，優酷的自由視角在CBA重大賽事以及《這就是街舞》大型的綜藝節目里都有支持。

來看看Ali266能夠給優酷帶來什么樣的價值，如何助力幀享分辨率提升、幀率、動態范圍提升。VVC標準帶來的帶寬紅利在HDR視頻上超過50%。對于幀享8k120幀HDR超高清體驗是有非常好技術支撐。全景視頻自由視角方面，由于VVC原生支持360全景視頻，能夠更好的提升主觀質量，幫助優酷在這方面孵化新業務。另外，之前雖然沒有提到，但是VVC和HEVC一樣，也有Still picture profile，因此可以幫助靜態圖片節省帶寬和存儲，因此優酷縮略圖、封面圖靜態的場景也可以完美用到Ali266強大壓縮能力。目前我們團隊已經與優酷在進行深度合作，希望在不久的將來給大家匯報Ali266落地優酷的結果。

04

后VVC時代的機遇和挑戰

剛才講了在過去一年中發生的事情，接下來看一下在后VVC時代視頻業界看到的機遇和挑戰。

這里分為兩部分，技術和應用。從技術角度來說，每一代標準主要都在追求更高的壓縮率，因此VVC并不是終點。在對更高壓縮率的探索上，包括在傳統編解碼框架下進行探索以及在AI技術支撐下對視頻編解碼框架和工具集的探索。從應用的角度來說，簡單看一下新興應用AR、VR、MR、云游戲、元宇宙這幾個新興應用在后VVC時代提出的機遇和挑戰。

更高的壓縮力：框架之爭

技術層面為了追求更高的壓縮力，現在到了時間去看一直以來視頻編解碼標準所使用的框架在下一代是否會繼續使用。左邊是一直以來幾代視頻標準以來的手工打造的視頻編解碼框架，包括不同的功能模塊，塊分割、幀內幀間編碼、環路濾波等。右邊是全新Learning based的框架，完全通過AI方法學習，對于encoder、decoder通過全神經網絡進行實現。

在傳統框架下，JVET標準委員會最近設立了ECM（enhanced compression model）的參考平臺，用于探索下一代編碼技術。當前ECM版本是2.0，這個表中對比了ECM2.0與VTM-11.0的壓縮性能，可以看出在亮度信號上ECM2.0已經可以做到14.8%的性能增益，色度信號上有更高的性能，encoder 和decoder復雜度也有一定上升，不過現在主要是推進壓縮力，復雜度不是現階段最關心的維度。ECM基于傳統框架，大部分工具是之前開發VVC的時候已經看到過的，經過進一步的算法迭代和打磨，得到14.8%的性能增益。

AI編碼的狀況分成兩部分：端到端的AI、以及工具集的AI。剛才的示例圖顯示，端到端的AI與傳統框架完全不一樣，采用全新框架。以今天端到端AI能力來說，在單張圖片的編碼性能可以小幅超過VVC，但如果考慮真正視頻編碼，也就是把時域維度也考慮進來，端到端AI的性能還是比較接近HEVC，還有一定進步的空間。另外AI技術還可以用來做工具集AI，在不改變傳統框架的前提下，在某些功能模塊上開發AI編碼工具，用以替換或疊加在已有傳統編碼工具之上，提升性能。這部分比較多的例子是幀內編碼和環內濾波工具。拿今天來說以我們所知，基于多神經網絡模型的NNLF環路濾波技術相比VVC，性能增益可以達到10%。

AI視頻編碼有其自己挑戰，分為三個維度。

第一個挑戰是計算復雜度，因為現在我們主要還是參數量換性能增益的概念，最近看到Google 的paper給出量化的指導，如果一個AI工具可以提供個位數的性能增益，那么希望這個工具的參數量控制在50K的數量級上。今天很多AI工具的參數量在500k到1兆左右，還是與目標參數量還有數量級的差異，需要簡化。另外，計算復雜度同時也包括需要考慮參數定點化，運算量尤其是乘法運算量這些維度。

第二個挑戰是數據交互量，尤其是工具級AI與傳統編碼器的其它功能模塊可能有很多像素級的交互，無論是幀級還是塊級發生，對于編解碼吞吐率都是很大的挑戰。現如今所看到的性能較好的工具都依賴多神經網絡模型，多NN模型需要模型調換，在模型參數量比較大的時候，調換模型所產生的數據交互量也對吞吐率提出挑戰。

第三個挑戰是移動端解碼，大家手機看視頻是很普遍的行為，如何在移動端做好解碼，個人認為由于上面說到的數據交互量的原因，通過做解碼器+外置NPU的方法不太可行，如果要做合一的解碼器就要考慮硬件成本。同一篇Google的 Paper說一個傳統解碼器的成本相當于實現一個2M參數MobileNet模型的成本。我們知道MobileNet是比較輕量級的神經網絡，如果一個NNLF濾波器需要1M參數的話，就是一半的解碼器成本。所以成本上的下降需要更加努力去做到。所以說AI編碼主要挑戰總結下來就是需要做到更合理的性價比，這方面需要各個公司進行大量研發投入才有可能拿到合理性價比。什么時候能拿到合理的性價比，發揮AI視頻編碼的潛力，我們還是拭目以待。

最后我想說一個個人見解。AI編碼有這樣性價比挑戰的一個原因是因為AI技術本來就是Data Driven的，在一個特定場景下的Data Driven更加容易設計，而主要的技術對于通用場景上的挑戰一定更大。因此我認為可以去看一下特定場景下的AI編碼，可能會更快的提供技術和業務的突破機會。大家最近可能注意到Facebook和英偉達對人臉視頻進行端到端AI編碼，在這種特定場景下，在超低碼率下，AI編碼對人臉清晰度恢復相比于傳統方法來說可以有比較大的突破，顯示了AI編碼的潛力。

新興應用

最后講三個新興應用的例子，AR/VR/MR、云游戲、元宇宙。前兩者是元宇宙的一部分，所以我們看一下元宇宙。

首先來看一下什么是元宇宙。最近“元宇宙”這個詞興起的時候，我自己不是很清楚到底是什么意思，所以我去查了一下。這是從紐約時報文章中摘出來的，什么叫Metaverse也就是元宇宙，紐約時報定義為虛擬的體驗、環境、財產的混合模態。這里給了五個元宇宙體現的例子，我們從最上面沿著逆時針方向看一下：如果你喜歡的游戲可以在其中去建立自己的世界，與他人交互，這是元宇宙的體現；如果最近參加過無論是因公（meeting）或因私（party），沒有真人出現而是用數字的avatar出現，這也是元宇宙的體現；如果帶了頭盔或者眼鏡去體驗AR、VR所賦予的虛擬環境，也是元宇宙的體現；如果你擁有NFT或crypto currency這些虛擬財產，也是元宇宙的體現；最后我覺得比較有意思的一點是紐約時報認為絕大多數的社交網絡也是元宇宙的體現，因為線上和線下的你不是完全一致，線上的你可能有一定虛擬的成分在，所以也是元宇宙的體現。

支持元宇宙和各種AR/VR體驗從視頻技術的角度來看有幾大共同點：低延時、高并發、以及個性化。前面這兩點與現有應用的要求相類似，比如拿直播來說，也有低延時高并發的要求；但是第三點要求，就是個性化的要求，是一個完全不一樣的全新技術支撐。因為在這些虛擬場景下，每一個用戶都在追求自己的體驗和個性化的選擇。從阿里云智能的角度來看，個性化對于云計算提出進一步挑戰，更高的要求。我們今天支持一次直播有成千上萬甚至上百萬的并發量，一次下發服務很多客戶。但是，如果每個客戶都有自己的個性化要求，每次下發只能支持十幾或幾十有類似要求的客戶，那么對云上視頻處理能力的質量和吞吐率都提出了更高的要求，要求處理能力有數量級上的提升。所以我認為將來要對于視頻處理和deliver做好技術支撐，云上定制化硬件是必然的技術趨勢。

05

總結

最后我們對今天的分享做一個總結。首先我們介紹了Ali266，阿里云自研的VVC編解碼器，首先Ali266對VVC這個最新視頻標準提供完整的編解碼能力，速度可以達到實時高清，目前我們最快的速度是可以達到1080p30幀編碼速度。Ali266壓縮性能卓越，在Slow檔次上達到50%的帶寬節省，在實時Fast檔次上達到40%的帶寬節省，因此Ali266從質量優先到速度優先可以覆蓋不同業務的需求。同時我們非常高興的匯報我們正在與優酷進行深度合作，希望通過Ali266技術落地優酷，助力優酷降本增質、賦能新業務技術支撐。

展望未來的話，從技術上來說，下一代編解碼標準還是需要拿到更好的壓縮率，但是如何進行框架的選擇我們還在探索，今天還沒有定論。傳統框架下的ECM相比VVC能拿到15%的性能增益，但與40%、50%的要求還有距離。AI編碼可以給出很好性能潛力，但是從性價比來說還沒有達到要求，需要長足進步。從應用角度來說，元宇宙會帶給大家更加豐富的虛擬體驗，也可以支撐很多新的應用的成長。要讓元宇宙成為現實的話，在云計算的方面需要盡快實現高質量高吞吐的個性化云計算能力，應對新興應用所提出的挑戰。最后，雖然之前沒有提到，但是虛擬世界的體驗也需要更加友好、也就是更輕更普惠的AR/VR終端設備早日登場。

本次分享到此結束，非常感謝大家，也特別要感謝主辦方LVS給我這個機會做分享，由于疫情的影響，非常遺憾與大家不能進行面對面交流，如果對我此次分享的內容有任何問題或希望進一步探討，歡迎大家在評論區留言。

---

講師招募

LiveVideoStackCon 2022 音視頻技術大會 上海站，正在面向社會公開招募講師，無論你所處的公司大小，title高低，老鳥還是菜鳥，只要你的內容對技術人有幫助，其他都是次要的。歡迎通過?speaker@livevideostack.com?提交個人資料及議題描述，我們將會在24小時內給予反饋。

喜歡我們的內容就點個“在看”吧！

總結

以上是生活随笔為你收集整理的编解码再进化：Ali266与下一代视频技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。