資深編解碼技術專家Jan Ozer撰文總結描述了其在NAB 2019大會中的見聞，文章介紹了CAE視頻編碼的幾種階梯展現，以及如何減少帶寬并提高體驗質量。

文/ Jan Ozer

譯/ 元寶

原文?

https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=131182

每年在參加NAB的時候我都對產品沒有抱什么期望，日程安排也都是比較隨意，而不是經過精心組織安排的。會場到處都是我想要見的公司和朋友，還有其他一些公司，他們的營銷人員很積極，會恰好在合適的時間打來電話。另外，在我空閑時間的時候，我也會在展廳里看看有哪些吸引我目光的公司。因此，本篇文章是有關于“Jan在NAB所看到的內容”，而不是“展會上所有與流媒體相關的重要進展”。

每個知道編碼階梯是什么的人都應該先閱讀第一部分；然后，我會將這些技術分成幾個部分，這樣您就可以快速瀏覽并查看哪些部分可能與您相關。希望這對你是有所幫助的。

新的提升

2015年12月14日，Netflix通過引入按標題編碼的方法來替代了固定編碼階梯，該編碼方式根據每個視頻的獨特內容為每個視頻創建特定的階梯。在NAB 2019，按標題編碼被上下文感知編碼的概念所淘汰，上下文感知編碼結合了視頻的獨特內容、網絡和設備使用統計數據，根據觀眾實際觀看視頻的方式，為每個視頻創建一個優化質量的階梯。實際上，上下文感知編碼可以降低編碼、存儲和帶寬成本，并提高用戶的觀看體驗。

這個概念很簡單：QoE信標和網絡日志提供了一些細節，比如觀看者的有效可用帶寬、他們用來觀看視頻的設備以及在編碼階梯上的查看分布。您的編碼階梯應該同時考慮這些數據和內容。

第一個將這個概念產品化的是Brightcove及其上下文感知編碼(CAE)。在一篇題為《優化大規模多屏幕視頻傳輸》的白皮書中，Brightcove的作者為三家不同的運營商創建了同一視頻的編碼階梯，第一家運營商主要面向移動用戶，第二家運營商主要面向PC和電視用戶，第三家運營商專門面向通過電視觀看視頻的高帶寬用戶。圖1顯示了為每個運營商創建的編碼梯形圖，同樣也是為相同的內容創建的。

圖1. Brightcove的Context Aware Encoding（CAE）根據設備和網絡統計信息為相同的內容生成三個不同的梯形圖。

本文將這些梯形圖與Apple HLS 創作規范中推薦的HLS編碼梯形圖進行了比較，并說明了三個自定義梯子如何減少再現和整體存儲的數量，以及如何減少帶寬和提高體驗質量。它為CAE提供的價值是提供了引人注目的畫面。

Brightcove已部署CAE超過一年了，而在NAB至少有兩家公司——Epic Labs和Mux，透露了他們類似想法的版本。Epic Labs在一個名為LightFlow的產品中提供其版本，并且至少有一個高容量用戶，而Mux則在4月份添加了Audience Adaptive Encoding 到它的編碼堆棧中。

圖2.反饋到Epic Labs的LightFlow系統的帶寬和設備數據。

有關Brightcove和Epic Labs產品的更多信息，您可以觀看我對Epic Labs創始人兼首席執行官Alfonso Peletier的采訪。

您現在可以使用現有的編碼工具和工作流做些什么呢？除了與這些公司簽約之外，您還可以仔細查看觀眾最常使用的設備分辨率以及通常消耗的編碼階梯的梯級，然后進行一些常規的調整。許多主要服務于北美、歐洲和遠東國家的組織會發現，大多數觀眾都是在觀看最熱門的兩到三條流，而且它們可以在不降低QoE質量的前提下，從自己的梯子底部剪切下一兩段。相反地，那些主要服務于較低比特率的查看器的最好方法是將它們的大部分梯級集中在這個范圍內的查看器上。快速瀏覽圖1可以為這些工作提供指導。

在我看來，無論以什么名義，將網絡和設備數據合并到編碼梯形公式中是我在NAB看到的最重要的技術。但還有許多其他亮點，這里只是一個簡短的概要。

什么是Twitch？

Twitch.tv是一個進步顯著且非常成功的運營商，通過貢獻文章文章以及在會議中發表演講，他們一直在與流媒體觀眾分享其專業知識。Twitch的明星之一是沈悅時，首席研究工程師（7級）兼項目工程經理。在一次采訪中，悅時分享了Twitch采用VP9和AV1的計劃，以及為什么在向成千上萬的實時觀眾流式傳輸時絕對需要進行恒定比特率編碼。

在VOD編碼方面

我與Telestream開始了我的NAB，與市場總監Ken Haren討論了Vantage Cloud端口。在較高的層次上，該端口使Vantage客戶能夠將許多以前只能在本地使用的工作流部署到云上，這是一個關鍵的好處，因為越來越多的公司將夾層資產存儲在云上。

在我的下一站Capella Systems，我討論了Cambria FTC的主要新功能，這是該公司的旗艦VOD編碼器。與Telestream一樣，Capella向Cambria添加了云功能，特別是能夠啟動運行Cambria的AWS實例，并將編碼分發給這些實例，就像在本地編碼場上運行的任何其他Cambria實例一樣。Capella創建了AMI預置，用戶可以在Cambria中啟動和控制它。它非常適合將溢出編碼需求推送到云，同時將正常負載以最經濟的方式編碼到現有系統。

另一個新功能是能夠導入基本流并以DASH或HLS格式打包它們。這允許生產者對其內容進行一次編碼，并根據需要將其打包以用于其他分發目標。這種先編碼后打包的兩步工作流程比針對每種輸出格式從零開始編碼要有效得多。

周三，我采訪了Encoding.com創始人兼首席執行官Greggory Heil。除了討論最近發布的全球格式報告，Heil還強調了一些新特性，比如編碼和解碼Apple ProRes、輸出Dolby Vision的能力，以及Ludicrous HLS將源文件分割成更小的片段來加速編碼。作為對上述按上下文討論的一個有趣的對比，在采訪之后，我問Heil為什么Encoding.com還沒有提供按標題編碼。他回答說，雖然按標題編碼肯定都在他們的路線圖上，但它在用戶中并不是一個非常受歡迎的功能。

我與AWS Elemental進行了簡短的會面，討論了AWS MediaConvert的加速編碼。它與Encoding.com的Ludicrous HLS一樣，將視頻分段提供給多個編碼器，從而將編碼速度提高至多25倍。

我還與云編碼器Qencode的首席執行官Murad Mordukhay進行了交談。Qencode提供一種按標題編碼的形式，定價非常有吸引力，比如SD編碼每分鐘0.004美元。該服務支持所有相關的輸入和輸出格式，包括AV1，任何尋求云編碼工具的公司都值得一看。

基于硬件的編碼和解碼

硬件轉碼是一個令人感興趣的話題，我將在Streaming Media East上發表關于這個話題演講。NETINT是一家提供超高密度解決方案的公司，它展示了基于公司自己的Codensity G4 SSD控制器SoC(系統在一個芯片上)的Codensity T400視頻轉碼器，能夠在高達單個4K / 60p或8x 1080p流的情況下進行可擴展的H.264 / H.265轉碼。Codensity芯片使用現在許多企業級存儲服務器中常見的NVMe連接來實現高密度解決方案。

我還會見了Softiron產品戰略顧問Anil Saw，他展示了他們的高密度HyperCast編碼器，它是圍繞Socionext的MB86M30 SoC構建的。HyperCast可以在1RU形式因子中支持多達32個SoC，每個SoC可以編碼多達一個4K60流或四個1080p60流，每個流最多包含六個視頻和兩個音頻輸出。NETINT和Softiron都面向電信、有線、衛星和云視頻服務提供商。

NGCodec開發、營銷和銷售基于Xilinx FPGA的硬件編碼器。在NAB，NGCodec演示了實時的HEVC和AV1轉碼，他們聲稱比其他基于硬件的H.265和VP9編碼器提供了30%的更好的壓縮。值得注意的是，這是Twitch TV在其基于硬件的VP9代碼轉換中使用的技術。

AV1實時編碼是一項技術預覽，并且只支持i-Frame。另外還有一種新的HEVC雙密度編碼，它使每個FPGA的輸出容量翻倍。NGCodec編碼可作為AWS服務使用，使其易于訪問。我與公司總裁Oliver Gunasekara進行了交談，并就Intel / Netflix新發表的SVT/AV1編解碼器發表了一些直接的評論。

同樣在硬件方面，Beamr展示了基于Intel圖形技術GPU的硬件加速CABR（內容自適應比特率編碼）。在較高的層次上，Beamr將自己的速率控制機制插入到Intel GPU的HEVC編碼管道中，因此Beamr可以在Intel CPU進行HEVC編碼時進行速率控制。這加快了Beam的內容自適應編碼性能，但質量可能與Beamr自己的基于軟件的HEVC編碼器的質量相匹配。

有趣的是，英特爾似乎正在通過其SVT-AV1公告以及相關的HEVC、VP9和H.264編解碼器來遠離硬件編碼。Beamr正在進入這個領域，應該能夠通過Beamr CABR SDK 將內容自適應功能擴展到任何GPU、CPU、FPGA或其他采用H.264或HEVC編碼的硬件。

所有上述公司都使用硬件編碼以進行分發。在貢獻方面，我與LiveU工程副總裁Daniel Pisarski談論了HEVC如何在LiveU生態系統中工作以及5G何時會貢獻相關的內容。簡而言之，HEVC很快就成為了LiveU用戶所青睞的格式，盡管所有的傳輸都必須通過LiveU的云服務進行路由，在云服務中，信號從設備上的各種調制解調器組裝到H.264上，然后被轉換成H.264，最后流到最終目標。Pisarski預計5G將在未來12到24個月內變得重要。

質量和QoE監控

SSIMWave是SSIMPlus指標的開發者，該指標是用于VOD和實時監控的功能強大且輕量級的指標，并提供特殊的設備支持。在NAB會議上，我了解到該公司參與了ASC運動成像技術委員會的HDR評估工作組。目的是評估在HDR制作工作流程中使用的不同技術和格式如何保留“原始創作意圖”，和“校準SSIM結構相似度視覺感知質量指標的HDR，寬顏色，超高分辨率的視頻材料，基于專業電影攝影師和色彩師的反饋，以及制作和進行顏色分級的材料。“

從本質上說，通過這些金眼睛的輸入，SSIMplus將在HDR輸出的準確性方面得到“訓練”，這應該使其成為HDR生產的首選指標。為HDR評估創建的幾個源/編碼比較屏幕已經成為SSIMWave零售產品，包括用于比較源和編碼輸出之間的顏色相關差異的極好的屏幕。

我和QoE供應商的同事們一起度過了愉快的30分鐘，他們都是工作上友好共事的人，這是名副其實的。我和Jonathan Shields談到了NPAW產品線，包括他們在視頻中的反流失和CDN切換工具。我們還花了一些時間討論哪些視頻發布者已經采用了QoE解決方案，哪些還沒有，但應該采用QoE解決方案。基本上，Shields創造了一個強有力的案例，如果視頻對一個行動至關重要，那么QoE也應該如此。

Finishing Up?

還有這樣的一些公司，他們的產品并不完全符合任何類別。其中一個是Mediamelon，它的SmartPlay Streaming是一種針對按標題編碼的交付端優化器。也就是說，該服務測量ABR組中流的質量，并且只有當它實際增加了觀察者所感知到的質量時，才分配更高的帶寬流。因此，可能以1080p@3Mbps檢索簡單場景，而以1080p@5Mbps接收更高動作場景。系統還可以在復雜場景之前下載視頻，以避免在受限條件下緩沖較大尺寸的片段。

我們以QBR的名義對產品進行了評審。雖然QBR運作良好，但它有一個嚴重的弊端，只有當梯子中的所有梯級都以相同的分辨率編碼時，它才會工作，這與大多數推薦的方法相反。不過這個問題已經得到了很好的解決，公司進一步完善了其內部度量標準，并使用這個標準來度量編碼階梯中的流的質量。

這個名為MediaMelon iMOS的指標運行速度比實時更快，這很好，但我想知道評分與VMAF的關系有多密切，在評估完整編碼梯子時，VMAF是我最信任的指標。MediaMelon提供了如圖3所示的比較，它顯示了這兩個指標之間的合理相關性。因此，如果您相信VMAF，那么iMOS應該能夠很好地預測您的觀眾實際感知到的質量，這意味著SmartPlay流媒體應該能夠有效地為您服務。

圖3. Mediamelon的按標題交付端應該能夠通過使用該指標預測質量來減少下載帶寬

SmartPlay流媒體是一種提高帶寬效率的方法，無需按每個標題或每個上下文技術重新編碼整個庫。它也可以與每個標題系統一起使用，以節省帶寬，不過，如果將內容編碼到一個典型的固定比特率階梯，您可能會獲得最大的收益。

LiveVideoStackCon 2019北京正在招募出品人和講師，無論你是技術派還是學術派，亦或是行業專家，無論你的團隊有多小，有多新，都可以來申請LiveVideoStackCon的講師或出品人。點擊【原文閱讀】了解更多大會相關信息。

總結

以上是生活随笔為你收集整理的NAB 2019见闻：CAE视频编码与QoE的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。