AV1挑起的Codec之战
AV1編解碼器已經在NAB上發布了。那么它是否已經做好了準備來和H.264，HEVC和VP9的銀河帝國進行一次正面交鋒呢？資深多媒體技術咨詢師Jan Ozer對AV1帶來的Codec之戰進行了分析。LiveVideoStack對原文進行了摘譯。
文 / Jan Ozer
譯 / 元寶
審校 / Ant
原文 :
http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Return-of-the-Codec-Wars-A-New-Hope-a-Streaming-Summer-Sequel-126339.aspx
對于那些對編解碼器和相關流媒體技術感興趣的人，NAB 2018將因推出AOM AV1編解碼器而永遠聞名。盡管許多聯盟成員對AV1的快速支持都令人印象深刻，但對于每一位流媒體專業人士來說，自然的問題是，“什么時候會與我相關呢？”
絕大多數制作人的回答是：“很快就會出現”。為了一探究竟，我們來看看推動編解碼器采納和使用的影響因素，并探討它們該如何應用于H.264，HEVC，VP9以及最終的AV1。
賺錢/省錢
大多數商業決策，包括采納哪種編解碼器，都是出于兩種動機之——賺錢或省錢。因此編解碼器要能通過改善觀眾的QoE或幫助公司進入如4K和HDR等的新市場來幫助公司賺錢，并能降低帶寬成本來節省資金。
圖1對一些編解碼器幫助企業賺錢或省錢的影響因素進行了分類，其中收入因素排在最前面，成本因素排在最后。雖然不是很完美，但通過顏色的深淺也能反應各個編解碼器對每個影響因素的表現程度，亮綠色表示非常好，其他綠色表示是良好，黃色表示有些保守，橙色和淺紅色表示逐漸變得更加保守，紅色表示較差。
?
圖1.此表顯示了四種主要編解碼器的優缺點
讓我們從H.264開始吧。就覆蓋范圍而言，H.264很難被擊敗，并且在所有三個類別中都得到普遍支持。H.264在實時捕獲和轉碼以及低延遲方面也得到廣泛支持，但在高動態范圍（HDR）視頻中的效果會下降，它的8位顏色深度限制了它的有效性。
在成本方面，H.264的編碼時間是最短的，這使其成為了編碼最便宜的編解碼器。隨著摩托羅拉和諾基亞的H.264相關訴訟促進了FUD（恐懼，不確定和懷疑）因素的影響，MPEG LA H.264專利聯營收取訂閱費和按次付費的流媒體服務使用費。也就是說，2017年，蘋果公司向諾基亞支付了20億美元作為使用與H.264相關的專利和解協議的一部分的費用，并將支付更多款項。幸運的是，這些訴訟似乎是針對編碼器/解碼器的使用而不是與內容相關的版稅，因此它們不會影響到大多數流媒體制作人。
H.264
雖然H.264的部署成本低廉，但其相對低下的壓縮效率確實會降低為觀眾提供的體驗質量，特別是移動消費者。如圖2所示 ?。
?
圖2 H.264和HEVC的編碼梯形圖。請注意，HEVC的最高質量流（圖表中的底部三個）是三個相同的1080p流。
上圖顯示了兩個編碼梯度——左邊是H.264；在右邊是HEVC。為了得到這樣一個梯度圖，我為是視頻Tears of Steel和Sintel創建了最佳的編碼梯度，并對結果進行了平均化。兩組都針對圖左側顯示的碼率并為每個編解碼器以該碼率提供最高質量的分辨率進行編碼。有關Netflix啟發式技術的更多信息，請查看文章《蘋果推薦并非最佳 iOS 11下的HEVC編碼設置優化》。
VMAF的值使用視頻多方法評估融合客觀度量來計算，該度量是Netflix在其按主題編碼（和基于鏡頭的編碼）技術中使用的質量量表。Delta列顯示的是H.264和HEVC流的VMAF值之間的差異。請注意，根據這個度量指標，有六個VMAF點的差異比較明顯，這也就意味著75％的觀眾不會注意到質量差異。
如您所見，VMAF值產生差距的點超過了6個，分別是從365Kbps到1100Kbps，因此使用HEVC或VP9的服務將比使用H.264的服務提供明顯更高的質量。VMAF值的差異在最高端會有所下降，因為兩種技術都提供相同的分辨率，并且H.264流的數據速率要高得多（前三個HEVC流是相同的4500Kbps流）。當然，如果你的用戶處于帶寬受限的計劃上，那么節省42％的視頻帶寬以觀看幾乎相同的流（在H.265上的7800Kbps和在HEVC上的4500Kbps）也將受到贊賞
幾乎在各個梯度的各個階段，相比于H.264，觀眾都傾向于選擇HEVC，無論是質量的原因還是帶寬相關的原因。隨著越來越多的服務采用更新的編解碼器，堅持使用H.264的服務將變得越來越沒有競爭力。
HEVC
讓我們把注意力轉向HEVC，這是一種基于標準的編解碼器，如圖1第二列所示。就觸及的范圍而言，HEVC在計算機上升起了一面大紅旗，因為缺乏對Chrome，Firefox和Opera的支持。雖然Android平臺支持HEVC，但對于移動設備，播放峰值最高只能支持到Main Profile Level 3，這意味著最高分辨率為960x540（30 fps），這對于許多over-the-top（OTT）服務來說是不夠的。相比之下，iOS平臺上的HEVC支持可以擴展到Level 5，足以支持30 fps的4K視頻。HEVC在計算機和Android設備上的覆蓋范圍顯然是經濟上的負面因素，這也導致減少了可以幫助抵消編碼和其他成本的流的數量。
當然，HEVC的最佳應用點是OTT和智能電視，其相對高的效率和10-bit support使其成為HDR視頻的自然選擇。HEVC也得到了實時編碼器的良好支持，這是得流行用它進行做轉碼貢獻，也使其成為分發的一個現實選擇。雖然有一些與HEVC相關的低延遲開發工作，但大多數都還是專注于H.264。從質量的角度來看，HEVC提供與H.264類似的質量，其碼率約為H.264的60％，但這會因內容類型和分辨率而有所不同。
成本因素包括編碼費用，這些費用因公司而異。如果您正在運行自己的編碼工具，您可以預期HEVC編碼的花費比H.264貴2到4倍，盡管許多云提供商已經消除了H.264和HEVC價格之間的任何附加費。
對于大多數流媒體制作人來說，最大的擔憂可能是用HEVC編碼會有潛在的版稅問題。 圖3 顯示了大多數已知的HEVC IP所有者以及三個專利池的成員。關于內容版稅，MPEG LA 聯營從未對其收費，并且在2018年3月，HEVC Advance團隊改變了政策并刪除了與流媒體內容相關的任何內容的相關版稅。
圖3. ?HEVC知識產權所有者圖（由Divideon的Jonatan Samuelsson提供）
Velos Media 聯營的Q＆A部分堅決拒絕澄清聯營的意圖，而是說：“因為它與內容有關，我們將花時間充分了解這個系統的動態，并確保我們的模型最好地支持推進和采用HEVC技術。“
HEVC已有5年多的歷史了，特許權使用費從一開始就是一個廣為人知的障礙。很明顯，如果Velos 聯營不打算收取與內容相關的版稅。不過，許多生產者認為他們將征收內容版稅。此外，還有許多尚未在聯營中表達過他們對內容版稅的意圖的HEVC知識產權所有者，對許多潛在用戶來說都是一個重要的問題。
量化節省帶寬
當然，任何支付大量帶寬費用的公司都可能決定擲骰子并選擇HEVC，因為它可以提供的帶寬節省。在這里，重要的是要記住，僅僅因為HEVC比H.264效率高40％并不意味著轉換到HEVC就能減少40％的支付成本。
為什么不是呢？看看圖4，其中顯示了編碼梯形圖和三種不同的流分發模式A，B和C。每個模式顯示實際從自適應組傳遞的每個流的百分比，正如您應該能夠從您的日志文件中派生出來的一樣。
圖4. 三種流傳輸模式
在模式A中，所有傳輸的流都是3000Kbps或更低，可能代表第三世界國家的分布。在這種情況下，切換到HEVC對帶寬成本沒有影響，因為您只是為H.264流切換HEVC流。當然，質量會得到提高，但是你要分配相同的帶寬流; 你只是發送HEVC碼流而不是H.264流。
在模式B中，100％的傳輸流是7800Kbps流，可能代表通過直接光纖分發到斯堪的納維亞半島的家中。在這里，轉換為HEVC將會把有效碼率降至圖2所示的4500Kbps，100％的觀眾可以節省約42％的帶寬。如果沒有對內容版稅的擔憂，這種情況對于HEVC來說是不費吹灰之力的。
模式C顯示了頂部梯級的高度集中和其他梯級的良好傳播，可能是移動寬帶和無線網絡的混合傳輸。在這里，轉換為HEVC會使7800Kbps和6000Kbps的碼流降至4500Kbps，從而將總體傳輸帶寬降低約31％。
顯而易見的一點是，你的帶寬節省取決于你的分發模式，即你必須從日志文件中挖掘到這個數據。解決這個問題后，您可以輕松地將編碼成本和帶寬節省標準化為一個常見的單元，例如一小時的視頻。將每小時的節省量除以每小時的成本，來計算你使用流式傳輸的視頻小時數，以彌補與支持新格式相關的成本。
顯然，范圍越大，HEVC的部署就越有意義。如果你已經為其他平臺采用了HEVC編碼，那么接下來你最好要探索一下如何將這些流轉換為HLS（如果需要的話）。
HEVC現狀
盡管許多開發者正在使用HEVC，但編解碼器仍然占總編碼流的一小部分。例如，在Bitmovin的“2017年視頻開發者報告”中，納入了380份全球調查報告，28％的受訪者表示他們目前正在部署HEVC流。但是，同一時期的不同報告 - “2018年全球媒體格式報告” ”來自名為Encoding.com的云編碼供應商報告稱，該服務在2017年生產的流中只有9％是用HEVC編碼的。大部分的使用是與測試有關，但Encoding.com預計2018年HEVC部署將大幅增加。為什么呢？因為Apple將HEVC添加到HLS了，這可能是2018年及以后采用HEVC最重大的機遇。
HEVC的重大機遇
具體來說，2017年6月，Apple將HEVC添加到了HLS以便交付到iOS，tvOS和macOS上。盡管Apple以建議的編碼梯度和詳細的配置建議（見go2sm.com/hevcapple）的形式給我們提供了合適的方向，但新的格式也讓尋求部署它的出版商產生很多令人不安的問題。
例如，在編碼階梯中切換H.264和HEVC流時，不同的iOS，tvOS和macOS設備會如何執行？HEVC播放是否會過度占用舊設備的CPU，導致播放效果不佳？傳統設備如何使用HEVC和HLS處理混合的梯度？混合梯的最佳配置是什么？針對HLS中的HEVC編碼，Streaming Media East 2018研討會進行的測試澄清了許多這些問題。具體來說，我們收集了超過60種iOS，macOS和tvOS體驗的數據，結果幾乎在所有方面都非常出色。梯形圖中的所有文件都具有編碼，分辨率和數據速率的，因此觀眾/測試人員可以看到正在播放的編解碼器，并觀察播放器從H.264切換到HEVC時發生的情況，反之亦然。沒有報告與交換相關的問題。
在與HEVC不兼容的傳統Apple平臺上流暢地播放在梯形圖中的H.264流，這是沒有多大問題的，也不必大驚小怪。在所有經過測試的設備上，HEVC播放都是以全幀速率播放，包括像iPhone 6這樣的舊設備。唯一的潛在問題就是具有足夠帶寬的4K設備很少有超出最高質量的1080p流，我們將問題報告到Apple，它目前正在分析。
總體而言，至少與向Apple設備提供混合流有關，將HEVC添加到HLS應該只涉及很少的用戶開發費用，至少對于那些本地而不是通過應用程序玩HLS的用戶而言是這樣的。將HEVC添加到HLS還涉及最小的開發風險，因為播放兼容性和質量都非常好。
希望這些數據有助于打破HEVC-in-HLS的僵局，我們將看到許多流媒體開發者追逐改進的QoE和帶寬節省，這些在HLS中部署HEVC是應該要提供的。Streaming Media 最近發布的調查數據顯示，許多生產商計劃在未來幾個月內在HLS中實施HEVC。具體而言，該調查由Harmonic贊助，并于2018年1月發布，題為“The Impact of Apple’s HEVC Adoption: A Survey-Based Report.”。從超過600名StreamingMedia.com的讀者回復中我們了解到，超過70％的人考慮到2019年底將HEVC添加他們的HLS碼流中，盡管潛在版稅依然被許多人認為是一個重要的問題。
這些證明是否準確還有待觀察。迄今為止，大多數HEVC是部署到了智能電視，OTT和機頂盒（STB）平臺，大公司都在追逐新市場和服務而不是帶寬效率。在這些情況下，公司要么承擔HEVC特許權使用費風險，要么就是不參與。在許多情況下，如果征收特許權使用費，那么服務提供商可以提高價格以收回成本。
雖然Velos Media或其他HEVC知識產權所有者似乎不太可能試圖通過在免費的互聯網視頻（例如，非訂閱或按次付費）上收取版稅，但謹慎的CFO們根本無法排除這一點。由于在不知道成本的情況下進行收支平衡分析是不可能的，而且你不對視頻收費是難以收回版稅費用的，因此看看有多少出版商愿意承擔版權的版稅風險來節省帶寬將會是件很有趣的事。
VP9
VP9是Google擁有的開源編解碼器，是Google在2009年從編解碼器供應商On2收購的VP8的繼承者。就觸及范圍而言，VP9的優勢在于基于瀏覽器的計算機播放，支持Chrome，Firefox，Edge和Opera，但目前還沒有支持Safari。Android在4.4版本中開始支持VP9，這意味著大約95％的Android設備都可以播放VP9。大多數智能電視和OTT設備也都支持VP9，但并不像HEVC那樣普遍。
.
從功能的角度來看，VP9在幾個關鍵領域都很薄弱。雖然有一些商業上可用的實時VP9編碼器，但它會減少VP9作為一種貢獻格式的吸引力，盡管有多個轉碼引擎，包括Wowza和Nimble Streamer中的一些，可以轉換成VP9格式進行分發。VP9并沒有出現在我能找到的任何低延遲流媒體產品中，盡管它在WebRTC等通信應用中得到了廣泛的應用。雖然VP9具有支持HDR視頻的位深度，但今天它只支持三種主要HDR格式之一，即HLG（混合日志Gamma），而不是Dolby Vision或HDR10或10+。
基本上，部署VP9的主要動機是在計算機和Android設備上播放。與HEVC一樣，VP9應該以大約60％的碼率提供與H.264相同的質量，因為VP9編碼的速度通常比HEVC快，因此編碼成本應該更低。考慮這種方法的開發者應該運行圖4中建議的分析方法來確定帶寬節省，然后從那里進行收支平衡分析。
VP9是一種免版稅的技術，盡管與HEVC一樣，存在某些第三方聲稱侵犯知識產權的風險。請注意，諾基亞確實提起訴訟，聲稱VP9的前身VP8侵犯了其技術，但在德國法庭上輸了。除了諾基亞，2013年，Google在MPEG LA H.264專利池中授權了11項專利持有者的“‘可能’對VP8至關重要的技術”，該協議也擴展到VP9。這一協議，加上AV1的總體勢頭，使得任何與IP相關的訴訟的風險看起來都不大，但這當然不能被排除。
VP9現狀
VP9享有多個備受矚目的用例，包括用于流媒體的YouTube和用于可下載電影的Netflix。在服務提供商的部署方面，JW Player在其業務的在線視頻平臺（OVP）中使用VP9。在另外一方面，VP9的使用率一直不高，Encoding.com報告指明，2017年產生的流只有6％是VP9，Bitmovin報告只有10％的受訪者使用VP9。但反過來，在上述流媒體調查中，27.3％的受訪者表示他們計劃在2017年或之后實施VP9。接下來將我們帶到AV1編解碼器。
AV1
正如我之前提到的，AV1是一個由稱為開放媒體聯盟的團隊制作的編解碼器。AOM成立于2015年，整合了Google（VP10），Mozilla（Daala）和思科（Thor）的開源編解碼器開發工作，以及微軟和英特爾等其他創始成員的壓縮專業技術。其他成員包括亞馬遜，Netflix，Facebook，Apple，Hulu，BBC，Nvidia，ARM，Broadcom和Bitmovin等的主要參與者。AV1編解碼器最初計劃于2017年3月發行，并于2018年3月晚些時候以草案形式發布。
據AOM稱，該聯盟預計AV1將分四個階段推出（圖5）。階段1涉及部署規范，參考軟件和參考流，因此部署編解碼器的產品和服務可以開始集成。階段2涉及參考軟件的優化，以便更有效地編碼/解碼，在瀏覽器中回放以及AV1編碼內容的分發。根據AOM演示的PPT，第1階段和第2階段應該在2018年發生。
圖5.AV1的四個階段展示
第3階段將于2019年推出，其中包括支持游戲機中的AV1播放，以及通過混合軟件和硬件實現（如GPU或FPGA）提高編碼/解碼性能。最后，在推出2年后，首批采用AV1編碼和解碼的消費類設備應出現在手機，平板電腦，電腦，OTT播放器和機頂盒中。
AOM的明星會員表明，這個時間表應該會得到滿足。例如，在NAB 2018上，Google和Mozilla都在其瀏覽器的測試版本中展示了AV1播放。YouTube和Netflix表示，AV1編碼已經集成到他們的編碼管道中，將在基于瀏覽器的播放發布后立即部署。商用硬件計劃的2年發布是非常標準的，像英特爾，Nvidia，ARM和Broadcom等成員似乎是可以實現的。
即使這樣，盡管AV1具有非凡的血統和前景，但是很少有人能夠預測有多快AV1會變得與大家相關聯。例如，如圖1所示，雖然AV1播放可能會在未來幾個月內出現在Chrome，Firefox，Edge和Safari中，但我們不知道播放AV1編碼視頻所需的CPU負載。如果CPU負載過高，那么在舊計算機上的播放速度會很慢并且很難。
圖1還反映出移動平臺上的硬件輔助播放以及對智能電視，OTT盒和機頂盒的支持將不會在這2年出現。當然，即便如此，與HEVC，VP9和H.264相比，支持AV1的設備的安裝基礎也是微不足道的。來自Facebook等AOM成員的早期質量試驗表明AV1是很有希望的，因為AV1的表現優于VP9約30％，優于H.264約50％（圖6）。然而，編碼時間是非常緩慢的，一些AV1編碼的時間比H.264要長10,000多倍，這應該會直接影響到編碼成本。
圖6. 在Facebook的這些測試中，AV1的效率比VP9提高了約30％
這些是非常初步的試驗，大多數AOM成員希望編碼時間能大幅度下降。例如，在NAB Netflix的編碼算法總監Anne Aaron所說的：“編碼時間，現在，非常非常慢。......但我是滿懷希望的......我期待著復雜性會下降。可能比VP9復雜5到10倍，這正是我們所期待的。或者，只要它在那個范圍內，那對我們來說也是沒問題的。“
這些評論強調了幾個關鍵點。首先，當你的視頻被觀看數百萬或數千萬次時，如同Netflix和Facebook一樣，如果能夠節省大量的帶寬，你是可以在編碼上花費更多的。因此，對于規模最大的出版商來說，這是可以接受的，但對于規模較小的出版商來說可能不是很好的選擇。
其次，我們處于AV1編碼的早期階段，在編碼器得到合理優化之前，現在進行的競爭性試驗是幾乎無用的嘗試。在接下來的12個月左右，我們將看到大量的對比; 一些人證實了Facebook的調查結果，還有一些則對他們提出了質疑。在合理的編碼時間內對實際生產軟件進行測試之前，這些都不重要。
基本上，在接下來的12個月內，AV1將達到與VP9相同的覆蓋范圍，但可能會在較舊的計算機上遇到麻煩，并且編碼成本會高出幾個數量級，除了絕對最大的視頻分銷商之外，這對其他人來說都太昂貴了。它顯然不可能用于實時生產或轉碼，也不能用于任何低延遲的傳輸，而且不能支持智能電視、STB或OTT設備以及高動態范圍的視頻。
在圖1中降低成本因素，AV1也是一種免版稅的技術，但這并不意味著會面臨來自像諾基亞或其他擁有HEVC或H.264相關知識產權的公司的挑戰。也就是說，起訴AOM肯定是一項艱巨的任務，因為它的成員包括許多資金充足且精通知識的技術公司，該集團還成立了一個防御基金，以防規模較小的成員或許可方被起訴。
接受我們調查的受訪者說了什么呢？如圖7所示，對AV1的興趣是所有列出的編解碼器中最高的（HEVC在其他問題中得到了解決）。當然，這是否轉化為實際采用還有待觀察，但對于絕大多數潛在用戶來說，AV1還沒有為它的部署做好準備。
圖7 根據一項由Harmonic贊助的流媒體服務的編解碼器采用計劃調查
總結
那么我們下面會往哪里發展呢？在接下來的12個月中，將HEVC添加到HLS似乎是大型內容制作者最明顯的舉措。在許多（但不是所有）地區，還應該提供改進的QoE和顯著的帶寬節省。如上所述，如果你已經為其他平臺使用HEVC，那么將HEVC添加到HLS是非常有意義的。
我想相信很多公司都會在基于瀏覽器和Android的情況下部署VP9，但這個機會已經存在多年，很少有人接受，AV1的即將推出可能會阻礙VP9的部署。
至于H.264，它顯然不會再往其他任何方向發展。想要減少帶寬成本的公司應該挖掘每主題編碼技術的節省的潛力，這些技術現在可以從幾乎所有的編碼供應商那里獲得。請記住，雖然H.264是經過嘗試的，真實且熟悉的，但它可能同時減少了你的QoE，并增加了你的帶寬成本。
有獎互動，留言就有機會得精美禮品
感謝大家一直以來的認可與支持，LiveVideoStack現推出《有獎留言》活動。我們將會在每周的5篇圖文中選出1-2篇精品文章，開啟有獎評論、留言活動。
活動規則
圖文推送后48小時內，用戶可在文章下留言，LiveVideoStack會對所有留言進行篩選并放出部分精選留言，被選出的精選留言即可參與《有獎留言》活動。LiveVideoStack會與文章作者或相關技術專家商議，從中選出最具深度與影響力的留言，贈送精美禮品。
溫馨提示
有觀點、有想法的留言更容易獲得獎品
每期中獎名單會在下一期《有獎留言》的文章中公布
本期獎品
總結
以上是生活随笔為你收集整理的AV1挑起的Codec之战的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： LiveVideoStackCon讲师热
- 下一篇： 音视频技术开发周刊 59期