上個(gè)世紀(jì)末，家庭寬帶還處在“KB”量級(jí)，RealNetworks通過(guò)其高壓縮比的Real格式在國(guó)內(nèi)曾經(jīng)獲得了大量終端用戶(hù)。光陰荏苒，RealNetworks在國(guó)內(nèi)的研發(fā)團(tuán)隊(duì)帶來(lái)了面向高清畫(huà)質(zhì)的Codec，并獲得了CIBN這樣的用戶(hù)的認(rèn)可。在NAB大會(huì)上，資深多媒體技術(shù)咨詢(xún)師Jan Ozer對(duì)RealNetworks CTO Reza Rassool進(jìn)行了訪(fǎng)談，談及了與HEVC的競(jìng)爭(zhēng)以及國(guó)內(nèi)的市場(chǎng)格局。

文 / Jan Ozer

譯 / 金歌

審校 / Dumpling, Sean

原文：http://www.streamingmedia.com/Articles/Editorial/Featured-Articles/NAB-2018-Reza-Rassool-Talks-RealNetworks-HD-124400.aspx

Jan Ozer:你能為我們介紹一下RealNetworks HD編碼器么？它是何時(shí)開(kāi)發(fā)出來(lái)的，目前有哪些用戶(hù)在使用，你們?yōu)槭裁匆_(kāi)發(fā)這樣一款編碼器呢？

Reza Rassool: 與MPEG類(lèi)編解碼器相比，RealMedia編碼器是非常與眾不同的。雖然它仍然是一個(gè)二維編編碼器，基于DCT（Discrete Cosine Transform，離散余弦變換）技術(shù)。我們采用了運(yùn)動(dòng)估計(jì)和算術(shù)編碼，力求得到一個(gè)低復(fù)雜度的解決方案。

我們堅(jiān)信無(wú)論是MPEG類(lèi)編碼器，還是所有由委員會(huì)設(shè)計(jì)的編碼器，它們都在追求極高的復(fù)雜度。或許編碼器的復(fù)雜性不需要那么高。我們?cè)蚓幋a器開(kāi)發(fā)團(tuán)隊(duì)發(fā)起了一個(gè)挑戰(zhàn)，讓他們?cè)O(shè)計(jì)出一款可以與HEVC競(jìng)爭(zhēng)的編碼器，要求是該編碼器可以通過(guò)軟件在移動(dòng)處理器上進(jìn)行解碼，并且使用時(shí)不會(huì)耗盡電量。換句話(huà)說(shuō)，就是開(kāi)發(fā)一款可以匹敵HEVC但更加實(shí)用的軟件編碼器。

該項(xiàng)目于2014年啟動(dòng)，實(shí)際上是我們?cè)诒本┑难邪l(fā)部分傾盡全力完成的。我們剛剛發(fā)布的競(jìng)爭(zhēng)數(shù)據(jù)中展示了我們開(kāi)發(fā)的結(jié)果，結(jié)果表明我們的表現(xiàn)優(yōu)于HEVC。

Jan Ozer: 你們是基于什么指標(biāo)進(jìn)行比較的呢？

Reza Rassool: 我們利用Netflix VMAF（Video Multimethod Assessment Fusion）視頻質(zhì)量評(píng)價(jià)工具，指標(biāo)作為縱軸，比特率作為橫軸進(jìn)行了繪圖，得到了碼率-質(zhì)量曲線(xiàn)。 從這些曲線(xiàn)的排布可以看出RMHD編解碼器的性能是優(yōu)于AVC和HEVC的。

事實(shí)證明，我們的編碼器在4K視頻上的表現(xiàn)要比在1080p視頻上好得多。而在標(biāo)準(zhǔn)清晰度480p視頻上，可能呈現(xiàn)不出太多優(yōu)勢(shì)。這與AV1和HEVC進(jìn)行比較時(shí)的表現(xiàn)非常相似。在視頻質(zhì)量更高的情況下，我們的編碼器的表現(xiàn)超越了HEVC，而在視頻質(zhì)量較低時(shí)，他們二者的表現(xiàn)區(qū)別不大。

Jan Ozer: 那么在編碼時(shí)間和解碼負(fù)載方面，它的表現(xiàn)又如何呢？

Reza Rassool: 它的編碼速度非常快，遠(yuǎn)超HEVC或X265，我覺(jué)著能快5倍吧。我們還給自己設(shè)定過(guò)一個(gè)目標(biāo)，任何用戶(hù)在筆記本電腦上運(yùn)行RealPlayer都應(yīng)該能夠?qū)崟r(shí)編碼1080p視頻流。而這一目標(biāo)剛剛得到了實(shí)現(xiàn)。事實(shí)上，如果你使用的是超高速處理器，比如AMD銳龍Threadripper處理器，那么我們的編碼器幾乎可以對(duì)4K視頻流進(jìn)行實(shí)時(shí)編碼。與眾多其他編碼器開(kāi)發(fā)者一樣，我們?nèi)匀辉诓粩鄬?duì)編碼器進(jìn)行優(yōu)化，我們相信實(shí)現(xiàn)4K實(shí)時(shí)編碼的那一天不遠(yuǎn)了。

Jan Ozer: 編碼器的開(kāi)發(fā)是一回事，有時(shí)在實(shí)際中對(duì)它進(jìn)行應(yīng)用反而是更大的挑戰(zhàn)。如果我說(shuō)“很好，我想使用你的編碼器”，那么我該如何利用它在瀏覽器中播放視頻呢？又該如何在移動(dòng)設(shè)備、STB（Set-Top-Box，機(jī)頂盒）和智能電視上播放視頻呢？

Reza Rassool: 這確實(shí)是一項(xiàng)挑戰(zhàn)。首先我來(lái)解決一下在瀏覽器中播放視頻的問(wèn)題。目前它還沒(méi)有在任何瀏覽器中得到啟用。 它需要在一些插件或ActiveX組件的幫助下在瀏覽器中進(jìn)行使用。RealPlayer中有一個(gè)嵌入式瀏覽器，我們可以將解碼后的幀渲染到該瀏覽器中。雖然這不是一個(gè)可廣泛應(yīng)用的解決方案，但在移動(dòng)設(shè)備上，我們能夠以多種形式提供編碼器。例如基于SDK的形式，它可以被封裝在一個(gè)播放器中，應(yīng)用程序開(kāi)發(fā)人員可以將它部署到他們的移動(dòng)應(yīng)用程序中。

目前我們的編碼器已經(jīng)在華為這樣的手機(jī)制造商的OEM SDK中得到了應(yīng)用。如果你是華為手機(jī)用戶(hù)的話(huà)，Mate 9的操作系統(tǒng)就是以RealMedia作為原生編碼器的。 所以，實(shí)際上可以說(shuō)RealMedia編解碼器在中國(guó)正得到廣泛的應(yīng)用。RealMedia編碼器歷經(jīng)了許多代革新，目前使用的是第十一代。而出于種種歷史原因，RealPlayer和RealMedia編解碼器在中國(guó)得到了蓬勃的發(fā)展，可能你對(duì)這段故事并不陌生。第十一代編碼器已經(jīng)在華為的設(shè)備中得到了全面地移植，并且過(guò)去幾年中我們也在廣泛地與其他采用RMVB技術(shù)的OEM進(jìn)行合作。

我們的編碼器正為這些OEM制造商帶來(lái)諸多益處，它不僅提供了一種HEVC的替代方案，而且是軟解的，他們不必等待將近18個(gè)月的芯片開(kāi)發(fā)期。它在電量消耗方面表現(xiàn)如何呢？在諸如Mate 9手機(jī)這樣的移動(dòng)處理器上，充一次電你可以觀看兩個(gè)小時(shí)的電影，這也是我們（對(duì)開(kāi)發(fā)團(tuán)隊(duì)提出過(guò)）的另一項(xiàng)指標(biāo)。我們正在不斷進(jìn)一步優(yōu)化我們的編碼器。隨著我們與各個(gè)OEM制造商的關(guān)系更加緊密，我們也在尋找使用擴(kuò)展指令集的方法，未來(lái)可能會(huì)在設(shè)備上使用未公開(kāi)的指令集以便提高編碼器的性能。

Jan Ozer: 我聽(tīng)說(shuō)RealNetworks將所有與視頻相關(guān)的編碼器IP都賣(mài)給了英特爾。

Reza Rassool: 那比交易是在2010年進(jìn)行的，主要針對(duì)RMVB相關(guān)的編碼器。那是一筆不錯(cuò)的交易。出售IP同時(shí)保留編碼器的銷(xiāo)售權(quán)，這種交易還挺有趣的。那時(shí)我們還將該編碼器團(tuán)隊(duì)以及西雅圖團(tuán)隊(duì)轉(zhuǎn)讓給了英特爾。所以你聽(tīng)說(shuō)的是筆2010年的老交易了。為了開(kāi)發(fā)目前這個(gè)新的編碼器，我們特意在北京創(chuàng)建了一個(gè)全新的團(tuán)隊(duì)。如今這一編碼器也正在展現(xiàn)出它的價(jià)值，不僅在我剛剛提到的OEM領(lǐng)域，而且在OTT領(lǐng)域也得到了重視。OTT運(yùn)營(yíng)商們也在尋找一種編碼器的替代方案，不僅以設(shè)備數(shù)量為單位收取費(fèi)用，還要對(duì)其流媒體業(yè)務(wù)收費(fèi)。RealMedia編碼器為OTT運(yùn)營(yíng)商們提供了一個(gè)絕佳的選擇。

與此同時(shí)，RealMedia編碼器還能為他們提供另一個(gè)獨(dú)特的優(yōu)勢(shì)。OTT服務(wù)與IPTV或者有線(xiàn)電視服務(wù)截然不同。OTT運(yùn)營(yíng)商并不提供機(jī)頂盒。用戶(hù)可以自由選擇購(gòu)買(mǎi)Amazon Fire TV或Roku，隨后選擇（在機(jī)頂盒上）使用Netflix、Hulu或者在中國(guó)的類(lèi)似服務(wù)。而只有當(dāng)你將機(jī)頂盒與OTT服務(wù)進(jìn)行連接時(shí)，OTT運(yùn)營(yíng)商才有機(jī)會(huì)了解你的機(jī)頂盒的硬件性能。

國(guó)有廣播公司CIBN是與我們合作的其中一家大型OTT運(yùn)營(yíng)商。就像中國(guó)的CBS一樣。他們選擇采用RealMedia編碼器，因?yàn)楫?dāng)他們對(duì)網(wǎng)絡(luò)進(jìn)行分析的時(shí)候時(shí)，可能會(huì)發(fā)現(xiàn)有74種硬件性能各異的機(jī)頂盒正連接到他們的網(wǎng)絡(luò)。而其中可能只有32％的機(jī)頂盒支持HEVC。最終他們失去了對(duì)編碼器的控制權(quán)。從前在有線(xiàn)電視時(shí)代，OTT運(yùn)營(yíng)商會(huì)將特定的編碼器構(gòu)建在機(jī)頂盒中，而如今利用可捆綁到OTT應(yīng)用中的SDK形式的軟件編碼器，他們找回了昔日曾擁有的（對(duì)編碼器的）控制權(quán)。這一獨(dú)特的優(yōu)勢(shì)是我們?cè)趧?chuàng)建編碼器時(shí)沒(méi)有預(yù)想到的，而這似乎也是OTT運(yùn)營(yíng)商選擇使用我們編碼器的原因之一。

Jan Ozer: 接下來(lái)我們?cè)賮?lái)談?wù)剮讉€(gè)其他的話(huà)題。 都說(shuō)開(kāi)發(fā)一款新的編碼器很難不涉及到別人已有的專(zhuān)利。雖然目前你擁有以前開(kāi)發(fā)過(guò)的技術(shù)的專(zhuān)利，但同時(shí)你也對(duì)新的編碼器進(jìn)行了技術(shù)創(chuàng)新。 你認(rèn)為在不侵犯他人專(zhuān)利的情況下，構(gòu)建一款新的編碼器的可能性有多大呢？

Reza Rassool: 這真的很難，像是在走雷區(qū)一樣。但AOM聯(lián)盟就采取了完全不同方案，聯(lián)盟的成員公司都貢獻(xiàn)出各自的專(zhuān)利以供聯(lián)盟開(kāi)發(fā)AV1編碼器。

目前業(yè)界對(duì)此仍無(wú)定論。 對(duì)我們來(lái)說(shuō)，我們?cè)谇笆幋a器的基礎(chǔ)上建立了目前最新的編碼器，我們清楚當(dāng)前有競(jìng)爭(zhēng)力的方案可能涉及到的技術(shù)雷區(qū)，也非常小心地確保在必要的地方使用替代技術(shù)。

我們的RMHD側(cè)重使用空域壓縮技術(shù)而不是時(shí)域壓縮技術(shù)。這意味著什么呢？ 隨著視頻分辨率從標(biāo)清到720p、1080p再到4K，空間分辨率一直在增加。但對(duì)于商業(yè)應(yīng)用來(lái)說(shuō)，幀率并沒(méi)有以相同的速度增加。我們認(rèn)為，我們的編碼器能夠利用空域壓縮技術(shù)加倍壓縮，從而提供更好的編碼質(zhì)量/速度。

將復(fù)雜度和計(jì)算能力運(yùn)用到空域壓縮中，可能會(huì)減少對(duì)時(shí)域壓縮。實(shí)際上，最終我們只在相鄰幀之間尋找運(yùn)動(dòng)矢量——這些長(zhǎng)的運(yùn)動(dòng)矢量都沒(méi)有以相距16幀以外的幀。 這大大降低了編碼器的復(fù)雜度。目前我們的編碼器對(duì)內(nèi)存的占用量非常小，線(xiàn)程（使用）的復(fù)雜度也非常低。通過(guò)運(yùn)用分片并行處理技術(shù)和在其他編碼器的設(shè)計(jì)中使用長(zhǎng)期參考幀的所有的過(guò)渡復(fù)雜的技術(shù)，似乎取得了成功。但在經(jīng)過(guò)了短期參考幀測(cè)試后，結(jié)果表明在相鄰幀之間尋找運(yùn)動(dòng)矢量就已經(jīng)足夠了。

Jan Ozer: 就我所做的測(cè)試來(lái)看，使用一個(gè)以上的B幀實(shí)際上不會(huì)對(duì)畫(huà)質(zhì)有那么多的提升。而使用多個(gè)參考幀不但不會(huì)顯著提高畫(huà)質(zhì)，還會(huì)大大增加編碼時(shí)間。

Reza Rassool: 沒(méi)錯(cuò)。

Jan Ozer: 咱們說(shuō)回到播放器上來(lái)，您是如何看待瀏覽器在編碼器應(yīng)用方面的角色呢？移動(dòng)設(shè)備和OTT確實(shí)是很重要的目標(biāo)市場(chǎng)，但瀏覽器無(wú)疑是最適合應(yīng)用新編碼器的場(chǎng)景/平臺(tái)。你有和谷歌，Mozilla以及微軟進(jìn)行溝通嗎？

Reza Rassool: 當(dāng)然，雖然他們都對(duì)AV1有既得利益，質(zhì)疑我們：“為什么還要使用另一種編解碼器呢？” 我們所能做的就是堅(jiān)持我的口號(hào)：復(fù)雜度低，復(fù)雜度低，復(fù)雜度低。摩爾定律最終勝出。摩爾定律表明，CPU的最高功率每年都會(huì)提升一倍，同時(shí)存儲(chǔ)成本也會(huì)隨之降低，因此軟件解決方案總是比硬件解決方案更加靈活。AOM聯(lián)盟設(shè)計(jì)的方案將有意無(wú)意地以帶來(lái)過(guò)度的復(fù)雜度。

總結(jié)

以上是生活随笔為你收集整理的RealNetworks CTO：我们追求低复杂度的软解码的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。