开启HDR视觉盛宴:究竟什么视频算得上HDR?
面向未來,HDR將成為高還原度視頻的重要選項。視頻制作公司Mystery Box對HDR進行了詳細解讀。LiveVideoStack對本文進行了翻譯。
文 / Mystery Box
譯 / 蔣默邱澤?
審校 / 包研
從模擬標準清晰度到數字4K,HDR視頻是一場革命和跳躍。
或者說,把它放在臨床上少得多,這是令人興奮的,令人敬畏的,革命性的,令人難以置信的!如果它不讓你興奮,我不確定你為什么讀這個...
那么HDR視頻是如何特殊的,比我們所做的更美呢?這就是我們要在這里潛入的內容。
HDR視頻與HDR攝影
如果你是一個攝影師或一個圖像平面家伙你可能很熟悉HDR攝影。如果你認為“沒關系,有什么大不了的,我們已經用了多年的HDR”,再次考慮。HDR視頻與HDR攝影完全無關,“高動態范圍”部分除外。
一般來說,任何高動態范圍技術都試圖在場景中捕捉或顯示更多級別的亮度,即增加整體動態范圍。這是一種'噗'的表示,但讓我們帶你一起去漲姿勢吧。
在攝影中,這通常意味著使用不同曝光值(EV)的多次曝光,并將結果混合成單個最終圖像。當然一直以來,無論您使用相機或HDR技術拍攝多少光源,您仍然受到8位JPEG壓縮和計算機/電視顯示器提供的相同256級亮度的限制,即使印刷油墨稍微大一些但仍然有限的色調。 因此,大多數HDR攝影依賴于在整個圖像中創建局部對比區域,混合不同的曝光等級以保留黑暗和燈光下的細節:
標準對比度的照片與局部對比度相同
雖然結果往往很漂亮,但它們本質上是不自然的或超現實的
HDR視頻是完完全全的不同
HDR視頻不是試圖將場景的自然動態范圍壓縮到非常有限的動態范圍內,而是通過增加平均和峰值顯示亮度(以nits度量),并通過增加總體來擴大顯示器本身的動態范圍圖像比特深度從8比特到至少10比特/信道,即從255個亮度等級和1600萬種顏色,到至少1024個亮度等級和10.2億個顏色。
標準視頻 / 攝影范圍 / HDR攝影對比HDR視頻范圍
顯示光級的改變允許通過黑暗和燈光的擴展色調范圍,使得最終顯示的圖像本身是場景的更自然的渲染,其能夠匹配當今數字電影的整體動態范圍和電影來源的相機。也許更重要的是,當完全實施時,HDR視頻將幾乎完全匹配人眼本身的動態范圍。
它有多大的交易?我第一次向他展示HDR視頻時,我無法描述它比我的哥們更好:
我想說,這就像你正在通過一扇窗戶進入另一個世界,除了當你通過一扇窗戶看時,它不像那樣清脆,干凈或者清晰。
對HDR視頻的驚呆印象
我們是怎樣走到這一步的?
所以如果HDR視頻比我們目前使用的要好得多,為什么我們一直沒有使用它?
而現在,對于歷史課(這很有趣,但不是必須知道的,所以如果你不在乎,請跳過這里)
自19世紀80年代末以來,陰極射線管作為一種科學儀器和“顯示”設備,已經以某種形式存在了,但第一臺CRT照相機直到20世紀20年代末才被發明出來。早期的相機很大,分辨率很低; 電視有顆粒感、嘈雜、低保真。
電視早期的事情發生了很大的變化。隨著越來越多的公司加入CRT電視行業,各自創建了略有不同且不兼容的電視系統,以避免侵犯專利權。這些不同系統具有不同的信號類型,這意味著家用電視機必須與廣播機構使用的攝像機相匹配,即它們必須由同一家公司制造。因此,該地區的第一家廣播公司為設備制造商創造了當地壟斷地位,他們購買了第一臺相機,消費者別無選擇。
當越來越多的人開始購買電視機,越來越多的廣播公司想要進入某個領域時,預見到一個大問題,美國政府介入并表示,系統的多樣性將無法實現——所有的電視廣播和電視機都必須兼容。為了實現這一目標,他們成立了一個新的管理機構——國家電視系統委員會,簡稱NTSC,該委員會在1941年繼續定義了第一個國家電視標準。
從那時起,我們就不得不處理標準化的結果,無論好壞。
很明顯,好處是我們不必為每個我們想要觀看的頻道或者我們想要居住的國家的每個地區購買不同的電視機(盡管跨國公司通常仍然不走運)。不好的一面是,自從1941年以來,標準的每一次演變都需要向后兼容性:今天的數字廣播標準和計算機顯示標準,仍然部分地受限于CRT在20世紀40年代和50年代可以做的事情。
你不相信我?即使忽略NTSC 1 / 1.001幀速率修改器,仍然有很大的影響力:讓我們看一下列表:
1. 色彩空間:NTSC的YIQ色彩空間和PAL和SECAM中使用的YUV色彩空間都基于短光輝熒光粉可以產生的顏色,它們覆蓋CRT屏幕的內部并形成光線和色彩CRT的元素。在向數字化過渡時,YIQ和YUV成為Rec。601色彩空間(標清數字),這反過來是Rec的基礎。709(高清數字)色彩空間(第709號錄像與第601號錄像幾乎使用相同的基色)。
2. 為了防止您的電腦被遺漏,sRGB顯示器標準中也使用了相同的色彩原色,因為所有這些色彩空間都是以顯示器為參考的,而且它們都是基于相同的CRT技術構建的。因為直到21世紀初,CRT才是電子顯示圖像的方式--LCD的對比度低,等離子顯示器價格昂貴,LED和DLP都沒有出現。
3. 傳遞函數:SD和HD中使用的傳遞函數(也稱為伽馬曲線)也基于CRT的自然光電和電光響應。CRT相機以約伽瑪1 / 2.2的光 - 電壓響應曲線捕獲圖像,而CRT顯示器以約2.4的電壓 - 光響應曲線重新創建圖像。這些值一起形成了1.2的標準近似系統伽瑪,并且形成了在ITU-T建議BT.1886中找到的2.4的當前參考顯示伽瑪標準的基礎。
4. 亮度限制:最后,也許最令人沮喪的是,顏色準確的CRT顯示器需要有限的亮度來保持其顏色精度。根據用于原色的實際熒光粉,最大亮度值通常落在80-120尼特范圍內。消費類CRT顯示器雖然尺寸更大,亮度更高,顏色準確性更低,但仍然只能達到最高200尼特的亮度。相比之下,晴天在不同戶外表面發現的亮度等級在5000-14,000范圍內(或更多)。
參考和消費級顯示器級別之間的這種大亮度差異近年來隨著用LCD,等離子和OLED顯示器取代CRT,可以輕松推動300-500尼特峰值亮度而變得更加突出。這些亮度等級會歪曲參考圖像的整體外觀,同時對環境光線條件的變化不甚敏感。簡而言之,這意味著按照目前的標準,消費者很少有機會按照電影制作人的意圖在家中看到內容。
因此,由于傳統的陰極射線管(一種淘汰技術),我們陷入了一套傳統標準,這限制了我們如何向消費者提供圖像。但是由于CRT是一種死亡的技術,我們現在有機會可以選擇在20世紀50年代剩下的時間里被束縛,或者說“夠了就夠了”,并且使用更好的東西。有前瞻性的想法。我們目前的技術甚至無法達到100%,比如HDR視頻。
HDR模式
目前,HDR視頻有兩種不同的類別和多種標準,包括CTA的HDR 10媒體檔案,杜比的杜比視覺和BBC的混合記錄伽瑪HLG。當然他們都會做一些不同的事情。我將在后面部分:HDR視頻術語解釋中深入介紹它們之間的差異,但現在我將把它們集中在一起,集中討論所有HDR視頻的常見方面,以及與其中的視頻不同之處過去。
調用HDR視頻需要四個主要方面:ITU-T建議書BT.2020或DCI-P3色彩空間,高動態范圍傳輸功能,每通道10位傳輸和顯示值以及傳輸的元數據。?
1. 色彩空間:大多數人認為HDR視頻是現有BT.2020 UHD / FUHD和DCI規格的延伸,因此使用更寬的BT.2020色域(BT.2020是4K / 8K替代BT.709 / Rec.709 HD廣播標準),或者更有限但仍然寬的DCI-P3色域。
BT.2020使用純波長原色,代替基于CRT熒光粉或任何材料發光的主要數值。當然,我們無法在桌面顯示器中完全展示這些技術,但只有最新的激光投影儀才能覆蓋整個顏色范圍。但最終,色彩空間的廣度覆蓋了盡可能多的可見顏色,包括三個實際的原色*,并包含Rec.709 / sRGB和DCI-P3中已有的所有顏色值以及100%的Adobe RGB和大多數現有顏料和染料可用的輸出打印空間。
2.傳輸功能:HDR視頻與標準BT.2020和DCI規范不同的是其亮度 - 數字值和數字 - 數值 - 亮度級關系,分別稱為OETF和EOTF。我將在另一期更深入地討論OETF和EOTF,但現在我們需要知道的是,目前的光水平和數字值之間的關系是陰極射線管時代的遺留問題,并且近似于2.4伽馬值 。在這樣系統下235的全白數字值轉換為80-120nits之間的光輸出。
由于人眼的非線性響應,將相同的曲線延伸到更高的動態范圍輸出中證明是有問題的:它會導致在黑暗和燈光中嚴重步進,或者每個通道需要14-16位,同時浪費數值以實際上看不到的增量。它仍然不會向后兼容,在這種情況下,有什么意義?
因此,HDR視頻使用兩條新的傳輸曲線之一:BBC的混合對數伽瑪(HLG),在ARIB STD-B67中標準化,允許輸出亮度從0.01尼特到約5000尼特,以及杜比感知量化(PQ )曲線,在SMPTE ST.2084標準化,允許輸出亮度從0.0001尼特到10,000尼特。
PQ是杜比為了測量人眼響應而進行的直接研究的結果,并創建了一個曲線。其中沒有值被浪費,值之間沒有可見的跳動。就未來輸出亮度的最大化而言,PQ的優勢非常明顯(當前最好的實驗性單個顯示器最大輸出量為4000尼特;杜比測試設備的輸出范圍為0.004至20,000尼特),并增加了在黑暗中捕獲的細節數量。
另一方面,HLG提供了一定程度的向后兼容性,匹配曲線前50%的伽瑪2.4輸出電平,并將最高50%的值保留到較高的亮度輸出。一般來說,系統伽馬值為1.2的HLG內容看起來與標準動態范圍內容非常近似,盡管有時候白色的內容有時會被壓縮和灰色差不多至少比SDR中使用的內容壓縮更加嚴格。
在Rec.709和HLG中對比的畫面。
(注意:我喜歡在SMPTE st.2084中進行分級,因為在黑色中有擴展的動態范圍,并且平滑地過度到白色。)
3.?位深:新的傳輸曲線突出了從模擬值到數字值切換后的視頻問題:改進。隨著顯示器變得更亮,兩個代碼值(比如25和26的數字值)之間的差異有時足以讓我們看到兩個灰色之間的明顯區別線。當使用最大亮度大于參考標準的顯示器時尤其如此,并且在黑人中比在白人中更常見。
BT.2020和DCI標準都已經要求通過將信號編碼和傳輸從每個信道8bit切換到最低10bit(DCI為12bit)來降低門檻改進,允許至少4倍平滑梯度。但是,BT2020仍然允許在顯示器上進行8位渲染,這在當今市場上的絕大多數電視機和參考顯示器上都能找到。
另一方面,HDR視頻更進一步,需要在顯示面板本身進行10bit渲染; 也就是說,在所有操作亮度和對比度模式下,每個顏色子像素必須能夠在876和1024個可區分的光級之間。
HDR需要10bit面板而BT.2020不需要的原因是,我們的眼睛更容易捕捉到顏色或漸變的值,而不是介入其色調或飽和度:眼睛可以輕松彌補較低的色彩保真度(BT.2020空間中的每個通道8bit),但通過HDR曲線,每個通道8bit兩個編碼之間的亮度級別跳變足夠明顯。
比較8bit,10bit和12bit精度的梯度漸變步驟(強度對比)
4. 元數據:HDR視頻要求標準BT.2020不支持的最后一件事是元數據。所有形式的HDR視頻應包含有關內容和主控環境的信息。這包括在等級中使用哪種EOTF,內容和顯示的最大和幀、平均亮度,以及使用了哪些RGB原色。杜比視覺牛逼在于它包含元數據,可以逐幀定義如何將HDR值轉換為SDR范圍!!
消費顯示器制造商利用這些信息來實時調整屏幕內容,知道何時剪輯或壓縮高光和黑暗(基于顯示的屏幕功能),以及自動選擇操作模式(切換從Rec。709到BT.2020,以及進出HDR模式,最終用戶不必更改設置)。
總之,HDR視頻有什么不同?更寬的色域更高幀率,新的傳輸函數曲線,可實現更大范圍的亮度,每通道10bit最低要求在顯示器上顯示,以及傳輸元數據以將有關內容和主控環境的信息傳達給最終用戶。
所有這些都是必不可少的,其中沒有一個完全向后兼容的
是的,但是它看起來像什么?
不幸的是,要真正向您展示HDR的唯一方式就是告訴您去展覽會或后期拍攝的影片中展示,或者購買具有HDR功能的電視并傳輸一些實際的HDR內容。因為當你在普通顯示器上顯示HDR內容時,它看起來特別扭:
SMPTE ST.2084中的圖像HDR視頻格式直接進入Rec.709或sRGB Gamma 2.4的情況
如果我將標準動態范圍圖像的亮度等級降低一半,并將其與更接近HDR亮度范圍的亮度等級并排放置則可以獲得一點點視覺感:
標準化縮放SMPTE ST.2084 HDR視頻與Rec. 709亮度調整對比
但是這并不能捕捉到HDR視頻的實際效果。我不知道如何清楚描述它 - 它強大,美觀,清晰,真實,現實和多維。對于圖像,實際上有一種生理和心理上的反應,你沒有用標準的動態范圍素材獲得 - 不僅僅是對圖像質量的情緒反應,但更高的亮度水平實際上會觸發你的眼睛和大腦中的東西,讓你從字面上看,它與你以前見過的任何東西都完全不一樣。
一旦你開始經常使用它,沒有其他的東西看起來像是令人滿意的,沒有其他圖像極其漂亮。你最終感覺到其他一切都有點不足。這就是為什么HDR一定會很快成為未來視頻的新常態。
LiveVideoStack Meet | 上海
多媒體開發新趨勢
2018年初的視音頻技術生態并不平靜,Codec的爭奪進入群雄逐鹿的時代; WebRTC 1.0版定稿在瀏覽器中,移動端乃至IoT上的多媒體通信; AI,區塊鏈技術的發展,正在與多媒體開發發生在化學反應,將成為推動生態發展的新力量。
2018年,LiveVideoStack將通過“LiveVideoStack Meet:多媒體開發新趨勢”系列沙龍,展現新技術在音視頻領域的探索與實踐,以及新興應用場景和傳統行業的最新最佳實踐。
講師與話題:
?吳威麒:觸寶科技音頻技術專家 ?
《實時語音通信的音頻后處理技術》
?曾小偉:蘇寧云商IT總部技術副總監 ?
《如何使用機器學習算法優化分發鏈路》
?沈軻軼:騰訊天天P圖iOS開發組長??
《iOS實時相機的GPU實踐》
?盛驍杰:優酷VR技術專家 ?
《超高清VR直播技術的演進與挑戰》
?崔文秀:北京三體云聯科技有限公司總監
《實時音視頻技術賦能傳統行業》
?蔡銳濤:相芯科技圖形引擎負責人 ?
《Animoji動態表情的技術實現》
點擊?[閱讀原文] 了解相關活動信息,快來報名吧!
總結
以上是生活随笔為你收集整理的开启HDR视觉盛宴:究竟什么视频算得上HDR?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 董海冰:2018风云再起 ,期待AV1、
- 下一篇: Facebook 360度音频编码与渲染