本文由百度智能云-視頻云音視頻處理技術架構師——邢懷飛，在百度開發者沙龍線上分享的演講內容整理而成。
內容從百度智能視頻云的核心競爭力：“智感超清”出發，梳理了智能視頻云相關的產品概念和技術。在詳細介紹了HDR技術的概念基礎上，結合相關“智感超清”能力，重點分享了HDR技術的應用實踐。

文/ 邢懷飛
整理/ 百度開發者中心
視頻回放：https://developer.baidu.com/live.html?id=7

本次分享的主題是：智感超清之HDR應用實踐。內容主要分為以下三個部分：

• 智能視頻云3.0 & 智感超清介紹
• HDR技術概念解析
• “智感超清” HDR技術應用實踐

01百度智能視頻云3.0&智感超清介紹

百度智能視頻云3.0介紹

上圖就是百度智能視頻云3.0的全景圖。可以用三句話概括：

第一，云智一體化
即百度目前所有的視頻云產品都實現了智能化。可以看到，圖中標注的部分，“智感超清視頻處理”的核心能力就包括了：智能編碼、智能處理、智能抽幀、版權保護。其中，“智感超清”是視頻處理產品的一個核心競爭力品牌。

第二，服務平臺化
結合底層的云智一體的能力，我們搭建了兩個平臺：視頻創作分發平臺，視聯網感知平臺。
其中，創作分發平臺面向泛媒體和泛互聯網場景，可以提供端到端一站式的視頻服務。而視聯網感知平臺，面向傳統監控產業，對視頻端設備和泛視頻數據流進行統一接入、分析和管理。

第三，應用場景化
結合具體的應用場景，百度智能視頻云在泛互聯網、泛媒體和泛產業方向提供了定制化的智能視頻方案覆蓋互動娛樂、內容生產、智能分析、遠程實時通訊、生產管理、安全管理等場景。

“智感超清”MCP視頻處理產品

以上是智感超清 MCP視頻處理產品的一個功能框架圖。下面簡單介紹一下每一層的結構與內容。

接入層：與其他云上產品類似，MCP視頻處理產品提供兩個主要入口：Console、API&SDK。
用戶可以通過控制臺（Console）進入并進行相應的配置。而對于B端的客戶，更可以靈活地采用API/SDK的方式對產品進行訪問。

基本功能層：包括基礎的云上轉碼的功能，也包括基本的視頻剪輯/拼接/截圖/字幕疊加等附件的功能。
云上轉碼可以把用戶上傳的視頻進行一個全格式、全協議的轉換，以滿足于不同客戶場景下、不同網絡情況、不同終端的適配，并可以靈活的做多碼流切換。

智能視頻處理層：這部分是“智感超清”整個產品核心打造的能力。抽象出以下三個層面介紹：

• 第一：智能畫質提升:通過AI的手段或其他傳統的手段對輸入的視頻進行預處理，然后再進行轉碼處理，會帶來比遠視頻更好的視覺體驗。其中，智能HDR轉換，也是和今天分享強相關的技術。
• 第二： 智能老片修復:之所以把這個門類單獨出來，是因為針對這些老片，我們需要有特定的技術進行修復，以達到升級的用戶體驗。具體功能包括：劃痕去除，噪點去除和智能上色。
• 第三： 智能視頻編輯 這一部分是基本的視頻編輯能力。包括智能字幕、智能去黑邊、智能去抖動等。

以上三個功能模塊構成了智能視頻處理的核心能力。

智能視頻編碼：這一層是比較底層的視頻編碼能力介紹 。
主要包括：內容指定編碼、ROI編碼、4k/8k編碼 、還包括百度自研的BD265編碼器等。

介紹完產品框架圖，我們再介紹一下智感超清的核心競爭力在技術上如何實現。

第一部分是智能視頻處理。

智能視頻處理的核心目標是提升畫質 。它能夠通過視頻預處理的方式使得在視頻的分辨率、幀率、色深、色域等各個方面都能有一個較大提升。

其中比較核心的能力包括：SDR2HDR、超分、插幀。

在超分和插幀上都是基于AI模型。目前，在超分模型上，已經研發了視頻級別的一個超分模型；在開源數據集上，已經達到了SOTA；在插幀的算法上，也有自研的算法，可以實現任意幀的一個插幀。

在智能老片修復上，百度也和其他的單位合作，構建了一個完整的數據集。比較典型的場景如：膠片上老片的物理損傷，包括其它磁帶的一些損傷，“智感超清”產品通過對圖像畫質進行多維處理，能夠在不增加視頻帶寬成本的情況下，實現畫面質量的大幅提升，打造視頻的“極質”體驗。

第二部分是智能視頻編碼。

智能視頻編碼方面，已經研發上線了AI驅動自適應的編碼。該模型可以根據視頻本身內容分析，預測出最優的視頻碼率與分辨率，并能夠與ABR協議結合，生成一組最優的編碼配置。與此同時，構建了一個數百萬場景級別的數據集，將VMAF當成視頻質量評分的一個指標。

不僅如此，百度還自研了BD265編碼器，開發了60多種算法，并考慮主觀驅動的算法去提升視頻的畫質并節省碼率。
對比開源編碼器，BD265編碼器提升了30%的碼率，速度上也提升了2~4倍。該編碼器參加了去年的MSU大賽，在VMAF上也達到了top2的水平。這個是我們前面對智能視頻處理和編碼的一個簡單介紹。

通過前面的簡單介紹，相信大家對智能視頻云有一個基本的認識，并對“智感超清”產品有一個初步的了解。在下一章節，將給大家重點介紹HDR相關的技術。

02 HDR技術概念解析

什么是HDR

HDR的特點可以用三個“更”字概括。

• 更高的亮度范圍
  相對于SDR來說，HDR可以達到10000nits的最高亮度。這使得它能夠更好地展示明暗對比，在亮度方面，更加貼近人眼的對物理世界的感官認知。（可以參考上圖HDR和SDR的效果對比)
• 更廣的色彩范圍
  上圖左下角示例，是一個CIE1931色彩空間的表達。傳統的709領域（即：高清），能夠覆蓋35.9%的色彩范圍，而到了2020領域（即：超高清），已經能夠覆蓋75.8%的色彩范圍。

那么，如何去表達這種更寬的色彩范圍呢？需要我們更高的比特也就是更高的位深去表示。

這也對應了HDR的第三個特性：

• 更深的色深（位深）
  基本上hdr都是在10比特，更高的要達到12比特才能達到。以上是我們對HDR效果的一個簡單介紹。

HDR端到端系統流程
之所以想介紹這個流程，是因為HDR它不是一個單點的技術概念，它涵蓋了從視頻的拍攝、制作 、視頻編碼、解碼、播放、傳輸等一系列流程。需要整個HDR技術生態上的企業相互配合，才能完成整個HDR端到端的系統。下圖形象的展示了整個系統流程：

視頻錄制（光電轉換）→后期加工（產生元數據）→獲取HDR視頻及相關的內容元數據→壓縮傳輸→解碼→顯示器顯示播放（電光轉換）

HDR技術相關概念
一、光電/電光傳輸曲線
將自然界中真實場景轉換為屏幕上顯示出來的圖像，需要經過兩個主要步驟：

通過攝影設備，將外界光信息轉換為圖像信息存儲。本質上存儲為數字信號。

通過顯示設備，將圖像信息轉換為屏幕輸出的光信息。

整個過程中，信息流要經過兩個重要的非線性映射，才能形成我們在顯示設備上看到的圖像。這兩個重要的非線性映射過程，我們又稱光電/電光傳輸曲線。

下面介紹三種常見的光電/電光傳輸曲線

• Gamma曲線

是一種在傳統的SDR顯示設備上被廣泛使用的轉換曲線。
對應的標準是：BT.1886，峰值亮度僅為100nits。
隨著顯示設備亮度范圍的提升、圖像編碼bit depth的提升，使得傳統Gamma校正不再適用HDR的光電轉換過程。

• PQ曲線

由杜比實驗室根據Barten的人眼模型提出的電光轉換曲線。峰值亮度可以達到：10000nits。
優點：能夠提供更高的亮度范圍。

• HLG曲線

由BBC和NHK聯合提出的光電轉換曲線。
優點：兼容SDR的顯示和播放。在廣電領域被廣泛應用。

二、HDR元數據
定義：描述視頻或圖像處理過程中的關鍵信息/特征。產生于視頻的制作階段，主要包含色彩和亮度兩大方面信息。

分類：按構成結構上分類，可分為靜態元數據和動態元數據。

• 靜態元數據：視頻中采用單一的元數據去控制每一幀的色彩和細節，元數據并不會發生變化。易造成某些大動態場景的畫面暗部或者高亮細節丟失。
• 動態元數據：視頻中的采用變化的元數據去控制每一幀的色彩和細節。通過動態元數據，我們還可以根據用戶的顯示情況，利用tone-mapping（色調映射）的算法進行更多的適配。

三、HDR常見格式

前面也提到，HDR不是一個單點的技術概念，而是一個端到端的生態。從上述圖中也可以看到，HDR的格式生態十分的復雜，正是由于此，HDR的標準有些割裂，并不像視頻編碼一樣那么清晰。若按照光電/電光傳輸曲線的種類來劃分，可以分為以下幾個大的標準類型：

• HDR10：由美國CT組織牽頭的一個開放標準。完全開源免費
• HLG：是由BBC和NHK聯合開發的高動態范圍HDR的一個標準。HLG不需要元數據，能后向兼容SDR。
• HDR10+：為抗衡DolbyVision, 由三星推出的一個部分免費的標準。采用的是動態元數據。
• DolbyVision：Dolby Vision使用基本層+增強層來實現向下的兼容性。并使用動態元數據來描述所有場景。但它是一個收費標準，授權體系較為復雜。
• HDR Vivid：是國產的一個標準。在現有傳輸曲線和色彩空間標準的基礎上，增加動態元數據的描述，開源免費且兼容性好。

03 “智感超清”HDR技術應用實踐

典型超高清HDR應用需求

隨著5G通信的發展，給視頻行業帶來全新的變革，對應的終端能力也越來越強，互聯網超高清應用空前爆發，這對超高清視頻的要求也越來越高。通常，我們所說的超高清視頻包括以下六要素：

• 高分辨率
• 高幀率
• 色深解析
• 寬色域
• 高動態范圍
• 全景聲音頻

這其中，4K、HDR等技術貫穿整個從采集、制作、呈現等整個端到端的流程。

下面看一下需要如何的技術儲備，才能實現如此端到端的流程？
HDR處理流程與需求分析

內容生產：
用戶拍攝HDR視頻上傳到云端。在這一階段，平臺需要具備以下HDR的處理能力：

• HDR視頻云端編輯能力
• SDR素材適配
• HDR中間層（Mezz）文件的編碼
• 元數據的生成
• 元數據的透傳

存儲（壓縮）/處理（傳輸）階段
在HDR視頻編碼和處理階段，需要以下過程：

• HDR轉SDR。 這涉及到重要的色調映射過程。
• 多種輸入格式自動適配。
• SDR轉HDR。 可以通過AI的方式，將SDR轉換為HDR。
• HDR格式互轉能力。HDR的格式多樣，能夠支持各種HDR格式互轉十分重要，如HDR10轉HLG。
• HDR元數據的寫入、透傳。在原始HDR視頻基礎上，能否在碼率壓縮后寫入，這也對云端能力提出了要求。

HDR顯示：
在視頻播放階段，需要一定的策略在端上做相應的適配。具體來說，需要實現：

• HDR終端視頻播放
• SDR終端視頻播放
• 端上自動適配

在接下來的章節，會詳細分析各項技術的實現過程。

HDR轉SDR

HDR轉SDR的過程實際上是一個色調映射的過程。（Tone Mapping Operator）
HDR和SDR視頻的亮度空間和色彩范圍都差別很大，這其中的轉換過程較為復雜。通俗理解，色調映射就是一個將HDR的圖像或者視頻，轉換為SDR的圖像，并在SDR顯示設備正確顯示的技術。
以下是典型色調映射處理的流程：

預處理
通過預處理，將圖像的亮度信息轉換為log域。

圖像分解
通過圖像的保邊濾波器，將圖像分解成基礎層和細節層。

亮度信息提取
將提取出的基礎層亮度信息通過不同的色調曲線進行壓縮，并將壓縮后的亮度信息加在細節層上。

后置處理
通過后置處理，進行顏色校正，得到SDR圖像。
在色調映射過程中，最重要的是如何選擇不同的實現算法。這需要結合實際的應用場景。

SDR轉HDR
SDR轉HDR也是一個十分復雜的過程，不僅僅是變換顏色空間和動態范圍，更需要考慮暗部細節增強與過曝細節的修復、對比度的提升、色調保持不變、色彩增強處理以達到HDR的要求以及通過算法實現對噪聲的控制。
在亮度方面：希望通過SDR視頻中殘留的，過度曝光和曝光不足區域的信息，盡可能地恢復這些區域內丟失的細節。
在色彩方面：通過SDR視頻中受限的色彩，估計出原始場景的色彩，讓恢復出的HDR視頻的色彩盡可能地接近原始場景中豐富而真實的色彩。

上圖可以看到傳統方法對SDR轉HDR的過程，主要是通過線性轉化的方式，對過曝/欠曝的區域進行重建。
目前AI的方法，在超分和增強領域用的非常多，由于它使用的是非線性的表達，一般認為通過AI的方法可以實現SDR轉HDR的更好效果。

基于AI的端到端SDR轉HDR方案

特點：

采用全局/局部信息融合的方式。

采用Residual Connection殘差學習。

Squeeze-Excitation，channer維度自注意力算法加持。

超高清預測分辨的速度快。

以下是基于AI的SDR到HDR的效果展示：

可以看到，基于AI的SDR到HDR的轉換，在提升動態范圍的同時，還補充了曝光不足區域（陰影）的部分細節。整個畫面細節更豐富，層次更分明，整體的色彩飽和度上也有明顯的提升。
在AI模型的訓練過程中，數據的積累十分重要。這也是該方案在后續需要優化的地方。

HDR格式之間的轉換
HDR的格式多樣，所以能夠支持HDR格式之間相互轉換十分必要。與轉碼類似，HDR格式上也需要做一個統一分發。
要理解HDR格式相互轉換的這個過程，需要對PQ系統模型和HLG系統模型有一個深刻的理解。

PQ系統模型

環境光經過光光轉換曲線、逆電光轉換曲線，變換成PQ的電信號。在顯示階段，經過電光轉換曲線，變成顯示光。

HLG系統模型

環境光經過電光轉換曲線，變換成hlg的電信號。在顯示階段，通過逆電光轉換曲線、光光轉換曲線，變成顯示光。
HLG系統模型從流程上看，基本與PQ系統模型是相反的。

HEVC HDR支持
這部分以HEVC為例，重點介紹編碼在HDR上是如何承載的。
HEVC對元數據的承載包含兩個部分的重要信息。

• VUI信息

VUI是在H.264/AVC和H.265/HEVC序列參數集中攜帶的元數據元素的集合，它們共同描述了實際視頻信號如何在樣本流內存儲和映射，包括編碼信號的參數或屬性、色彩空間、傳輸曲線等。

• SEI信息

SEI是用來保證SDR與HDR之間的互用性的機制的方法，用于實現在接收器或者播放器中實現直接顯示或轉換顯示的過程。

它主要包含制作的描述性信息（或色彩容積轉換）、Tone mapping信息、Color remapping信息、Knee function信息。

對HDR元數據的解析也是非常重要的能力。只有將原視頻的HDR元數據保存并解析下來，才能將處理完的元數據寫入以保持HDR的效果。

“智感超清”HDR客戶落地案例
“智感超清”HDR目前已經服務各行業的客戶，滿足用戶需求。

• 在廣電領域行業，能夠滿足用戶標清、高清到4k轉換的需求。
• 在電影行業，通過AI技術對老片進行修復，做超高清處理，提升整個在處理過程中的效率，降低成本消耗，同時讓老舊片子真正重新煥發生命力。
• 在新媒體行業，依托百度智感超清的諸多能力優化視頻體驗，也增加了很多視頻編輯能力，包括非線編能力，極大的提升編輯在創作內容過程中的效果。
• 在互聯網領域，服務于互聯網視頻用戶，一方面提升了視頻質量，另一方面降低了帶寬成本 解決UGC場景下視頻質量較差的問題。

以上是老師的全部分享內容。如有任何疑問，可以在留言區提出。

總結

以上是生活随笔為你收集整理的“智感超清”之HDR技术落地实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。