视频质量评价方法简介
周鑫
2017年畢業(yè)于浙江大學(xué),讀研期間主要進行視頻編碼相關(guān)研究,目前在通信與視頻部門進行轉(zhuǎn)碼引擎相關(guān)研發(fā)。
作者簡介●●●
引言
視頻質(zhì)量評估(VQA)一直是個很活躍的研究領(lǐng)域,原因其一是業(yè)內(nèi)一直缺少一種統(tǒng)一且準確的評估標準,其二是影響視頻質(zhì)量的因素過多,且包含很多主觀因素,難以客觀、定量地評價。經(jīng)過這么多年的研究,已經(jīng)誕生了非常多的視頻質(zhì)量評估方法,本文將簡單地對它們進行分類及介紹。
Figure1?影響視頻質(zhì)量的因素
●●●
?客觀質(zhì)量評估方法分類
首先,視頻質(zhì)量評估方法可分為主觀測試和客觀測試兩大類。主觀測試即通過人類肉眼觀察的手段來評分,可以說是最能體現(xiàn)觀眾對視頻質(zhì)量感受的方法,也是其他客觀評價方法的終極目標。但主觀測試極端耗費人力和時間,是無法直接在工業(yè)領(lǐng)域應(yīng)用的。
而客觀評估方法,按照國際電信聯(lián)盟(ITU)的建議,可以根據(jù)輸入的數(shù)據(jù)類型被分為5大類:媒體層(Media-layer)模型、參數(shù)集層(Parametric packet-layer)模型、參數(shù)規(guī)劃(Parametric planning)模型、碼流層(Bitstream-layer)模型、混合(Hybrid)模型。其中媒體層模型直接使用媒體信息進行運算分析給出評價結(jié)果,而其他類型的評估方法則是根據(jù)編碼參數(shù)或網(wǎng)絡(luò)信道狀態(tài)等等外部變量來評估質(zhì)量。
媒體層模型的方法可以依據(jù)是否需要輸入編碼前的原始視頻數(shù)據(jù)進一步劃分為全參考(FR,Full-Reference)、部分參考(RR,Reduced-Reference)和無參考(NR,No-Reference)三類。故名思議,全參考使用完整的原始視頻信號作為對比數(shù)據(jù),而部分參考則使用經(jīng)過提取的部分視頻特征作為對比數(shù)據(jù),無參考則僅使用用戶得到的實際數(shù)據(jù)來評價視頻質(zhì)量。這三類方法的準確度和適用場合均大有不同。
Figure2 FR,RR,NR視頻質(zhì)量評估的差異
?
●●●
全參考視頻質(zhì)量評估
顯然的,在這三類方法中,有完整的原始數(shù)據(jù)作為對比源的全參考質(zhì)量評估方法結(jié)果會更加準確。但是也正因為其需要使用原始數(shù)據(jù),實際應(yīng)用時會存在較大的限制,所以一般僅在非實時的評估系統(tǒng)中會被使用。例如在開發(fā)過程中配置編碼參數(shù)或比較不同編碼器的性能時,大多會采用這類方法。
早期的全參考評估方法,一般直接使用像素差值作為衡量依據(jù),比如均方差(MSE)、峰值信噪比(PSNR)等。這類方法計算簡單,且能夠一定程度反應(yīng)圖像的失真程度,所以至今仍然有很多應(yīng)用在使用它們。
但是畢竟人類主觀上不光只是依靠單個像素的差異來評價視頻質(zhì)量的。且不說視頻中包含的大量運動信息,即便只考慮靜態(tài)圖像,同樣的像素差值以不同的分布規(guī)律分布在不同的位置上時,對視頻質(zhì)量的影響也是不一樣的。為了更好的評價視頻質(zhì)量,研究人員根據(jù)人類自然視覺上的特性,提出了許多新的評價方法。例如基于結(jié)構(gòu)相似度的VSSIM,以及綜合統(tǒng)計了多種影響因子的VQM等。它們的評價結(jié)果相對前一類方法都更為接近人眼主觀感受。這里借用一下出自K.Seshadrinathan, A. C. Bovik的文獻“Motion Tuned Spatio-Temporal Quality Assessmentof Natural Videos”里的圖來展示一下PSNR,VSSIM,VQM的區(qū)別。下方三張圖橫坐標為客觀測試分數(shù),縱坐標則為主觀測試分數(shù)。可以看到PSNR的結(jié)果與主觀分數(shù)差異較大,VSSIM則存在不同類型的視頻評價準確度不一的問題,VQM相對來說結(jié)果最好。
Figure3 PSNR,VSSIM,VQM客觀評測分數(shù)
與主觀評測分數(shù)對比
后來,研究人員引入了基于人類視覺系統(tǒng)(HVS)的感知模型,進一步提升了視頻質(zhì)量評估的準確性。這其中比較有代表性的是MOVIE(MOtion-based Video IntegrityEvalution)。這種方法會計算視頻中物體的運動矢量,聯(lián)合時域和空域的失真信息,最終得到一個符合主觀感受的失真評價分數(shù)。在眾多全參考視頻質(zhì)量評估方法中,MOVIE屬于結(jié)果較為優(yōu)秀的一種。但是同時,MOVIE的運算復(fù)雜度也要遠高于前面提及的幾種算法。下圖橫坐標為MOVIE應(yīng)用在視頻質(zhì)量專家組(VQEG)數(shù)據(jù)庫提供的測試序列上得到的客觀評分,縱坐標為主觀測試得分。
Figure4 MOIVE客觀評分與主觀評分對比
?
●●●
部分參考視頻質(zhì)量評估
全參考視頻質(zhì)量評估需要完整的原始視頻信號,也就是未經(jīng)壓縮的像素數(shù)據(jù)。這個量級的數(shù)據(jù)一般是無法實時傳輸?shù)?#xff0c;這也就導(dǎo)致無法在遠程實時監(jiān)測視頻質(zhì)量。為了解決這個問題,人們提出了部分參考的評估方法。這類方法會提取原始視頻信號中某些特征值,利用它們來評價視頻質(zhì)量。常見的特征值有DCT系數(shù)、運動矢量等。作為一種介于全參考與無參考之間的折中方案,它夠解決遠程傳輸?shù)膯栴},而其代價是準確度的降低。現(xiàn)有的部分參考質(zhì)量評估方法大都僅能達到與PSNR準確度相當?shù)乃健?/p>
?
●●●
無參考視頻質(zhì)量評估
無參考視頻質(zhì)量評估不再需要失真前的數(shù)據(jù),而僅需要和觀眾實際得到的相同的視頻信息,就能得到一個大體的質(zhì)量評分。這類方法雖然實現(xiàn)起來較為困難,但是一旦實現(xiàn),即可很靈活地應(yīng)用在視頻相關(guān)的各個領(lǐng)域,是一種比較理想的視頻質(zhì)量評估手段。但是到目前為止,無參考評估仍然沒有一個較為成熟的方案。一方面其評估結(jié)果的準確性與有參考的評估方法相比還有一定差距,另一方面其對視頻內(nèi)容有比較大的依賴性,普適性仍不能夠得到保證。
不過無參考視頻質(zhì)量評價目前已是視頻質(zhì)量相關(guān)研究的重點。并且,近些年機器學(xué)習(xí)技術(shù)的進步與普及,也為解決如何在沒有參考對比的前提下評價視頻質(zhì)量這個問題提供了新的方向。目前業(yè)界也已經(jīng)有了一些借助機器學(xué)習(xí)手段來進行無參考視頻質(zhì)量評估的嘗試,其效果如何仍有待驗證。相信隨著研究者們的不斷探索與嘗試,未來我們能夠得到一種成熟的方案。
?
●●●
總結(jié)
視頻質(zhì)量評估的內(nèi)容非常多,本文僅僅粗略地介紹了客觀視頻質(zhì)量評價的種類以及它們的適用場景。在實際應(yīng)用時,仍需要根據(jù)實際情況來選擇合適的方法。例如是否需要比較不同幀率或不同分辨率的視頻質(zhì)量,是否需要考慮網(wǎng)絡(luò)抖動的影響等等。最后,用下面的分類圖做一個總結(jié):
Figure5 視頻質(zhì)量評估方法大致分類
——【特別推薦】——
與50位技術(shù)專家面對面20年技術(shù)見證,附贈技術(shù)全景圖總結(jié)
以上是生活随笔為你收集整理的视频质量评价方法简介的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网易云 IM SDK 4.2.0版本逆袭
- 下一篇: Android短视频中如何实现720P磨