入门视频采集与处理（学会分析YUV数据）
做視頻采集與處理，自然少不了要學會分析YUV數(shù)據(jù)。因為從采集的角度來說，一般的視頻采集芯片輸出的碼流一般都是YUV數(shù)據(jù)流的形式，而從視頻處理（例如H.264、MPEG視頻編解碼）的角度來說，也是在原始YUV碼流進行編碼和解析，所以，了解如何分析YUV數(shù)據(jù)流對于做視頻領(lǐng)域的人而言，至關(guān)重要。本文就是根據(jù)我的學習和了解，簡單地介紹如何分析YUV數(shù)據(jù)流。
??? YUV，分為三個分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色。
??? 與我們熟知的RGB類似，YUV也是一種顏色編碼方法，主要用于電視系統(tǒng)以及模擬視頻領(lǐng)域，它將亮度信息（Y）與色彩信息（UV）分離，沒有UV信息一樣可以顯示完整的圖像，只不過是黑白的，這樣的設計很好地解決了彩色電視機與黑白電視的兼容問題。并且，YUV不像RGB那樣要求三個獨立的視頻信號同時傳輸，所以用YUV方式傳送占用極少的頻寬。
??? 好了，言歸正傳，談談如何分析YUV碼流吧。YUV碼流有多種不同的格式，要分析YUV碼流，就必須搞清楚你面對的到底是哪一種格式，并且必須搞清楚這種格式的YUV采樣和分布情況。下面我將介紹幾種常用的YUV碼流格式，供大家參考。
1.? 采樣方式???
??? YUV碼流的存儲格式其實與其采樣的方式密切相關(guān)，主流的采樣方式有三種，YUV4:4:4，YUV4:2:2，YUV4:2:0，關(guān)于其詳細原理，可以通過網(wǎng)上其它文章了解，這里我想強調(diào)的是如何根據(jù)其采樣格式來從碼流中還原每個像素點的YUV值，因為只有正確地還原了每個像素點的YUV值，才能通過YUV與RGB的轉(zhuǎn)換公式提取出每個像素點的RGB值，然后顯示出來。
??? 用三個圖來直觀地表示采集的方式吧，以黑點表示采樣該像素點的Y分量，以空心圓圈表示采用該像素點的UV分量。
??????
??? 先記住下面這段話，以后提取每個像素的YUV分量會用到。
2.? 存儲方式
??? 下面我用圖的形式給出常見的YUV碼流的存儲方式，并在存儲方式后面附有取樣每個像素點的YUV數(shù)據(jù)的方法，其中，Cb、Cr的含義等同于U、V。
（1） YUVY 格式 （屬于YUV422）
??? YUYV為YUV422采樣的存儲格式中的一種，相鄰的兩個Y共用其相鄰的兩個Cb、Cr，分析，對于像素點Y'00、Y'01 而言，其Cb、Cr的值均為 Cb00、Cr00，其他的像素點的YUV取值依次類推。
（2） UYVY 格式 （屬于YUV422）
??? UYVY格式也是YUV422采樣的存儲格式中的一種，只不過與YUYV不同的是UV的排列順序不一樣而已，還原其每個像素點的YUV值的方法與上面一樣。
（3） YUV422P（屬于YUV422）
??? YUV422P也屬于YUV422的一種，它是一種Plane模式，即打包模式，并不是將YUV數(shù)據(jù)交錯存儲，而是先存放所有的Y分量，然后存儲所有的U（Cb）分量，最后存儲所有的V（Cr）分量，如上圖所示。其每一個像素點的YUV值提取方法也是遵循YUV422格式的最基本提取方法，即兩個Y共用一個UV。比如，對于像素點Y'00、Y'01 而言，其Cb、Cr的值均為 Cb00、Cr00。
（4）YV12，YU12格式（屬于YUV420）
??? YU12和YV12屬于YUV420格式，也是一種Plane模式，將Y、U、V分量分別打包，依次存儲。其每一個像素點的YUV數(shù)據(jù)提取遵循YUV420格式的提取方式，即4個Y分量共用一組UV。注意，上圖中，Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00，其他依次類推。
（5）NV12、NV21（屬于YUV420）
??? NV12和NV21屬于YUV420格式，是一種two-plane模式，即Y和UV分為兩個Plane，但是UV（CbCr）為交錯存儲，而不是分為三個plane。其提取方式與上一種類似，即Y'00、Y'01、Y'10、Y'11共用Cr00、Cb00
3.? 總結(jié)
??? 幾種常見的YUV碼流格式就簡單地列在上面了，大家在處理YUV碼流前，先了解清楚自己的碼流到底屬于哪一種，然后對應進行處理。
??? 最后，再回答一個疑問，即分析清楚YUV碼流格式了，我們可以做什么？最常用的一點就是，提取出所有的Y分量，然后利用vc或者matlab把你采集的圖像的灰度值（Y分量）顯示處理，這樣你就可以很快地知道你采集的圖像是否有問題了。后面我將繼續(xù)寫一些文章講述如何提取、轉(zhuǎn)換、顯示這些YUV原始碼流，有興趣可以繼續(xù)關(guān)注，歡迎留言討論。
=====================================================================================================
概述
YUV（亦稱YCrCb）是被歐洲電視系統(tǒng)所采用的一種顏色編碼方法（屬于PAL），是PAL和SECAM模擬彩色電視制式采用的顏色空間。其中的Y,U,V幾個字母不是英文單詞的組合詞，Y代表亮度，uv代表色差，u和v是構(gòu)成彩色的兩個分量。在現(xiàn)代彩色電視系統(tǒng)中，通常采用三管彩色攝影機或彩色CCD攝影機進行取像，然后把取得的彩色圖像信號經(jīng)分色、分別放大校正后得到RGB，再經(jīng)過矩陣變換電路得到亮度信號Y和兩個色差信號R－Y（即U）、B－Y（即V），最后發(fā)送端將亮度和色差三個信號分別進行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有 Y信號分量而沒有U、V信號分量，那么這樣表示的圖像就是黑白灰度圖像。彩色電視采用YUV空間正是為了用亮度信號Y解決彩色電視機與黑白電視機的相容問題，使黑白電視機也能接收彩色電視信號。
優(yōu)點作用
YUV主要用于優(yōu)化彩色視頻信號的傳輸，使其向后相容老式黑白電視。與RGB視頻信號傳輸相比，它最大的優(yōu)點在于只需占用極少的頻寬（RGB要求三個獨立的視頻信號同時傳輸）。其中“Y”表示明亮度（Luminance或Luma），也就是灰階值；而“U”和“V” 表示的則是色度（Chrominance或Chroma），作用是描述影像色彩及飽和度，用于指定像素的顏色?！傲炼取笔峭高^RGB輸入信號來建立的，方法是將RGB信號的特定部分疊加到一起?！吧取眲t定義了顏色的兩個方面─色調(diào)與飽和度，分別用Cr和CB來表示。其中，Cr反映了GB輸入信號紅色部分與RGB信號亮度值之間的差異。而CB反映的是RGB輸入信號藍色部分與RGB信號亮度值之同的差異。
采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量，那么這樣表示的圖像就是黑白灰度圖像。彩色電視采用YUV空間正是為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題，使黑白電視機也能接收彩色電視信號。
YUV與RGB相互轉(zhuǎn)換的公式如下（RGB取值范圍均為0-255）︰
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
R = Y + 1.14V
G = Y - 0.39U - 0.58V
B = Y + 2.03U
在DirectShow中，常見的RGB格式有RGB1、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32、ARGB32等；常見的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。
YUV主要的采樣格式
主要的采樣格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比較常用，其含義為：每個點保存一個 8bit 的亮度值(也就是Y值)，每 2x2 個點保存一個 Cr 和Cb 值, 圖像在肉眼中的感覺不會起太大的變化。所以， 原來用 RGB(R，G，B 都是 8bit unsigned) 模型， 4 個點需要 8x3=24 bites（如下圖第一個圖）。而現(xiàn)在僅需要 8+(8/4)+(8/4)=12bites, 平均每個點占12bites(如下圖第二個圖)。這樣就把圖像的數(shù)據(jù)壓縮了一半。
上邊僅給出了理論上的示例，在實際數(shù)據(jù)存儲中是有可能是不同的，下面給出幾種具體的存儲形式：
（1） YUV 4:4:4
YUV三個信道的抽樣率相同，因此在生成的圖像里，每個象素的三個分量信息完整（每個分量通常8比特），經(jīng)過8比特量化之后，未經(jīng)壓縮的每個像素占用3個字節(jié)。
下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
（2） YUV 4:2:2
每個色差信道的抽樣率是亮度信道的一半，所以水平方向的色度抽樣率只是4:4:4的一半。對非壓縮的8比特量化的圖像來說，每個由兩個水平方向相鄰的像素組成的宏像素需要占用4字節(jié)內(nèi)存。
下面的四個像素為：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為：Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素點為：[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]
（3） YUV 4:1:1
4:1:1的色度抽樣，是在水平方向上對色度進行4:1抽樣。對于低端用戶和消費類產(chǎn)品這仍然是可以接受的。對非壓縮的8比特量化的視頻來說，每個由4個水平方向相鄰的像素組成的宏像素需要占用6字節(jié)內(nèi)存。
下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為: Y0 U0 Y1 Y2 V2 Y3
映射出像素點為：[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]
（4）YUV4:2:0
4:2:0并不意味著只有Y，Cb而沒有Cr分量。它指得是對每行掃描線來說，只有一種色度分量以2:1的抽樣率存儲。相鄰的掃描行存儲不同的色度分量，也就是說，如果一行是4:2:0的話，下一行就是4:0:2，再下一行是4:2:0...以此類推。對每個色度分量來說，水平方向和豎直方向的抽樣率都是2:1，所以可以說色度的抽樣率是4:1。對非壓縮的8比特量化的視頻來說，每個由2x2個2行2列相鄰的像素組成的宏像素需要占用6字節(jié)內(nèi)存。
下面八個像素為：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]
存放的碼流為：Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8
映射出的像素點為：[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]
[Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]
各種YUV格式（圖）
YUV格式通常有兩大類：打包（packed）格式和平面（planar）格式。前者將YUV分量存放在同一個數(shù)組中，通常是幾個相鄰的像素組成一個宏像素（macro-pixel）；而后者使用三個數(shù)組分開存放YUV三個分量，就像是一個三維平面一樣。表2.3中的YUY2到Y(jié)211都是打包格式，而IF09到Y(jié)VU9都是平面格式。（注意：在介紹各種具體格式時，YUV各分量都會帶有下標，如Y0、U0、V0表示第一個像素的YUV分量，Y1、U1、V1表示第二個像素的YUV分量，以此類推。）
¨ YUY2（和YUYV）格式為每個像素保留Y分量，而UV分量在水平方向上每兩個像素采樣一次。一個宏像素為4個字節(jié)，實際表示2個像素。（4:2:2的意思為一個宏像素中有4個Y分量、2個U分量和2個V分量。）圖像數(shù)據(jù)中YUV分量排列順序如下：
Y0 U0 Y1 V0 Y2 U2 Y3 V2 …
¨ YVYU格式跟YUY2類似，只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同：
Y0 V0 Y1 U0 Y2 V2 Y3 U2 …
¨ UYVY格式跟YUY2類似，只是圖像數(shù)據(jù)中YUV分量的排列順序有所不同：
U0 Y0 V0 Y1 U2 Y2 V2 Y3 …
¨ AYUV格式帶有一個Alpha通道，并且為每個像素都提取YUV分量，圖像數(shù)據(jù)格式如下：
A0 Y0 U0 V0 A1 Y1 U1 V1 …
¨ Y41P（和Y411）格式為每個像素保留Y分量，而UV分量在水平方向上每4個像素采樣一次。一個宏像素為12個字節(jié)，實際表示8個像素。圖像數(shù)據(jù)中YUV分量排列順序如下：
U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y8 …
¨ Y211格式在水平方向上Y分量每2個像素采樣一次，而UV分量每4個像素采樣一次。一個宏像素為4個字節(jié)，實際表示4個像素。圖像數(shù)據(jù)中YUV分量排列順序如下：
Y0 U0 Y2 V0 Y4 U4 Y6 V4 …
¨ YVU9格式為每個像素都提取Y分量，而在UV分量的提取時，首先將圖像分成若干個4 x 4的宏塊，然后每個宏塊提取一個U分量和一個V分量。圖像數(shù)據(jù)存儲時，首先是整幅圖像的Y分量數(shù)組，然后就跟著U分量數(shù)組，以及V分量數(shù)組。IF09格式與YVU9類似。
¨ IYUV格式為每個像素都提取Y分量，而在UV分量的提取時，首先將圖像分成若干個2 x 2的宏塊，然后每個宏塊提取一個U分量和一個V分量。YV12格式與IYUV類似。
¨ YUV411、YUV420格式多見于DV數(shù)據(jù)中，前者用于NTSC制，后者用于PAL制。YUV411為每個像素都提取Y分量，而UV分量在水平方向上每4個像素采樣一次。YUV420并非V分量采樣為0，而是跟YUV411相比，在水平方向上提高一倍色差采樣頻率，在垂直方向上以U/V間隔的方式減小一半色差采樣，如上圖所示。 ?
?
轉(zhuǎn)載：http://hi.baidu.com/yrworld/blog/item/e6e0a9120a6ca3cbc2fd78e2.html/cmtid/21fa09d8d7a32a3b32fa1cf8
總結(jié)
以上是生活随笔為你收集整理的入门视频采集与处理（学会分析YUV数据）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： hdu 3374 String Prob
- 下一篇： Cache一致性与2种基本写策略(1)