视音频数据处理入门
視音頻數據處理入門
目錄
轉載自:CSDN博主「雷霄驊」
原文鏈接:https://blog.csdn.net/leixiaohua1020/article/details/18893769
1. 視頻播放器原理
視頻播放器播放一個互聯網上的視頻文件,需要經過以下幾個步驟:解協議,解封裝,解碼視音頻,視音頻同步。
如果播放本地文件則不需要解協議,為以下幾個步驟:解封裝,解碼視音頻,視音頻同步。它們的過程如圖所示。
解協議的作用,就是將流媒體協議的數據,解析為標準的相應的封裝格式數據。音視頻在網絡上傳播的時候,常常采用各種流媒體協議,例如HTTP,TRMP,或是MMS等等。這些協議在傳輸視音頻數據的同時,也會傳輸一些信令數據。這些信令數據包括對播放的控制(播放,暫停,停止),或者對網絡狀態的描述等。解協議的過程中會去除信令數據而只保留視音頻數據。例如,采用TRMP協議傳輸的數據,經過解協議操作后,輸出FLV格式的數據。
解封裝的作用,就是將輸入的封裝格式的數據,分離稱為音頻流壓縮編碼數據和視頻流壓縮編碼數據。封裝格式種類很多,例如MP4,MKV,RMVB,TS,FLV,AVI等等,它的作用就是將已經壓縮編碼的視頻數據和音頻數據按照一定的格式放到一起。例如,FLV格式的數據,經過解封裝操作后,輸出H.264編碼的視頻碼流和AAC編碼的音頻碼流。
解碼的作用,就是將視頻/音頻壓縮編碼數據,解碼成為非壓縮的視頻/音頻原始數據。音頻壓縮編碼標準包含AAC,MP3,AC-3等等,視頻的壓縮編碼標準包含H.264,MPEG2,VC-1等等。解碼是整個系統中最重要也是最復雜的一個環節。通過解碼,壓縮編碼的視頻數據輸出成為非壓縮的顏色數據,例如YUV420P,RGB等等。壓縮編碼的音頻數據輸出為非壓縮的音頻抽樣數據,例如PCM數據。
視音頻同步的作用,就是根據解封裝模塊處理過程中獲取到的參數信息,同步解碼出來的視頻和音頻數據,并將視頻音頻數據送至系統的顯卡和聲卡播放出來。
接下來對設計到的協議數據,封裝格式數據,視頻編碼數據,音頻編碼數據,視頻像素數據,音頻采樣數據進行分析。
2. RGB、YUV像素數據處理
RGB、YUV像素數據處理
3. PCM音頻采樣數據處理
PCM音頻采樣數據處理
4. H.264視頻碼流解析
H.264視頻碼流解析
5. AAC音頻碼流解析
AAC音頻碼流解析
6. FLV封裝格式解析
FLV封裝格式解析
7. UDP-RTP協議解析
UDP-RTP協議解析
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
- 上一篇: Go操作etcd
- 下一篇: RGB、YUV像素基础知识及处理数据