【流媒體】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及碼流

SkySeraph?Apr 1st 2012?

Email：skyseraph00@163 .com?

---

一、MP4格式基本概念

MP4格式對應(yīng)標(biāo)準(zhǔn)MPEG-4標(biāo)準(zhǔn)(ISO/IEC14496)

?

---

二、MP4封裝格式核心概念

1? MP4封裝格式對應(yīng)標(biāo)準(zhǔn)為 ISO/IEC 14496-12（信息技術(shù) 視聽對象編碼的第12部分: ISO 基本媒體文件格式/Information technology Coding of audio-visual objects Part 12: ISO base media file format）

　附-- 標(biāo)準(zhǔn)免費下載： Freely Available Standards??? http://standards.iso.org/ittf/PubliclyAvailableStandards/index.html

?

2? MP4封裝格式是基于QuickTime容器格式定義，媒體描述與媒體數(shù)據(jù)分開，目前被廣泛應(yīng)用于封裝h.264視頻和ACC音頻，是高清視頻/HDV的代表。

?

3? MP4文件中所有數(shù)據(jù)都封裝在box中（對應(yīng)QuickTime中的atom），即MP4文件是由若干個box組成，每個box有長度和類型，每個box中還可以包含另外的子box（稱container box）。

　 一個MP4文件首先會有且只有一個“ftyp”類型的box，作為MP4格式的標(biāo)志并包含關(guān)于文件的一些信息；之后會有且只有一個“moov”類型的 box（Movie Box），它是一種container box，子box包含了媒體的metadata信息；MP4文件的媒體數(shù)據(jù)包含在“mdat”類型的box（Midia Data Box）中，該類型的box也是container box，可以有多個，也可以沒有（當(dāng)媒體數(shù)據(jù)全部引用其他文件時），媒體數(shù)據(jù)的結(jié)構(gòu)由metadata進(jìn)行描述。

?

4? MP4中box存儲方式為大端模式。一般，標(biāo)準(zhǔn)的box開頭會有四個字節(jié)的box size。

?

5?幾個名詞?

track	表示一些sample的集合，對于媒體數(shù)據(jù)來說，track表示一個視頻或音頻序列。
hint track	特殊的track，并不包含媒體數(shù)據(jù)，包含的是一些將其他數(shù)據(jù)track打包成流媒體的指示信息。
sample	對于非hint ? track來說，video sample即為一幀視頻，或一組連續(xù)視頻幀，audio sample即為一段連續(xù)的壓縮音頻，它們統(tǒng)稱sample。 對于hint ? track，sample定義一個或多個流媒體包的格式。
sample table	指明sampe時序和物理布局的表。
chunk	一個track的幾個sample組成的單元。

?

---

三、MP4封裝格式結(jié)構(gòu)圖

1 實例樣本

來源于Android MediaRecoder視頻錄制，平臺為華為T8300和TCL968，用mp4info查看如下：

用EsEYE查看如下：

用winhex分析如下：

?

2 box結(jié)構(gòu)圖

接下來對h264編碼中有用的幾個進(jìn)行闡述，其它不再描述。

3 ftyp（file type box）

如下圖所示，開始的四字節(jié)00 00 00 00 18表示該box的size為24字節(jié)（含頭），然后66 74 79 70是ftyp的BOX TYPE，其它是一些格式兼容等相關(guān)信息。

4? mdat

如下圖所示，BOX YPE為6D 64 61 74 ，緊接著的00 00 09 39表示sliece長度

5 avcC

如下圖所示，紅色為BOX TYPE

?

---

四、MP4文件中h264的 SPS、PPS獲取

1? 【參考依據(jù)】ISO/IEC 14496-15 （下載）

2? 【綜述】在H264中，SPS和PPS存在于NALU header中，而在MP4文件中，SPS和PPS存在于AVCDecoderConfigurationRecord， 首先要定位avcC.

3? 【定義】

①參數(shù)集：一組很少改變的，為大量VCL NALU 提供解碼信息的數(shù)據(jù)。

?? 序列參數(shù)集SPS作用于一系列連續(xù)的編碼圖像，而圖像參數(shù)集PPS作用于編碼視頻序列中一個或多個獨立的圖像。

?? 如果解碼器沒能正確接收到這兩個參數(shù)集，那么其他NALU 也是無法解碼的。因此它們一般在發(fā)送其它 NALU 之前發(fā)送，并且使用不同的信道或者更加可靠的傳輸協(xié)議（如TCP）進(jìn)行傳輸，也可以重復(fù)傳輸。

②關(guān)于AVCDecoderConfigurationRecord結(jié)構(gòu)定義為　　

4? 【實例分析】 數(shù)據(jù)如上avcC圖所示，現(xiàn)在對數(shù)據(jù)進(jìn)行詳細(xì)分析

所以，提取的SPS和PPS分別為67 42 00 1E A6 81 41 F9和68 CE 38 80

?

---

五、MP4文件中的H264 data /NALU slice

1? 【參考】H264官方文檔（下載） + 畢書—新一代視頻壓縮編碼標(biāo)準(zhǔn)（下載）

2? 【綜述】

① 在MP4格式文件中，H264 slice并不是以00 00 00 01來作分割，而是存儲在mdat box中。

② ?H264基本碼流由一些列的NALU組成。原始的NALU單元組成：[start code] + [NALU header] + [NALU payload]

?

start ? code	1字節(jié)	00 00 01 或 00 00 00 01	需要添加的
NALU header	1字節(jié)	如下3	通過mdat定位

?

③ ?H264基本碼流結(jié)構(gòu)分兩層：視頻編碼層VCL和網(wǎng)絡(luò)適配層NAL，這樣使信號處理和網(wǎng)路傳輸分離

?

VCL	負(fù)責(zé)高效視頻內(nèi)容表示
NAL	以網(wǎng)絡(luò)所要求的恰當(dāng)方式對數(shù)據(jù)進(jìn)行打包和發(fā)送

?

3? 【定義】 NALU header

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|F|NRI| Type |

+---------------+

特別的，當(dāng)值為7和8分別為SPS和PPS。

畢書（下載）（P191）上的定義為：

?

4? 【實例分析】數(shù)據(jù)分析，數(shù)據(jù)如上圖mdat所示

6D 64 61 74	mdat ? BOX TYPE
00 00 ? 09 39	silce長度，2361

?

接下來的65就是NALU header，可以由65&0x1F來求的后五個bit，從而得知此slice為I frame

注意，mdat與silce之間有可能存在若干占位符，我在TCL手機(jī)測試時就出現(xiàn)了連續(xù)的00的占位符，這樣后面用H264硬編碼時會比較麻煩一點。

?

---

Ref/Related

1 相關(guān)資料和工具在文中鏈接下載

2 http://www.52rd.com/Blog/wqyuwss/559/4/

3 http://blog.csdn.net/szu030606/article/details/5943279

4 http://blog.csdn.net/k1988/article/details/5654631

5 http://www.cppblog.com/czanyou/archive/2008/11/26/67940.html

6 http://krdai.info/blog/sps-pps-in-mp4-format.html

7 http://www.cnitblog.com/zouzheng/archive/2007/04/04/25155.html

8 http://bbs.chinavideo.org/viewthread.php?tid=10273

?

轉(zhuǎn)載于:https://my.oschina.net/u/158055/blog/694458

總結(jié)

以上是生活随笔為你收集整理的[转]【流媒體】H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。