【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )
文章目錄
- 安卓直播推流專欄博客總結
- 一、 FAAC 編碼器編碼 AAC 音頻采樣數據
- 二、 封裝 RTMP 音頻數據頭
- 三、 封裝 RTMP 音頻數據類型
- 四、 拷貝 AAC 音頻數據到 RTMPPacket 數據包中
- 五、 設置數據包大小
- 六、 設置絕對時間、數據類型、RTMP 通道、頭類型
- 七、 FAAC 編碼器編碼代碼示例
安卓直播推流專欄博客總結
Android RTMP 直播推流技術專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;
- 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )
2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )
3. 講解 RTMP 數據包封裝格式 :
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :
-
【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )
-
【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )
7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )
8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :
-
【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )
-
【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )
9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )
10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :
-
【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )
12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;
視頻推流 : 之前的一系列博客中完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;
音頻推流 : 開始進行音頻直播推流操作 , 先采集音頻 , 將音頻編碼為 AAC 格式 , 將編碼后的音頻打包成 RTMP 包 , 然后推流到服務器中 ;
AAC 音頻解碼信息 : AAC 音頻數據推流前 , 需要將解碼信息推流到服務器 , 否則播放器無法識別該 AAC 音頻數據 , 本篇博客就是講解 FAAC 編碼器編碼生成 AAC 解碼信息 , 并封裝 RTMPPacket 數據包 , 推流到 RTMP 服務器中 ;
上一篇博客 【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 ) 講解的是 AAC 解碼信息封裝 ;
AAC 實際音頻采樣數據封裝推流 : AAC 音頻解碼信息推流到服務器之后 , 開始編碼實際的 AAC 音頻采樣數據 , 之后播放器可以根據之前的 AAC 解碼信息解碼后續推流的實際的采樣數據 ;
本篇博客講解 AAC 實際的音頻采樣數據的編碼封裝 ;
一、 FAAC 編碼器編碼 AAC 音頻采樣數據
1 . AAC 音頻采樣數據生成方法 : FAAC 編碼器調用 faacEncEncode 方法 , 生成 AAC 音頻采樣數據 ;
2 . faacEncEncode 方法原型 :
#include <faac.h>int FAACAPI faacEncEncode(faacEncHandle hEncoder, int32_t * inputBuffer, unsigned int samplesInput,unsigned char *outputBuffer,unsigned int bufferSize);① 返回值 : 編碼后的數據字節長度
② faacEncHandle hEncoder 參數 : FAAC 編碼器
③ int32_t * inputBuffer 參數 : 需要編碼的 PCM 音頻輸入數據
④ unsigned int samplesInput : 傳入的 PCM 樣本個數
⑤ unsigned char *outputBuffer : 編碼后的 AAC 格式音頻輸出緩沖區
⑥ unsigned int bufferSize : 輸出緩沖區最大字節大小
后兩個參數定義不同級別的指針類型 , 使用方法不同 , 但形式類似 , 都是用指針變量 , 傳入地址作為參數 , 傳入的指針當做返回值使用 ;
3 . 代碼示例 :
int encodeAacDataByteCount = faacEncEncode(mFaacEncHandle, // FAAC 編碼器reinterpret_cast<int32_t *>(data), // 需要編碼的 PCM 音頻輸入數據mInputSamples, // 傳入的 PCM 樣本個數mFaacEncodeOutputBuffer, // 編碼后的 AAC 格式音頻輸出緩沖區mMaxOutputBytes); // 輸出緩沖區最大字節大小二、 封裝 RTMP 音頻數據頭
1 . 封裝第 111 字節數據 : 第一個字節中封裝了 444 部分數據 , 音頻格式 , 采樣率 , 采樣位數 , 音頻通道 ; 一般情況下是 AE , 或者 AF ;
① AF 含義 : AAC 格式 , 44100 Hz 采樣 , 16 位采樣位數 , 立體聲 ;
② AE 含義 : AAC 格式 , 44100 Hz 采樣 , 16 位采樣位數 , 單聲道 ;
參考博客 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 ) 、四、 音頻解碼配置信息、 2. 第 11 字節 AF 數據解析 章節 , 有詳細介紹這 888 位各代表的意義 ;
2 . 代碼示例 :
/*根據聲道數生成相應的 文件頭 標識AF / AE 頭中的最后一位為 1 表示立體聲, 為 0 表示單聲道AF 是立體聲AE 是單聲道*/rtmpPacket->m_body[0] = 0xAF; //默認立體聲if (mChannelConfig == 1) {// 如果是單聲道, 將該值修改成 AErtmpPacket->m_body[0] = 0xAE;}三、 封裝 RTMP 音頻數據類型
AAC 音頻數據類型 : 如果是編碼的音頻采樣數據 , 類型是 01 , 如果是 AAC 解碼信息 , 類型是 00 ; 這里是 01 類型 , AAC 音頻采樣數據 ;
// 編碼出的聲音 都是 0x01, 本方法是對音頻數據進行編碼的方法, 頭信息肯定是 AF 01 數據 // 數據肯定是 AAC 格式的采樣數據 rtmpPacket->m_body[1] = 0x01;四、 拷貝 AAC 音頻數據到 RTMPPacket 數據包中
之前調用 faacEncEncode方法 , 生成了 AAC 格式音頻采樣數據 , 將生成的信息封裝到 RTMPPacket 數據包中 , RTMP 數據包的大小是生成 AAC 音頻數據大小 + 2 ; 多出的 2 字節數據是 AF 01 ;
// 拷貝 AAC 音頻數據到 RTMPPacket 數據包中memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);五、 設置數據包大小
該數據包大小是 2 字節 , 加上 faacEncEncode方法生成 的 AAC 格式音頻采樣數據的大小 ;
2 字節是 AF 01 , 代表該數據是 AAC 音頻數據 ;
/*數據的大小 :前面有 2 字節頭信息音頻解碼配置信息 : 前兩位是 AF 00 , 指導 AAC 數據如何解碼音頻采樣信息 : 前兩位是 AF 01 , 實際的 AAC 音頻采樣數據*/int rtmpPackagesize = 2 + encodeAacDataByteCount;六、 設置絕對時間、數據類型、RTMP 通道、頭類型
這些數據設置基本都是格式化的 , 按照如下設置即可 ;
// 設置絕對時間, 一般設置 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 設置 RTMP 數據包大小rtmpPacket->m_nBodySize = rtmpPackagesize;// 設置 RTMP 包類型, 視頻類型數據rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;// 分配 RTMP 通道, 該值隨意設置, 建議在視頻 H.264 通道基礎上加 1rtmpPacket->m_nChannel = 0x11;// // 設置頭類型, 隨意設置一個rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;七、 FAAC 編碼器編碼代碼示例
/*** 音頻數據編碼* 接收 int8_t 類型的原因是, 這里處理的是 jbyte* 類型參數* jbyte 類型就是 int8_t 類型* @param data*/ void AudioChannel::encodeAudioData(int8_t *data) {/*函數原型 :int FAACAPI faacEncEncode(faacEncHandle hEncoder,int32_t * inputBuffer,unsigned int samplesInput,unsigned char *outputBuffer,unsigned int bufferSize);faacEncHandle hEncoder 參數 : FAAC 編碼器int32_t * inputBuffer 參數 : 需要編碼的 PCM 音頻輸入數據unsigned int samplesInput : 傳入的 PCM 樣本個數unsigned char *outputBuffer : 編碼后的 AAC 格式音頻輸出緩沖區unsigned int bufferSize : 輸出緩沖區最大字節大小返回值 : 編碼后的數據字節長度*/int encodeAacDataByteCount = faacEncEncode(mFaacEncHandle, // FAAC 編碼器reinterpret_cast<int32_t *>(data), // 需要編碼的 PCM 音頻輸入數據mInputSamples, // 傳入的 PCM 樣本個數mFaacEncodeOutputBuffer, // 編碼后的 AAC 格式音頻輸出緩沖區mMaxOutputBytes); // 輸出緩沖區最大字節大小// 組裝 RTMP 數據包if (encodeAacDataByteCount > 0) {/*數據的大小 :前面有 2 字節頭信息音頻解碼配置信息 : 前兩位是 AF 00 , 指導 AAC 數據如何解碼音頻采樣信息 : 前兩位是 AF 01 , 實際的 AAC 音頻采樣數據*/int rtmpPackagesize = 2 + encodeAacDataByteCount;// 創建 RTMP 數據包對象RTMPPacket *rtmpPacket = new RTMPPacket;// 為 RTMP 數據包分配內存RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);/*根據聲道數生成相應的 文件頭 標識AF / AE 頭中的最后一位為 1 表示立體聲, 為 0 表示單聲道AF 是立體聲AE 是單聲道*/rtmpPacket->m_body[0] = 0xAF; //默認立體聲if (mChannelConfig == 1) {// 如果是單聲道, 將該值修改成 AErtmpPacket->m_body[0] = 0xAE;}// 編碼出的聲音 都是 0x01, 本方法是對音頻數據進行編碼的方法, 頭信息肯定是 AF 01 數據// 數據肯定是 AAC 格式的采樣數據rtmpPacket->m_body[1] = 0x01;// 拷貝 AAC 音頻數據到 RTMPPacket 數據包中memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);// 設置絕對時間, 一般設置 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 設置 RTMP 數據包大小rtmpPacket->m_nBodySize = rtmpPackagesize;// 設置 RTMP 包類型, 視頻類型數據rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;// 分配 RTMP 通道, 該值隨意設置, 建議在視頻 H.264 通道基礎上加 1rtmpPacket->m_nChannel = 0x11;// // 設置頭類型, 隨意設置一個rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;// 調用回調接口, 將該封裝好的 RTMPPacket 數據包放入 native-lib 類中的 線程安全隊列中// 這是個 RTMPPacketPackUpCallBack 類型的函數指針mRtmpPacketPackUpCallBack(rtmpPacket);}}
總結
以上是生活随笔為你收集整理的【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【Android RTMP】音频数据采集
- 下一篇: 【Android RTMP】安卓直播推流