【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )
文章目錄
- 安卓直播推流專欄博客總結(jié)
- 一、 FAAC 頭文件與靜態(tài)庫拷貝到 Android Studio
- 二、 CMakeList.txt 構(gòu)建腳本配置
- 三、 Java 層 AudioRecord 音頻采樣 PCM 格式
- 四、 Java 層 AudioRecord 音頻采樣 PCM 格式代碼示例
安卓直播推流專欄博客總結(jié)
Android RTMP 直播推流技術(shù)專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機(jī)中搭建 RTMP 直播推流服務(wù)器 ;
- 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機(jī) )
2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 )
3. 講解 RTMP 數(shù)據(jù)包封裝格式 :
-
【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 )
-
【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對(duì)比 | NV21 轉(zhuǎn) I420 算法 )
-
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動(dòng)態(tài)權(quán)限申請(qǐng) )
5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :
-
【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個(gè)數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )
-
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨(dú)立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )
7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠(yuǎn)程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機(jī)端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )
8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :
-
【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時(shí)針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細(xì)節(jié) | 手機(jī)屏幕旋轉(zhuǎn)方向 )
-
【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 | 前置攝像頭順時(shí)針旋轉(zhuǎn) 90 度 )
9. 下面這篇博客比較重要 , 里面有一個(gè)快速搭建 RTMP 服務(wù)器的腳本 , 強(qiáng)烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )
10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級(jí)音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 )
12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )
-
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )
Android 直播推流流程 : 手機(jī)采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;
視頻推流 : 之前的一系列博客中完成手機(jī)端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ;
音頻推流 : 開始進(jìn)行音頻直播推流操作 , 先采集音頻 , 將音頻編碼為 AAC 格式 , 將編碼后的音頻打包成 RTMP 包 , 然后推流到服務(wù)器中 ;
一、 FAAC 頭文件與靜態(tài)庫拷貝到 Android Studio
將 PCM 音頻采樣編碼成 AAC 格式 , 需要使用 FAAC編碼器 , 在上一篇博客 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級(jí)音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 ) 中完成了對(duì) FAAC 音頻編碼器的交叉編譯 , 交叉編譯結(jié)果如下 :
root@octopus:~/rtmp/faac-1.29.9.2/android# tree . └── armeabi-v7a├── bin│ └── faac├── include│ ├── faaccfg.h│ └── faac.h├── lib│ ├── libfaac.a│ └── libfaac.la└── share└── man└── man1└── faac.1將 222 個(gè)頭文件 faaccfg.h , faac.h 拷貝到 Android Studio 項(xiàng)目中的 src/main/cpp/include 目錄中 , 將 libfaac.a 靜態(tài)庫拷貝到 src/main/cpp/libs/armeabi-v7a 目錄中 ;
二、 CMakeList.txt 構(gòu)建腳本配置
將頭文件與函數(shù)庫拷貝到 Android Studio 項(xiàng)目中后 , 配置 CMakeList.txt 構(gòu)建腳本 , 主要配置頭文件與函數(shù)庫的搜索路徑 , 讓編譯工具可以找到對(duì)應(yīng)的 FAAC 庫的頭文件與靜態(tài)庫 ;
1 . 設(shè)置頭文件搜索路徑 :
# 設(shè)置頭文件搜索路徑 include_directories(include)2 . 設(shè)置函數(shù)庫搜索路徑 :
# 通過設(shè)置編譯選項(xiàng), 設(shè)置函數(shù)庫的搜索路徑 # 此處的 ANDROID_ABI 是在 # build.gradle android->defaultConfig->externalNativeBuild->cmake # 下的 abiFilters 中設(shè)置 set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -L${CMAKE_SOURCE_DIR}/libs/${ANDROID_ABI}")3 . 完整的 CMakeList.txt 文件 :
cmake_minimum_required(VERSION 3.4.1)# 鏈接 src/main/cpp/librtmp 目錄下的構(gòu)建腳本 add_subdirectory(librtmp)add_library( # 函數(shù)庫名稱native-lib# 動(dòng)態(tài)庫類型SHARED# 源文件native-lib.cppVedioChannel.cpp)find_library( # 日志庫log-liblog )# 設(shè)置頭文件搜索路徑 include_directories(include)# 通過設(shè)置編譯選項(xiàng), 設(shè)置函數(shù)庫的搜索路徑 # 此處的 ANDROID_ABI 是在 # build.gradle android->defaultConfig->externalNativeBuild->cmake # 下的 abiFilters 中設(shè)置 set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -L${CMAKE_SOURCE_DIR}/libs/${ANDROID_ABI}")target_link_libraries( # 鏈接動(dòng)態(tài)庫native-lib# 編譯的 rtmp 靜態(tài)庫rtmp# 查找到的 x264 靜態(tài)庫x264# 查找到的 faac 靜態(tài)庫faac${log-lib} )三、 Java 層 AudioRecord 音頻采樣 PCM 格式
1 . 初始化 AudioRecord :
① 計(jì)算最小緩沖區(qū)大小 : 獲取 44100 立體聲 / 單聲道 16 位采樣率的最小緩沖區(qū)大小 , 使用最小緩沖區(qū)大小, 不能保證聲音流暢平滑, 這里將緩沖區(qū)大小翻倍, 保證采集數(shù)據(jù)的流暢 , 否則會(huì)有電流產(chǎn)生
int minBufferSize = AudioRecord.getMinBufferSize(44100,AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT) * 2;② 創(chuàng)建 AudioRecord 對(duì)象 : AudioRecord 構(gòu)造函數(shù)需要傳入 音頻來源 , 采樣率 , 聲道配置 , 采樣位數(shù) , 采樣緩沖區(qū)大小 信息 ;
AudioRecord mAudioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, // 聲音來源 麥克風(fēng)44100, // PCM 音頻采樣率 44100 HzAudioFormat.CHANNEL_IN_STEREO, // 立體聲AudioFormat.ENCODING_PCM_16BIT, // 采樣位數(shù) 16 位minBufferSize); // 最小采樣緩沖區(qū)個(gè)數(shù)③ AudioRecord 構(gòu)造函數(shù)原型 :
public AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat,int bufferSizeInBytes)① int audioSource 參數(shù) : 聲音來源, 麥克風(fēng) ;
② int sampleRateInHz 參數(shù) : 音頻采樣率, 一般是 44100 Hz, 該采樣率在所有設(shè)備支持比較好 ;
③ int channelConfig 參數(shù) : 單聲道 AudioFormat.CHANNEL_IN_MONO / 立體聲 AudioFormat.CHANNEL_IN_STEREO ;
④ int audioFormat 參數(shù) : 采樣位數(shù), 8 位 AudioFormat.ENCODING_PCM_8BIT / 16 , AudioFormat.ENCODING_PCM_16BIT ;
⑤ int bufferSizeInBytes 參數(shù) : 每次采集數(shù)據(jù)的最大緩沖區(qū)大小 ;
2 . PCM 音頻采樣線程 :
① 獨(dú)立線程封裝 : 音頻采樣需要持續(xù)進(jìn)行操作 , 并且該操作非常耗時(shí) , 肯定要封裝在一個(gè)獨(dú)立線程中完成 ;
② 開始采樣 : 調(diào)用 AudioRecord 對(duì)象的 startRecording 方法 , 開始進(jìn)行音頻采樣 ;
mAudioRecord.startRecording();③ 讀取數(shù)據(jù) : 循環(huán)讀取麥克風(fēng)采樣數(shù)據(jù) , 調(diào)用 AudioRecord 對(duì)象的 read 方法 , 可以獲取麥克風(fēng)采樣的數(shù)據(jù) ;
④ 停止采樣 : 調(diào)用 AudioRecord 對(duì)象的 stop 方法 , 可以停止采樣 ;
mAudioRecord.stop();⑤ 代碼示例 :
/*** 音頻采樣線程*/ class AudioSampling implements Runnable{@Overridepublic void run() {// 開始錄音采樣mAudioRecord.startRecording();while (isStartPush){// 循環(huán)讀取錄音, 需要傳入一系列參數(shù)//mAudioRecord.read( ... );}// 停止錄音采樣mAudioRecord.stop();} }四、 Java 層 AudioRecord 音頻采樣 PCM 格式代碼示例
package kim.hsl.rtmp;import android.media.AudioFormat; import android.media.AudioRecord; import android.media.MediaRecorder;import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors;/*** 音頻處理類* 音頻采樣, 編碼, 推流控制*/ public class AudioChannel {/*** 直播推流器*/private LivePusher mLivePusher;/*** 音頻錄制對(duì)象*/private AudioRecord mAudioRecord;/*** 是否已經(jīng)開始推流*/private boolean isStartPush;/*** 單線程線程池, 在該線程中進(jìn)行音頻采樣*/private ExecutorService mExecutorService;public AudioChannel(LivePusher mLivePusher) {this.mLivePusher = mLivePusher;// 初始化線程池, 單線程線程池mExecutorService = Executors.newSingleThreadExecutor();/*獲取 44100 立體聲 / 單聲道 16 位采樣率的最小緩沖區(qū)大小使用最小緩沖區(qū)大小, 不能保證聲音流暢平滑, 這里將緩沖區(qū)大小翻倍, 保證采集數(shù)據(jù)的流暢否則會(huì)有電流產(chǎn)生*/int minBufferSize = AudioRecord.getMinBufferSize(44100,AudioFormat.CHANNEL_IN_STEREO, AudioFormat.ENCODING_PCM_16BIT) * 2;/*public AudioRecord(int audioSource, int sampleRateInHz,int channelConfig, int audioFormat,int bufferSizeInBytes)int audioSource 參數(shù) : 聲音來源, 麥克風(fēng)int sampleRateInHz 參數(shù) : 音頻采樣率, 一般是 44100 Hz, 該采樣率在所有設(shè)備支持比較好int channelConfig 參數(shù) : 單聲道 AudioFormat.CHANNEL_IN_MONO / 立體聲 AudioFormat.CHANNEL_IN_STEREO,int audioFormat 參數(shù) : 采樣位數(shù), 8 位 AudioFormat.ENCODING_PCM_8BIT / 16 位 AudioFormat.ENCODING_PCM_16BITint bufferSizeInBytes 參數(shù) : 每次采集數(shù)據(jù)的最大緩沖區(qū)大小*/mAudioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, // 聲音來源 麥克風(fēng)44100, // PCM 音頻采樣率 44100 HzAudioFormat.CHANNEL_IN_STEREO, // 立體聲AudioFormat.ENCODING_PCM_16BIT, // 采樣位數(shù) 16 位minBufferSize); // 最小采樣緩沖區(qū)個(gè)數(shù)}/*** 開始推流*/public void startLive() {isStartPush = true;// 執(zhí)行音頻采樣線程// 如果在啟動(dòng)一個(gè)線程, 后續(xù)線程就會(huì)排隊(duì)等待mExecutorService.submit(new AudioSampling());}/*** 停止推流*/public void stopLive() {isStartPush = false;}public void release(){//釋放音頻錄音對(duì)象mAudioRecord.release();}/*** 音頻采樣線程*/class AudioSampling implements Runnable{@Overridepublic void run() {// 開始錄音采樣mAudioRecord.startRecording();while (isStartPush){// 循環(huán)讀取錄音mAudioRecord.read();}// 停止錄音采樣mAudioRecord.stop();}} }
總結(jié)
以上是生活随笔為你收集整理的【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Android RTMP】音频数据采集
- 下一篇： 【Android RTMP】音频数据采集