【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )
文章目錄
- 安卓直播推流專欄博客總結
- 一、 Android 端數據采集涉及到的相關概念
- 二、 Camera 預覽圖像尺寸設置
- 三、 獲取攝像頭采集的數據格式
安卓直播推流專欄博客總結
Android RTMP 直播推流技術專欄 :
0 . 資源和源碼地址 :
- 資源下載地址 : 資源下載地址 , 服務器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
- GitHub 源碼地址 : han1202012 / RTMP_Pusher
1. 搭建 RTMP 服務器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務器 ;
- 【Android RTMP】RTMP 直播推流服務器搭建 ( Ubuntu 18.04.4 虛擬機 )
2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數據包封裝開源庫 :
-
【Android RTMP】RTMPDumb 源碼導入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構建腳本 )
-
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導入函數庫 )
3. 講解 RTMP 數據包封裝格式 :
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數據分析 )
-
【Android RTMP】RTMP 數據格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )
4. 圖像數據采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數據 , 并預覽該數據 ;
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 視頻采集相關概念 | 攝像頭預覽參數設置 | 攝像頭預覽數據回調接口 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉 I420 算法 )
-
【Android RTMP】Android Camera 視頻數據采集預覽 ( 圖像傳感器方向設置 | Camera 使用流程 | 動態權限申請 )
5. NV21 格式的圖像數據編碼成 H.264 格式的視頻數據 :
-
【Android RTMP】x264 編碼器初始化及設置 ( 獲取 x264 編碼參數 | 編碼規格 | 碼率 | 幀率 | B幀個數 | 關鍵幀間隔 | 關鍵幀解碼數據 SPS PPS )
-
【Android RTMP】x264 圖像數據編碼 ( Camera 圖像數據采集 | NV21 圖像數據傳到 Native 處理 | JNI 傳輸字節數組 | 局部引用變量處理 | 線程互斥 )
-
【Android RTMP】x264 圖像數據編碼 ( NV21 格式中的 YUV 數據排列 | Y 灰度數據拷貝 | U 色彩值數據拷貝 | V 飽和度數據拷貝 | 圖像編碼操作 )
6. 將 H.264 格式的視頻數據封裝到 RTMP 數據包中 :
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 封裝 SPS / PPS 數據包 )
-
【Android RTMP】RTMPDump 封裝 RTMPPacket 數據包 ( 關鍵幀數據格式 | 非關鍵幀數據格式 | x264 編碼后的數據處理 | 封裝 H.264 視頻數據幀 )
-
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創建推流器 | 初始化操作 | 設置推流地址 | 啟用寫出 | 連接 RTMP 服務器 | 發送 RTMP 數據包 )
7. 階段總結 : 阿里云服務器中搭建 RTMP 服務器 , 并使用電腦軟件推流和觀看直播內容 ;
-
【Android RTMP】RTMP 直播推流 ( 阿里云服務器購買 | 遠程服務器控制 | 搭建 RTMP 服務器 | 服務器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
-
【Android RTMP】RTMP 直播推流階段總結 ( 服務器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務器狀態查看 )
8. 處理 Camera 圖像傳感器導致的 NV21 格式圖像旋轉問題 :
-
【Android RTMP】NV21 圖像旋轉處理 ( 問題描述 | 圖像順時針旋轉 90 度方案 | YUV 圖像旋轉細節 | 手機屏幕旋轉方向 )
-
【Android RTMP】NV21 圖像旋轉處理 ( 圖像旋轉算法 | 后置攝像頭順時針旋轉 90 度 | 前置攝像頭順時針旋轉 90 度 )
9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務器的腳本 , 強烈建議使用 ;
- 【Android RTMP】NV21 圖像旋轉處理 ( 快速搭建 RTMP 服務器 Shell 腳本 | 創建 RTMP 服務器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉效果展示 )
10. 編碼 AAC 音頻數據的開源庫 FAAC 交叉編譯與 Android Studio 環境搭建 :
-
【Android RTMP】音頻數據采集編碼 ( 音頻數據采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 頭文件與靜態庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )
11. 解析 AAC 音頻格式 :
- 【Android RTMP】音頻數據采集編碼 ( AAC 音頻格式解析 | FLV 音頻數據標簽解析 | AAC 音頻數據標簽頭 | 音頻解碼配置信息 )
12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :
-
【Android RTMP】音頻數據采集編碼 ( FAAC 音頻編碼參數設置 | FAAC 編碼器創建 | 獲取編碼器參數 | 設置 AAC 編碼規格 | 設置編碼器輸入輸出參數 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
-
【Android RTMP】音頻數據采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數據 | 封裝 RTMP 音頻數據頭 | 設置 AAC 音頻數據類型 | 封裝 RTMP 數據包 )
Android 直播推流流程 : 手機采集視頻 / 音頻數據 , 視頻數據使用 H.264 編碼 , 音頻數據使用 AAC 編碼 , 最后將音視頻數據都打包到 RTMP 數據包中 , 使用 RTMP 協議上傳到 RTMP 服務器中 ;
Android 端中主要完成手機端采集視頻數據操作 , 并將視頻數據傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數據包中 , 上傳到 RTMP 服務器中 ;
本篇博客中主要講解 Android 端數據采集 , Camera 攝像頭設置 ;
一、 Android 端數據采集涉及到的相關概念
1 . 圖像采集顯示組件 : 布局文件中添加 SurfaceView , 用于在該 SurfaceView 組件中預覽 Camera 采集的圖像數據 ;
2 . Android 攝像頭常量 : Android 中使用特定的常量指定使用哪個攝像頭 ;
① 指定后攝像頭 : 使用 Camera.CameraInfo.CAMERA_FACING_BACK 常量 , 指定后攝像頭 ;
② 指定前攝像頭 : 使用 Camera.CameraInfo.CAMERA_FACING_FRONT 常量 , 指定前攝像頭 ;
3 . 碼率 與 幀率 :
① 碼率 : 單位時間內 , 傳輸的視頻數據的位數 , 單位是 BPS ;
② 碼率與視頻質量 : 碼率與視頻編碼后的數據量成正比 , 碼率越高 , 允許的數據量大小越高 , 視頻越清晰 , 數據量隨之變大 ;
③ 碼率極限值 : 碼率不是越大越好 , 碼率有一個極限值 , 固定的寬高的視頻碼率有一個最大值 , 高于該最大值 , 沒有任何意義 , 不能提升視頻質量 ;
④ 幀率 : FPS , 界面刷新頻率 , 單位 赫茲 Hz , 每秒刷新的畫面次數 ;
二、 Camera 預覽圖像尺寸設置
Camera 采集圖像數據時 , 會通過指定的回調函數返回圖像數據 , 這些圖像數據稱為預覽數據 , 圖像肯定有對應的尺寸 , 這些尺寸是 Camera 啟動時設置的 , 稱為預覽尺寸 PreviewSize ;
1 . Camera 預覽圖像尺寸設置 :
① 用戶設置測圖像預覽尺寸 : 用戶設置 Camera 參數時 , 會設置一個 Camera 攝像頭預覽圖像寬高參數 , 這個值用戶可以隨意設置 ;
② 系統預置的 Camera 預覽尺寸 : 但是實際上 , Android 系統中的 Camera 攝像頭的尺寸參數必須從幾個預置的預覽尺寸中選擇 , 這些預覽尺寸是廠家設定好的 , 用戶無法設置 Camera 的語言尺寸 ;
廠家為該 Camera 預置了若干個預覽尺寸 , 需要選擇一個用戶設置的尺寸與系統預置尺寸差距最小的那個 , 才能更好的實現用戶意圖 ;
2 . 預覽尺寸選擇方法 :
① 用戶設置像素總數 : 用戶設置的寬高像素值相乘, 就是用戶設置像素總數 ;
② 系統支持像素總數 : 屏幕支持的 寬 高 像素值相乘, 就是系統支持的某個寬高的像素總數 ;
③ 選擇尺寸 : 找出一個系統預置的預覽尺寸的 系統支持像素總數 , 該數值與 用戶設置像素總數 最接近即可 , 該預覽尺寸就是要設置給 Camera 的預覽尺寸 ;
3 . 代碼示例 : 根據用戶設置的尺寸 , 選擇最接近的 Camera 支持的預覽尺寸值 ;
/*** 用戶設置的高度*/private int mHeight;/*** 用戶設置的寬度*/private int mWidth;/*** 設置 Camera 攝像頭的參數* 寬度, 高度** 攝像頭支持的寬高值是固定的, 不能人為的隨意設置* 手機給出一組支持的寬高值, 可以選擇其中的某一個進行設置** 用戶雖然設置了一個寬高值, 這個寬高值肯定不能直接設置給 Camera 攝像頭* 需要對比 Camera 支持的一組寬高值, 哪一個與用戶設置的最接近* 這個最相似的寬高值就是我們要設置的值** 對比方法 : 對比像素總數* 用戶設置像素總數 : 用戶設置的 寬 高 像素值相乘, 就是用戶設置像素總數* 系統支持像素總數 : 屏幕支持的 寬 高 像素值相乘, 就是系統支持的某個寬高的像素總數** 找出上述 用戶設置像素總數 和 系統支持像素總數 最接近的的那個 系統支持像素總數* 對應的 屏幕支持的 寬 高 值** @param parameters*/private void setPreviewSize(Camera.Parameters parameters) {// 1. 獲取攝像頭參數中的預覽圖像大小參數List<Camera.Size> supportedPreviewSizes = parameters.getSupportedPreviewSizes();// 2. 下面開始遍歷獲取與用戶設置的寬高值最接近的, Camera 支持的寬高值// 獲取系統 Camera 攝像頭支持的最低的攝像頭// Camera.Size 中有寬度和高度參數Camera.Size currentSupportSize = supportedPreviewSizes.get(0);// 對比第 0 個系統支持的像素總數 與 用戶設置的像素總數 差值// 之后會逐個對比, 每個系統支持的像素總數 與 用戶設置像素總數 差值// 選擇差值最小的那個像素值int minDeltaOfPixels = Math.abs(currentSupportSize.height * currentSupportSize.width - mWidth * mHeight);// 對比完成之后, 刪除像素值//supportedPreviewSizes.remove(0);// 遍歷系統支持的寬高像素集合, 如果Iterator<Camera.Size> iterator = supportedPreviewSizes.iterator();while (iterator.hasNext()) {// 當前遍歷的的系統支持的像素寬高Camera.Size tmpSupportSize = iterator.next();// 計算當前的設備支持寬高與用戶設置的寬高的像素點個數差值int tmpDeltaOfPixels = Math.abs(tmpSupportSize.height * tmpSupportSize.width - mWidth * mHeight);// 如果當前的差分值 小于 當前最小像素差分值, 那么使用當前的數據替代if (tmpDeltaOfPixels < minDeltaOfPixels) {minDeltaOfPixels = tmpDeltaOfPixels;currentSupportSize = tmpSupportSize;}}// 3. 選擇出了最合適的 Camera 支持的寬高值mWidth = currentSupportSize.width;mHeight = currentSupportSize.height;// 4. 為 Camera 設置最合適的像素值parameters.setPreviewSize(mWidth, mHeight);}三、 獲取攝像頭采集的數據格式
1 . 設置數據預覽回調接口 :
① 設置方法 : Android 中的攝像頭 Camera 通過調用 setPreviewCallbackWithBuffer 函數 , 傳遞一個回調接口對象 ;
② 調用的 setPreviewCallbackWithBuffer 方法原型 :
public final void setPreviewCallbackWithBuffer(PreviewCallback cb)③ 傳遞的接口參數 :
public interface PreviewCallback{void onPreviewFrame(byte[] data, Camera camera); }2 . PreviewCallback 回調接口的作用 : PreviewCallback 接口中定義了 onPreviewFrame 方法 , 該方法中的 byte[] data 參數就是攝像頭采集的數據 ;
3 . 采集到的圖像數據 : 這是攝像頭采集的圖像數據 , Android 中的 Camera 攝像頭采集數據成功后 , 就會回調該 PreviewCallback 接口中的 onPreviewFrame 方法 , 可以讓用戶獲取并使用這些圖像數據 ;
這是數據的格式是 NV21 格式的 ;
// 設置 Camera 預覽數據回調接口mCameraHelper.setPreviewCallback(this);// ..../*** Camera 攝像頭采集數據完畢, 通過回調接口傳回數據* 數據格式是 nv21 格式的* @param data* @param camera*/@Overridepublic void onPreviewFrame(byte[] data, Camera camera) {// 處理該獲取的 Camera 采集的 data 數據, nv21 格式圖片}總結
以上是生活随笔為你收集整理的【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【Android RTMP】RTMP 数
- 下一篇： 【Android RTMP】Androi