當前位置：首頁 > 运维知识 > Android >内容正文

Android

【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

發(fā)布時間：2025/6/17 Android 24 豆豆

生活随笔收集整理的這篇文章主要介紹了【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 ) 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

文章目錄

安卓直播推流專欄博客總結(jié)
一、 Camera 傳感器方向簡介
二、 Camera 圖像傳感器橫向顯示數(shù)據(jù)
三、 Camera 圖像傳感器縱向顯示數(shù)據(jù)
四、設(shè)置 Camera 預(yù)覽數(shù)據(jù)方向
五、 Camera 使用流程
六、 Camera 動態(tài)權(quán)限申請

安卓直播推流專欄博客總結(jié)

Android RTMP 直播推流技術(shù)專欄 :

0 . 資源和源碼地址 :

資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務(wù)器 ;

【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 :

【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )
【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 )

3. 講解 RTMP 數(shù)據(jù)包封裝格式 :

【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標簽 Tag 分析 | 視頻標簽 Tag 數(shù)據(jù)分析 )
【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;

【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉(zhuǎn) I420 算法 )
【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 )

5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :

【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )
【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :

【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )
【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )
【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )

7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;

【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )
【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )

8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :

【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細節(jié) | 手機屏幕旋轉(zhuǎn)方向 )
【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時針旋轉(zhuǎn) 90 度 | 前置攝像頭順時針旋轉(zhuǎn) 90 度 )

9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務(wù)器的腳本 , 強烈建議使用 ;

【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )

10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :

【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標簽解析 | AAC 音頻數(shù)據(jù)標簽頭 | 音頻解碼配置信息 )

12 . 將麥克風采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )
【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

Android 直播推流流程 : 手機采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;

Android 端中主要完成手機端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ;

本篇博客中主要講解 Android 端數(shù)據(jù)采集 , Camera 攝像頭獲取 NV21 數(shù)據(jù)后 , 此時預(yù)覽數(shù)據(jù)方向是錯誤的 , 因為 Camera 圖像傳感器采集數(shù)據(jù)時 , 始終以手機右上角為原點 , NV21 數(shù)據(jù)的圖像信息也是倒著的 ;

一、 Camera 傳感器方向簡介

1 . Camera 采集 NV21 圖像數(shù)據(jù) : 手機 Camera 采集的圖像數(shù)據(jù)完畢后 , 通過 PreviewCallback 接口的 onPreviewFrame 回調(diào)方法獲取 NV21 圖像數(shù)據(jù) ;

2 . NV21 圖像數(shù)據(jù)來源 : 該數(shù)據(jù)的最底層來源是手機 Camera 硬件的圖像傳感器 ;

3 . 圖像傳感器采集圖像機制 :

① 圖像傳感器坐標原點 : 圖像傳感器取景時有一個坐標原點 , 就是手機的右上角 ;

② 圖像傳感器坐標方向 : 從圖像傳感器原點 / 手機右上角 ( 0 , 0 ) 向右下角方向是 X 增加方向 , 從圖像傳感器原點 / 手機右上角 ( 0 , 0 ) 向左上角方向是 Y 增加方向 ;

二、 Camera 圖像傳感器橫向顯示數(shù)據(jù)

1 . 向左橫向 : 當手機向左橫放時 , 圖像傳感器原點及方向 , 屏幕的原點及方向如下 ;

① 傳感器原點和方向 : 圖像傳感器 ( 手機右上角 ) 原點 $(0, 0)$ , 向右 X 增加 , 向下 Y 增加 ;

② 屏幕原點和方向 : 手機屏幕當前左上角 ( 手機的右上角 ) 是屏幕原點 , 向右 X 增加 , 向下 Y 增加 ;

2 . 圖像顯示 : 屏幕傳感器的方向與屏幕方向一致 , 此時沒有顯示圖像傳感器 : 橫向界面的 Camera 采集的圖像數(shù)據(jù)是正常的 ;

注意 : 這是向左橫向顯示的數(shù)據(jù) , 如果向右橫向 , 數(shù)據(jù)整個都倒過來了 ;

三、 Camera 圖像傳感器縱向顯示數(shù)據(jù)

1 . 正常豎屏 : 此時還是以右上角為原點 , 采集橫向圖像 ,

① 傳感器原點和方向 : 圖像傳感器 ( 手機右上角 ) 原點 $(0, 0)$ , 向右 X 增加 , 向下 Y 增加 ;

② 屏幕原點和方向 : 手機屏幕當前左上角 ( 手機的右上角 ) 是屏幕原點 , 向右 X 增加 , 向下 Y 增加 ;

2 . 圖像顯示 : 屏幕傳感器的方向與屏幕方向不一致 , 此時沒有顯示圖像傳感器 , 縱向數(shù)據(jù)是不正常的 , 此時垂直方向顯示界面時 , 顯示的拍照信息還是橫向的 , 只是 Camera 采集的圖像逆時針旋轉(zhuǎn)了 90 度 ;

注意 : 這是向上縱向顯示的數(shù)據(jù) , 如果向下縱向 , 數(shù)據(jù)整個都倒過來了 ;

四、設(shè)置 Camera 預(yù)覽數(shù)據(jù)方向

1 . 糾正圖像預(yù)覽方向 : Google 官方提供了設(shè)置 Camera 預(yù)覽方向的方式 , 以下代碼定義在 Camera#setDisplayOrientation 文檔注釋中 , 為 Camera 設(shè)置了以下參數(shù)后 , 就不會有上述預(yù)覽圖像錯誤的問題產(chǎn)生 ;

2 . NV21 數(shù)據(jù)方向 : NV21 格式的圖像數(shù)據(jù)的的實際方向還是錯誤的方向 , 需要用戶自己使用時糾正 ;

/*** 設(shè)置 Camera 預(yù)覽方向* 如果不設(shè)置, 視頻是顛倒的* 該方法內(nèi)容拷貝自 {@link Camera#setDisplayOrientation} 注釋, 這是 Google Docs 提供的* @param parameters*/private void setCameraPreviewOrientation(Camera.Parameters parameters) {Camera.CameraInfo info = new Camera.CameraInfo();Camera.getCameraInfo(mCameraFacing, info);mRotation = mActivity.getWindowManager().getDefaultDisplay().getRotation();int degrees = 0;switch (mRotation) {case Surface.ROTATION_0:degrees = 0;break;case Surface.ROTATION_90:degrees = 90;break;case Surface.ROTATION_180:degrees = 180;break;case Surface.ROTATION_270:degrees = 270;break;}int result;if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {result = (info.orientation + degrees) % 360;result = (360 - result) % 360; // compensate the mirror} else { // back-facingresult = (info.orientation - degrees + 360) % 360;}mCamera.setDisplayOrientation(result);}

五、 Camera 使用流程

1 . 開啟 Camera 攝像頭 :

/*** 開啟 Camera 攝像頭*/private void startCameraNV21DataPreview() {try {Log.i("octopus", "startCameraNV21DataPreview");// 1. 打開指定方向的 Camera 攝像頭mCamera = Camera.open(mCameraFacing);// 2. 獲取 Camera 攝像頭參數(shù), 之后需要修改配置該參數(shù)Camera.Parameters parameters = mCamera.getParameters();// 3. 設(shè)置 Camera 采集后預(yù)覽圖像的數(shù)據(jù)格式 ImageFormat.NV21parameters.setPreviewFormat(ImageFormat.NV21);// 4. 設(shè)置攝像頭預(yù)覽尺寸setPreviewSize(parameters);// 5. 設(shè)置圖像傳感器參數(shù)setCameraPreviewOrientation(parameters);mCamera.setParameters(parameters);// 6. 計算出 NV21 格式圖像 mWidth * mHeight 像素數(shù)據(jù)大小mNv21DataBuffer = new byte[mWidth * mHeight * 3 / 2];// 7. 設(shè)置 Camera 預(yù)覽數(shù)據(jù)緩存區(qū)mCamera.addCallbackBuffer(mNv21DataBuffer);// 8. 設(shè)置 Camera 數(shù)據(jù)采集回調(diào)函數(shù), 采集完數(shù)據(jù)后// 就會回調(diào)此 PreviewCallback 接口的// void onPreviewFrame(byte[] data, Camera camera) 方法mCamera.setPreviewCallbackWithBuffer(this);// 9. 設(shè)置預(yù)覽圖像畫面的 SurfaceView 畫布mCamera.setPreviewDisplay(mSurfaceHolder);// 11. 開始預(yù)覽mCamera.startPreview();} catch (Exception ex) {ex.printStackTrace();}}

2 . 釋放 Camera 攝像頭 :

/*** 釋放 Camera 攝像頭*/private void stopCameraNV21DataPreview() {if (mCamera != null) {// 下面的 API 都是 Android 提供的// 1. 設(shè)置預(yù)覽回調(diào)接口, 這里設(shè)置 null 即可mCamera.setPreviewCallback(null);// 2. 停止圖像數(shù)據(jù)預(yù)覽mCamera.stopPreview();// 3. 釋放 CameramCamera.release();mCamera = null;}}

六、 Camera 動態(tài)權(quán)限申請

1 . Android 6.0 以下靜態(tài)設(shè)置權(quán)限 : AndroidManifest.xml 設(shè)置靜態(tài)權(quán)限 ;

<uses-permission android:name="android.permission.INTERNET" /><uses-permission android:name="android.permission.CAMERA" /><uses-permission android:name="android.permission.RECORD_AUDIO" />

2 . Android 6.0 以上動態(tài)獲取權(quán)限 :

/*** 需要獲取的權(quán)限列表*/private String[] permissions = new String[]{Manifest.permission.READ_EXTERNAL_STORAGE,Manifest.permission.WRITE_EXTERNAL_STORAGE,Manifest.permission.INTERNET,Manifest.permission.MODIFY_AUDIO_SETTINGS,Manifest.permission.RECORD_AUDIO,Manifest.permission.CAMERA};/*** 動態(tài)申請權(quán)限的請求碼*/private static final int PERMISSION_REQUEST_CODE = 888;/*** 動態(tài)申請權(quán)限*/@RequiresApi(api = Build.VERSION_CODES.M)private void initPermissions() {if (isLacksPermission()) {//動態(tài)申請權(quán)限 , 第二參數(shù)是請求嗎requestPermissions(permissions, PERMISSION_REQUEST_CODE);}}/*** 判斷是否有 permissions 中的權(quán)限* @return*/@RequiresApi(api = Build.VERSION_CODES.M)public boolean isLacksPermission() {for (String permission : permissions) {if(checkSelfPermission(permission) != PackageManager.PERMISSION_GRANTED){return true;}}return false;}

總結(jié)

以上是生活随笔為你收集整理的【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：【Android RTMP】Androi
下一篇：【Android RTMP】x264 编