目前市面上音視頻交互框架基本上分兩種，一個是類似抖音快手那樣的從相機交互界面出發的，往相機幀加美顏，貼紙等各種特效的交互，另一個是類似剪映，必剪等更專業一點的視頻編輯軟件，它增加了多軌道，轉場等一些更復雜的效果。

??

?

不過萬變不離其宗，都是解出視頻幀，然后對視頻幀做特效，然后合成視頻這一流程。接下來我們就來講講整個流程中每個階段我們會用到什么技術

1.? 解碼出視頻幀與音頻幀：這里有兩個技術方案，用FFmpeg軟解和用MediaCodec硬解。用FFmepg軟解的話基本都是在FFmpeg的API上進行操作，不過需要自己去編譯FFmpeg的so庫，且得考慮包大小問題。用MediaCodec的話首先是用Android的多媒體框架里的MediaExtractor，MediaCodec等類來進行音頻文件的視頻跟音頻軌道分離，以及解碼出視頻幀跟音頻幀。

2. 現在成熟的APP，獲得視頻幀后基本上都會做一層視頻幀的理解，比如做美顏的軟件，需要提前去分析該幀來獲得眼睛，臉輪廓等的位置，以便后邊進行大眼，瘦臉等效果，這一步需要借助深度學習模型，后邊我也會補上這一專題（移動端這么進入深度學習）

3. 第三步是去做具體的特效，將視頻幀做為紋理輸入，將第二步獲得的信息作為參數輸入，利用Opengl去做特效，這一步基本就是搭建好一個gl的框架和一些shader特效的編寫，比如美白，大眼，貼紙等等，每一個都是專題，后邊我也會寫文章來具體分析

?

4. 最后就是將渲染出來的最終幀合成視頻，這一步跟第一步差不多，要么用FFmpeg，要么用MediaCodec大家族

當然這只是簡單帶大家領略一下一個視頻編輯框架是怎樣的，具體里邊會有各種多線程處理，音視頻數據的解析，各種特效的實現都是非常值得大家學習的

最后也歡迎大家添加我的微信號，第一時間會在這里更新哦，有什么問題也歡迎私信與我交流

?

總結

以上是生活随笔為你收集整理的Android音视频编辑器架构图与分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。