音视频技术开发周刊 53期
『音視頻技術(shù)開發(fā)周刊』由LiveVideoStack團(tuán)隊(duì)出品，專注在音視頻技術(shù)領(lǐng)域，縱覽相關(guān)技術(shù)領(lǐng)域的干貨和新聞投稿，每周一期。點(diǎn)擊『閱讀原文』，瀏覽本期內(nèi)容，祝您閱讀愉快。
策劃 / LiveVideoStack
架構(gòu)
阿里巴巴開源語音識(shí)別聲學(xué)建模技術(shù)
本文介紹了DFSMN，一種改進(jìn)的前饋順序存儲(chǔ)器網(wǎng)絡(luò)（FSMN）架構(gòu)，適用于大型詞匯表連續(xù)語音識(shí)別。我們發(fā)布了基于流行的Kaldi語音識(shí)別工具包的DFSMN的源代碼和訓(xùn)練配方，并證明DFSMN可以在LibriSpeech語音識(shí)別任務(wù)中實(shí)現(xiàn)最佳性能。
HDR轉(zhuǎn)換曲線比較
隨著顯示技術(shù)的發(fā)展以及消費(fèi)者對(duì)更極致觀影體驗(yàn)的追求，超高清電視(UHDTV)逐漸成為熱點(diǎn)話題，高分辨率、高幀率、高動(dòng)態(tài)范圍(HDR)、寬色域(WCG)是超高清電視的主要特征，其中高動(dòng)態(tài)范圍是近年的熱點(diǎn)研究問題。
美拍短視頻成本減半及毫秒起播優(yōu)化實(shí)踐
本文將從成本優(yōu)化，成功率優(yōu)化，播放體驗(yàn)優(yōu)化等幾個(gè)方面，整體介紹下美拍短視頻成本減半以及毫秒起播優(yōu)化實(shí)踐之路。
心隨手動(dòng)，快手抖音的特效是怎么來的？
本文將從編輯的原理，預(yù)覽功能，視頻預(yù)處理，特效的制作等幾個(gè)方面，介紹了抖音短視頻背后的技術(shù)故事。
STUN/TURN/ICE協(xié)議在P2P SIP中的應(yīng)用（一）
本文詳細(xì)描述了基于STUN系列協(xié)議實(shí)現(xiàn)的P2P SIP電話過程，其中涉及到了SIP信令的交互，P2P的原理，以及STUN、TURN、ICE的協(xié)議交互。
STUN/TURN/ICE協(xié)議在P2P SIP中的應(yīng)用（二）
本文詳細(xì)描述了基于STUN系列協(xié)議實(shí)現(xiàn)的P2P SIP電話過程，其中涉及到了SIP信令的交互，P2P的原理，以及STUN、TURN、ICE的協(xié)議交互。
50種機(jī)器學(xué)習(xí)和預(yù)測(cè)應(yīng)用的API，你想要的全都有
API 是一套用于構(gòu)建軟件程序的協(xié)議和工具。對(duì)于應(yīng)用開發(fā)者而言，有了開放的 API，就可以直接調(diào)用其他公司做好的功能為我所用，這在很大程度上提升了工作效率。本文整理了以下四大類共 50 種 API，為你節(jié)省了尋找資源的時(shí)間。
音頻/視頻技術(shù)
騰訊視頻全網(wǎng)清晰度提升攻堅(jiān)戰(zhàn)
騰訊視頻移動(dòng)端播放內(nèi)核技術(shù)負(fù)責(zé)人李大龍圍繞Codec，詳細(xì)解讀了騰訊為提升視頻質(zhì)量做的種種工作，包括播放器、編碼與解碼端、Codec優(yōu)化、AI內(nèi)容分類等。本文來自李大龍?jiān)贚iveVideoStackCon 2017大會(huì)的分享，由LiveVideoStack整理。
WebRTC-Native 源碼導(dǎo)讀（十一）：混音
本文主要介紹了WebRTC 混音模塊的相關(guān)內(nèi)容與實(shí)踐：AudioMixer 的實(shí)現(xiàn)原理、AudioMixer 的產(chǎn)品化、工程化要點(diǎn)等內(nèi)容。
直播全流程探索
近年來，直播興起，QQ音樂也接入了直播能力，支持演唱會(huì)的直播和主播、明星直播，根據(jù)互動(dòng)方式的不同，我們可以分為互動(dòng)直播和推流直播。本文主要對(duì)web部分的直播流程進(jìn)行介紹。
GPUImage詳細(xì)解析（十三）多路視頻繪制
本文主要介紹了用GPUImage進(jìn)行多路視頻的渲染的幾種不同的方案，通過分析，發(fā)現(xiàn)其對(duì)應(yīng)的應(yīng)用場(chǎng)景。
編解碼
IBM Cloud Video工程師Scott Grizzle談流媒體協(xié)議和Codec
Streaming Media特約編輯Tim Siglin在Streaming Media East 2018采訪了IBM Cloud Video工程師Scott Grizzle。LiveVideoStack對(duì)本文進(jìn)行了摘譯。
H264/SVC Temporal Scalability
在多人遠(yuǎn)程會(huì)議或直播系統(tǒng)中，參與的用戶可能處于不同的網(wǎng)絡(luò)環(huán)境（有線、wifi、3G、4G）中，網(wǎng)絡(luò)質(zhì)量各不一致，為了所有用戶可進(jìn)行遠(yuǎn)程會(huì)議或者直播的觀看，簡單的做法就是降低發(fā)送端的視頻碼流，這樣不管網(wǎng)絡(luò)質(zhì)量好壞，參與的用戶都將觀看低碼率的視頻流。這種方案缺點(diǎn)在于大部分網(wǎng)絡(luò)較好的用戶會(huì)被少數(shù)的網(wǎng)絡(luò)較差的用戶給拖累。這里介紹 H264 編碼器中的 Temporal Scalability 機(jī)制來優(yōu)化該方案。
webrtc 視頻編碼之 h264 自動(dòng)調(diào)節(jié)分辨率一
webrtc 內(nèi)部支持 vp8，vp9，h264 視頻編碼，由于業(yè)務(wù)需要和出于通用性考慮，我選擇了 h264 編碼，webrtc集成了openh264，ffmpeg用于h264的編解碼。本文主要介紹openh264 是如何動(dòng)態(tài)調(diào)整分辨率的。
webrtc 視頻編碼之 h264 自動(dòng)調(diào)節(jié)分辨率二
webrtc 內(nèi)部支持 vp8，vp9，h264 視頻編碼，由于業(yè)務(wù)需要和出于通用性考慮，我選擇了 h264 編碼，webrtc集成了openh264，ffmpeg用于h264的編解碼。本文主要介紹openh264 是如何動(dòng)態(tài)調(diào)整分辨率的。
AI智能
深度學(xué)習(xí)AI美顏系列----基于摳圖的人像特效算法
美顏算法的重點(diǎn)在于美顏，也就是增加顏值，顏值的廣定義，可以延伸到整個(gè)人體范圍，也就是說，你的顏值不單單和你的臉有關(guān)系，還跟你穿什么衣服，什么鞋子相關(guān)，基于這個(gè)定義(這個(gè)定義是本人自己的說法，沒有權(quán)威性考究)，本文主要介紹基于人體摳圖來做一些人像特效算法。
一文概覽主要語義分割網(wǎng)絡(luò)：FCN,SegNet,U-Net...
本文作者總結(jié)了 FCN、SegNet、U-Net、FC-Densenet E-Net 和 Link-Net、RefineNet、PSPNet、Mask-RCNN 以及一些半監(jiān)督方法，例如 DecoupledNet 和 GAN-SS，并為其中的一些網(wǎng)絡(luò)提供了 PyTorch 實(shí)現(xiàn)。在文章的最后一部分，作者總結(jié)了一些流行的數(shù)據(jù)集，并展示了一些網(wǎng)絡(luò)訓(xùn)練的結(jié)果。
身份采集、活體檢測(cè)、人臉比對(duì)...曠視是如何做FaceID的？
本文講述了深度學(xué)習(xí)在互聯(lián)網(wǎng)身份驗(yàn)證服務(wù)中的應(yīng)用以及人臉識(shí)別活體檢測(cè)（動(dòng)作、炫彩、視頻、靜默）技術(shù)應(yīng)用場(chǎng)景及實(shí)現(xiàn)方式。
圖像
圖像處理之Canny邊緣檢測(cè)（一）
Canny邊緣檢測(cè)算法是1986年有John F. Canny開發(fā)出來一種基于圖像梯度計(jì)算的邊緣檢測(cè)算法，同時(shí)Canny本人對(duì)計(jì)算圖像邊緣提取學(xué)科的發(fā)展也是做出了很多的貢獻(xiàn)。盡管至今已經(jīng)許多年過去，但是該算法仍然是圖像邊緣檢測(cè)方法經(jīng)典算法之一。
圖像處理之Canny邊緣檢測(cè)（二）
Canny邊緣檢測(cè)算法是1986年有John F. Canny開發(fā)出來一種基于圖像梯度計(jì)算的邊緣檢測(cè)算法，同時(shí)Canny本人對(duì)計(jì)算圖像邊緣提取學(xué)科的發(fā)展也是做出了很多的貢獻(xiàn)。盡管至今已經(jīng)許多年過去，但是該算法仍然是圖像邊緣檢測(cè)方法經(jīng)典算法之一。
淺析Android平臺(tái)圖像壓縮方案
本文重點(diǎn)分享Android平臺(tái)的壓縮方案，并簡單介紹了Bitmap的幾個(gè)主要概念：像素密度、色彩模式以及Bitmap的計(jì)算方式。
圖像處理之線性濾波
本文主要介紹了如何應(yīng)用不同的線性過濾器來使用OpenCV函數(shù)來平滑圖像。
總結(jié)
以上是生活随笔為你收集整理的音视频技术开发周刊 53期的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Zoe Liu：被Chrome Medi
- 下一篇： 李大龙：音视频技术是互联网品质生活的连接