音视频技术开发周刊 91期
『音視頻技術開發周刊』由LiveVideoStack團隊出品,專注在音視頻技術領域,縱覽相關技術領域的干貨和新聞投稿,每周一期。點擊『閱讀原文』,瀏覽第91期內容,祝您閱讀愉快。
架構
從頭到腳擼一個多人視頻聊天 — 前端 WebRTC 實戰(一)
本系列文章包括但不限于 WebRTC 多人視頻,本文為第一部分,主要是基礎講解以及一對一的本地對等連接,網絡對等連接。
LinkedIn Feed流視頻自動播放架構演進
為提升用戶觀看體驗,LinkedIn視頻團隊一直努力完善其視頻自動播放功能。本文概述了LinkedIn自動播放產品標準,以及為實現此標準所開發的技術與架構。
視頻直播軟件開發不得不引起重視的網絡架構問題
本文主要以CDN為主來介紹視頻直播軟件開發過程中需要注意的網絡架構相關問題。
視頻直播軟件開發過程中需要解決的“老朋友”
要說在視頻直播軟件開發的過程中,什么是技術人員最頭疼的?肯定有人會毫無疑問的回答:直播的卡頓和延時!
楊攀:融云專注極致技術 不忘初心打造極簡體驗
本文是融云聯合創始人、CTO楊攀接受 LiveVideoStack 郵件采訪整理而成,楊攀聊到了個人成長經歷,作為創業公司技術負責人的責任,以及對企業通信市場的格局和未來的機遇與挑戰。
傳輸網絡
王盛:QUIC讓B站在20%丟包時實現零卡頓
B站團隊是目前少數在生產環境中部署QUIC的視頻平臺,收益明顯。在面對未來網絡基礎設施升級的背景下,如何讓視頻傳輸更流暢、穩定是各視頻服務平臺必須面臨的挑戰。LiveVideoStack郵件采訪了嗶哩嗶哩高級工程師王盛,他暢談了熱門技術的未來。
音頻/視頻技術
MediaCodec、OpenGL、OpenSL/AudioTrack 實現一款簡單的視頻播放器
功能很簡單,大致流程為:MediaCodec 解碼視頻文件得到 YUV、PCM 數據;OpenGL 將 YUV 轉為 RGB,并渲染到 Surface 上;OpenSL/AudoTrack 獲取 PCM 數據并播放。
iOS音視頻數據采集之AVFoundation
iOS直播技術的流程大致可以分為幾個步驟:數據采集、圖像處理(美顏、濾鏡)、視頻編碼、封包、上傳、云端(轉碼、錄制、分發)、直播播放器。
音頻帶寬預測與動態參數調整優化報告
經過多輪反復試驗,最終在原來優化的基礎上增加了音頻帶寬估計和探測模塊,實時探測網絡狀態以此來增加動態參數調整的精準性和穩定性。
A Go implementation of the WebRTC API
編解碼
AV1編碼器速度和壓縮率達到點播實用級別
本文來自微幀科技的投稿,文章介紹了微幀科技的AV1編碼器Visionular Aurora(以下簡稱Aurora),并使用公開數據集下與x264和x265做了性能對比測試。從微幀公布的數據看,無論PSNR還是VMAF,Aurora都有明顯的碼率節省。
iOS視頻數據編碼
音視頻編解碼, 說白了就是對音視頻數據進行壓縮, 減少數據對空間的占用, 便于網絡傳輸, 存儲和使用!目前直播常用的音視頻編解碼方式是h.264/AVC, AAC/MP3。
H.264 中的指數哥倫布編碼(Exponential-Golomb coding)
指數哥倫布編碼是一種通用的熵編碼方式,編碼規則比較簡單,不需要知道編碼數據的概率分布。
H.264/AVC視頻編解碼技術詳解:解碼、顯示順序與圖像管理
在H.264的解碼過程中,每一幀的數據按照相應的NAL Unit在碼流中的順序傳入解碼器進行解碼。需注意的是,首先傳入解碼器的視頻幀的NAL unit,解碼完成后其對應的圖像不一定會首先顯示。其原因是由于B幀的存在,視頻幀在輸出時會進行順序重排。
Android音視頻之MediaCodec
從 API 16開始,Android提供了MediaCodec類以便開發者更加靈活的處理音視頻的編解碼,較MeidaPlay提供了更加豐富、完善的操作接口。
高文:中國編解碼技術必將引領世界
AVS視頻編碼標準很早是為廣播電視發展制定的。在高文院士看來,5G+4K/8K將是未來音視頻編解碼領域的標準配置,而這兩個領域中國都擁有領先技術。未來中國將引領高清音視頻編解碼領域的發展。
AI智能
Adobe提出新型超分辨率方法:用神經網絡遷移參照圖像紋理
近日,Adobe 研究院與田納西大學的研究者提出了一種借助神經紋理遷移實現的圖像超分辨技術,還構建了一個用于訓練和評估超分辨率方法的基準數據集。
CVPR 2019 | 無監督領域特定單圖像去模糊
本文將針對 CVPR2019 Unsupervised Domain-Specific Deblurring via Disentangled Representations 一文進行分析,梳理一下基于深度神經網絡下圖像去模糊的實現方法。
英偉達「高更」GAN讓簡筆畫秒變逼真圖像
在GTC 2019 上,英偉達展示了一款新的交互應用 GauGAN:利用生成對抗網絡(GAN)將分割圖轉換為栩栩如生的圖像。這是繼 PGGAN、StyleGAN 之后,英偉達提出的又一強大方法,相關論文已被 CVPR 2019 接收為 oral 論文。
圖像
PNG 圖片壓縮原理解析
PNG的全稱叫便攜式網絡圖型(Portable Network Graphics)是目前最流行的網絡傳輸和展示的圖片格式,原因有如下幾點:無損壓縮,體積小,支持透明效果。
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 91期的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 从通信到AI FreeSWITCH与We
- 下一篇: 范醒哲:5G时代是时候全面解决TCP的效