音视频技术开发周刊 | 139
每周一期,縱覽音視頻技術領域的干貨和新聞投稿:contribute@livevideostack.com。
架構
日均超30億分鐘!騰訊實時音視頻技術低延時的秘密
TRTC通過全平臺覆蓋的 SDK 及云 REST API 的方式,在騰訊云上向開發者提供開放服務,致力于幫助開發者快速搭建低成本、低延時、高品質的音視頻互動解決方案。本文從網絡層、設備端與服務端三個層面詳細解析TRTC低延時技術實現,感興趣的小伙伴點擊查看詳細信息。(https://wj.qq.com/s2/5772278/50db/)
https://mp.weixin.qq.com/s/gV7ucyLhr78Ts2MmvBEQgQ
URTC萬人直播互動實踐之路
本文由UCloud RTC首席架構師 王立飛的線上分享內容整理而成。詳細介紹了URTC萬人直播互動的架構設計與難點,在研發、業務應用和產品迭代過程中的架構演進與考量標準。
https://mp.weixin.qq.com/s/l9rmV0fNm2UKRcFB-1tPxw
WebRTC 和 WASM 如何為 Web 應用程序打開新機遇
WASM 簡要介紹。
https://blog.rtcweb.in/how-webrtc-and-wasm-are-opening-new-opportunities-for-web-apps/
360視頻云Web前端HEVC播放器實踐剖析
360視頻云前端團隊圍繞HEVC前端播放及解密實現了一套基于WebAssembly、WebWorker的通用模塊化Web播放器,在LiveVideoStackCon2019深圳的演講中360奇舞團Web前端技術經理胡尊杰對其架構設計、核心原理,具體痛點問題的解決方式進行了詳細剖析。
https://mp.weixin.qq.com/s/IlKIS7nSyoV6J784ua_Ygw
傳輸網絡
如何提升OTT的用戶體驗
本文來自SMPTE 2019,演講者Thierry Fautier是Harmonic的視頻戰略副總裁。視頻的主題是如何提升OTT的用戶體驗。
https://mp.weixin.qq.com/s/mpqJJZaA0utJj_pPt24OBw
5G要拋棄TCP/IP?
對于更高級的5G服務,TCP/IP被認為不是最佳的。
https://mp.weixin.qq.com/s/LVRLdA-A2E2U3D8QZzFi9Q
編解碼
SVT-AV1:開源編解碼最新進展
SVT-AV1是開源的AV1編解碼器實現,托管在GitHub上[1]。如我們先前的文章所述[2],英特爾和Netflix自2018年8月以來一直在就SVT-AV1編解碼器框架進行合作。團隊一直密切合作進行SVT-AV1的開發、交流架構決策;實施新工具并改善壓縮效率。自從項目開源后更多技術合作伙伴和開源社區為SVT-AV1做出非常多的貢獻。此篇技術博客中,我們將繼續報告SVT-AV1項目的當前狀態以及編解碼器的特性與性能。
https://mp.weixin.qq.com/s/dgNbjwHxy4ns0FNP9j2_Cw
用JPEG-XS和ST2110創建帶寬有效的工作流
本篇是來自intoPIX的視頻專家Jean-Baptiste Lorent帶來的演講,主題是“用JPEG-XS和ST2110創建帶寬有效的工作流”,由他撰寫的白皮書“SMPTE 2019:Creating Bandwidth-Efficient Workflows with JPEG XS and SMPTE ST 2110”。
https://mp.weixin.qq.com/s/MaQSn5j_iOrFgElA4GBZjQ
音視頻的采集、編碼、封包成 mp4 輸出
使用 Android Camera API 完成音視頻的采集、編碼、封包成 mp4 輸出
基于android.hardware.Camera,創建一個橫屏應用,實時預覽攝像頭圖像,實現錄像并輸出MP4的功能。
https://juejin.im/post/5e873d0be51d4546fa451cd2
視頻技術
下一代視頻協作解決方案
來自SignalWire的視頻支持。從公告中無法得知這是 MCU 還是 SFU。
https://signalwire.com/blogs/product/next-generation-video-collaboration-solutions
宣布使用 Twilio 視頻錄制提高靈活性和控制力
Twilio 添加了 composition API 以及外部 S3存儲。
https://www.twilio.com/blog/video-recording-compositions-encryption-storage-ga
iOS中使用OpenGL 實現增高功能
通過滑塊來編輯區域的增高或者縮短。
https://mp.weixin.qq.com/s/HSwuPxa0SgiuqcFSSgW0_g
Facebook GDC多人VR游戲開發研討會
前不久,受疫情影響Facebook原定于GDC期間舉行的開發者論壇也改為線上,包含三場視頻直播研討會,涉及了VR最佳案例、多人VR游戲、Oculus平臺開發介紹三個主題。其中,在多人VR游戲開發和未來環節,Oculus產品經理Mike Howard與內容部經理Bruce Wooden激烈地探討了Oculus為了推動VR多人游戲發展所做的努力,以及對未來的預期。
https://mp.weixin.qq.com/s/QG3VT1L3lrTTpq1VMwzyTw
Y combinator初創加速器2020冬季團隊大賞——最好與最壞的時代
受新冠疫情的影響,初創企業加速器Y Combinator將自己的demo day轉移到了線上。今年公開的初創團隊一共有168組,其數量之多,以至于TechCrunch要用四篇長文報道才將他們全部介紹完。
https://mp.weixin.qq.com/s/_jt2pLQiHq5nkcZVBFIqOw
Google Duo采用WaveNetEQ填補語音間隙
在線語音通話已經成為人們日常生活的一部分,但數據包常以錯誤的順序或錯誤的時間到達另一端,有時個別數據包甚至可能會完全丟失。這不僅導致通話質量降低,而且是音頻和視頻傳輸都普遍存在的問題。
https://mp.weixin.qq.com/s/l0gzRRKSrJ2wo14xFIcKzg
8K及以上:多少K才算太多?
去年,8K風靡一時。在CES、NAB和IBC貿易展覽上,很多產品和討論都與即將到來的8K革命有關。這是一個建立在技術進步和渴望,邁入下一個大事件基礎上的行業的重要組成部分。也就是在今年,CES展出了三星、LG、夏普等品牌的8K顯示屏,8K已經成為這家電視供應商的最新旗艦產品。
https://mp.weixin.qq.com/s/ene-x7JDCTXEslwr63oKaw
AI智能
使用樹莓派構建面部識別客戶端
GetUserMedia + Vision + ML. 瀏覽器中實現和體驗
https://medium.com/swlh/building-a-facial-recognition-lock-client-with-raspberry-pi-ad06319be88f
智能推薦算法在直播場景中的應用
隨著移動互聯網泛娛樂化行業的發展,直播與短視頻越來越深入人們的生活,人們對于直播與短視頻的質量要求也越來越高。是否能夠匹配用戶的興趣,滿足用戶的需求,已經成為決定平臺增長的關鍵因素。
https://mp.weixin.qq.com/s/R7b34jnzE7VKa6RtgDXb6Q
圖像
RANet : 分辨率自適應網絡效果和性能的best trade-off | CVPR 2020
深度CNN帶來了性能提升的同時也帶來了過高的計算量,許多研究放在了如何進行網絡加速上面,其中比較直接的是根據樣本難易程度進行自動調整的自適應網絡。基于對自適應網絡的研究,論文提出了自適應網絡RANet(Resolution Adaptive Network),思想如圖1所示,網絡包含多個不同輸入分辨率和深度子網,樣本先從最小的子網開始識別,若結果滿足條件則退出,否則繼續使用更大的子網進行識別,子網的特征不是獨有的,下一級別的子網會融合上一級別的子網特征,從實驗來看,論文在效果和性能上取得了很不錯的trade-off。
https://mp.weixin.qq.com/s/3DSJUy7fUpJL924H1TrZhA
濾鏡算法介紹
隨著計算機硬件性能發展和圖像處理算法的不斷進步,數字圖像處理技術的應用越來越廣泛。在移動互聯網時代,手機和攝像設備的完美結合實現了對圖像的強力支持。在此背景下,誕生了眾多的優秀的移動端圖像編輯軟件和圖像社交軟件。圖像特效濾鏡是這些軟件的核心功能之一,使得用戶只要通過點擊手機屏幕就能夠獲得攝像師修圖之后的圖片效果。
https://mp.weixin.qq.com/s/9xQ1HyvZZ1VFd4uImOIWvQ
使用色差指標評估HDR和WCG圖像質量
本文來自SMPTE2019的演講,演講者是來自Dolby Laboratories Inc的Jaclyn Pytlarz。演講主題是使用色差指標評估HDR和WCG圖像質量。
https://mp.weixin.qq.com/s/aT1LaoMA4hGnRZAGfVaXlQ
未來的電影該如何保存和存檔
本文是來自SMPTE 2019的演講,演講者是來自CBC的媒體制作設計師Pierre Hugues Routhier,演講題目是“How Will We Archive and Preserve the Movies of Tomorrow”。
https://mp.weixin.qq.com/s/_7iC574M9vfqkeugogidmQ
資源推薦
國產開源流媒體SRS4.0對視頻監控GB28181的支持
本篇文章是第一篇介紹SRS的文章,后續應該還會有一些測試和使用經驗的文章,同時可能會有一些源碼閱讀筆記。本篇文章主要是介紹下國產開源流媒體SRS涉及的入門資料,SRS前期對標的nginx-rtmp-module,是國內第一款真正開源的流媒體服務,應用在直播和RTC領域。但是成立同學志存高遠,不僅僅局限于某一個行業,近期WebRTC、SRT、GB28181支持的都很快,希望大家都能參與進來,支持國產開源流媒體發展壯大。
https://mp.weixin.qq.com/s/VIPSPaBB5suUk7_I2oOkMw
活動推薦
5G 時代VR + 8K 直播 刷新視界的認識
未來5G帶來的高速率、低延遲、廣連接網絡環境,有望給虛擬現實產業帶來強大的支撐作用。金山云做為視頻行業領先的服務提供商,持續在VR領域投入資源,在高清直播領域首先進行商業化落地。計劃4月16日聯合LiveVideoStack線上隆重發布《VR + 8K 直播商業化解決方案》,并對核心關鍵技術進行解讀。
預約觀看直播:http://mudu.tv/watch/5448453
點擊“閱讀原文”可查看更多詳細信息,請大家科學上網。
總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 139的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: LiveVideoStack线上分享第五
- 下一篇: 疫情伤了谁?反正不是这8大直播行业