音视频技术开发周刊 | 133
每周一期,縱覽音視頻技術領域的干貨和新聞投稿:contribute@livevideostack.com。
架構
蘑菇街云端直播探索——啟航篇
隨著移動網絡速度提升與資費的降低,越來越多的用戶逐漸接受了手機觀看直播這一種娛樂方式。特別是最近這一兩年,直播已經不僅僅被運用在傳統的秀場、游戲類板塊,在更是作為電商的一種新模式得到迅速成長。本文通過介紹云直播體系和直播中常用的協議,讓你對直播技術有一個初步的認識。
https://juejin.im/post/5e4e2be151882548fd3059b9
在實時音視頻中 Flash Video 的替代方案有哪些?
Flash是直播技術領域的基石,并且通過使用底層的RTMP協議,為當今的現狀奠定了基礎。通用流媒體平臺Justin TV在轉為游戲流媒體平臺Twitch之前由Flash驅動。隨著對實時視頻需求的增長,Flash的局限性(依賴于插件,專有技術,性能問題等)被證明阻礙了實時流媒體的發展。
https://www.red5pro.com/blog/alternative-to-flash-video-for-live-streaming/
華為昇騰云服務與多媒體應用融合創新
華為云全新推出昇騰AI計算解決方案,并且從官宣的數據來看,在部分應用場景的表現均優于行業內其他產品。本文來自華為云異構計算服務的產品總監 趙剛在LiveVideoStackCon2019深圳站上的精彩分享,文章中詳細介紹了華為云如何加速互聯網視頻、智慧零售、智慧園區、泛金融認證、智慧醫療等行業創新。
https://mp.weixin.qq.com/s/cvnVTfYi3PZ9jqaihRWE4A
WebRTC的推動者:Janus
本篇是來自FOSDEM 2020 Real Time devroom的演講,演講者是來自Meetecho的總裁Lorenzo Miniero,演講主題是WebRTC的推動者:Janus。
首先作者介紹了Janus,Janus是一個開源通用WebRTC服務器,演講者重點介紹了Janus中的RTP管理,即如何將其用作輸入/輸出以針對不同用例與外部應用程序進行交互。
https://mp.weixin.qq.com/s/FQqTTwYvbze6W31ivCoGEA
傳輸網絡
為什么流媒體直播的延遲很高
通信技術的發展促進了視頻點播和直播業務的興起,4G 和 5G 網絡技術的進步也使得流媒體技術變得越來越重要,但是網絡技術并不能解決流媒體直播的高延遲問題,本文不會介紹網絡對直播業務的影響,而是會分析直播中常見的現象 — 主播和觀眾之間能夠感覺到的明顯網絡延遲。除了業務上要求的延遲直播之外,有哪些因素會導致視頻直播的延遲這么高呢?
https://draveness.me/whys-the-design-live-streaming-latency
為什么 TCP/IP 協議會拆分數據
TCP/IP 協議簇建立了互聯網通信協議的概念模型,該協議簇的兩個主要協議就是 TCP 和 IP 協議。這兩個協議不僅能夠保證數據會從源機器的源進程發送到目標機器的目標進程中,還能保證數據的不重不漏以及發送的順序。
https://draveness.me/whys-the-design-tcp-segment-ip-packet
修訂RTC:機遇之海——通過緊密合作推進領域發展
本篇是來自FOSDEM2020 Real Time Communications devroom的演講,演講者是來自Open VoIP alliance的Ruben Homs,演講題目是“AMENDMENT RTC: A sea of opportunities Advancing our field together through closer collaboration”。
https://mp.weixin.qq.com/s/zoXF6-6-3F8Tdsj7uKChxw
使用CGRateS建立ENUM服務器
本篇是來自FOSDEM 2020 Real Time Communications devroom的演講,演講者是曾在CGRateS擔任了兩年的全職核心開發人員的Teofil Voivozeanu,演講題目是“Build your own ENUM serverusing CGRateS”。
https://mp.weixin.qq.com/s/XodbpI9S7K7ibuQYuWDOkw
Linphone即時信息加密
本文是來自FOSDEM 2020 Real Time的演講,演講者是Johan Pascal。演講主題是Linphone即時信息加密。演講分為四個部分,第一個部分講述安全要求,第二個部分講述協議概述,第三個部分介紹多設備環境下Linphone群組的集成,第四部分是中間人攻擊檢測。
https://mp.weixin.qq.com/s/Uh_e6frtY8FmyNFwJC4mEg
使用RIST或SRT進行實時云內容提取
本篇是來自SMPTE 2019的演講,演講者是來自Net Insight的Doug Shelton和Mikael W?nggren,演講題目是“Live Cloud Ingest Using an Open Approach to RIST, SRT andRetransmission Protocols”。
https://mp.weixin.qq.com/s/xDPRqTZ_v29Rks-uOxZ-NQ
談談網絡通信中的流量整形
前面的兩篇文章《談談網絡通信中的 ACK、NACK 和 REX》和 《談談網絡通信中的 FEC 基礎》介紹了網絡通信中的丟包重傳和 FEC 的相關理論和方法,他們都是在網絡發生丟包的情況下的補救措施,本文則往前進一步,介紹下如何通過流量整形技術,盡可能地避免網絡發生丟包。
https://mp.weixin.qq.com/s/qZM7D1_8wpFGFLh83KAzew
編解碼
AV1編碼尚未準備好進行實時流傳輸的3個原因
AV1是一種新的視頻編解碼器,具有非常有前途的前景,而這一點不能被充分強調。
https://www.red5pro.com/blog/3-reasons-why-av1-encoding-is-not-ready-for-real-time-streaming/
媒體,連接媒體及應用
在以加速步伐發展的多媒體技術領域,MPEG為本領域制定標準,我們很難對未來有一個清晰的計劃(盡管MPEG有一個5年的計劃)。
https://mp.weixin.qq.com/s/aKTOTM_8ZSYhbl3flG4_Jg
FFmpeg中的ROI encoding介紹
ROI encoding并不是一個新技術,諸如libx264、libvpx等軟件編碼器早已經提供了相應的支持,基于Intel GPU的libva也早已實現了相應接口。
https://mp.weixin.qq.com/s/C5H95NEIaDFDZB_2HedWFw
AVS3開源編碼器 “天樞”(uAVS3e)發布,速度提升30余倍
AVS3開源編碼器“天樞”(又名“uAVS3e”)1.0版正式在鵬城實驗室iHub開源托管平臺發布!與參考軟件HPM相比,編碼速度提升超過30倍,并且壓縮效率沒有損失。
https://mp.weixin.qq.com/s/NXwsJ5lKXLiCThlRTZUFbA
視頻技術
前端如何實現整套視頻直播技術流程
本文通過概念學習和介紹,理解了常見視頻直播技術的整體架構流程,基于前端的角度去快速搭建了一套完整的直播網頁的功能,當然其中還有很多不足和需要深入的地方,需要進一步探索,后續如果有更深入的技術沉淀,會繼續形成文章進行分享!
https://juejin.im/post/5e53411fe51d4526fe650e00#heading-5
谷歌YouTube算法團隊:視頻質量評價的集成池化方法
隨著移動互聯網的發展,視頻成為信息消費越來越重要的形式(這從國內外的YouTube、抖音的發展可見一斑),而其中用戶貢獻內容(UGC)往往占很大比例。
因為每個用戶制作水平不同,UGC內容的視頻質量是良莠不齊的,視頻網站運營商不僅要對視頻內容進行審核,對視頻的畫面質量審核也非常重要。所以自動化的視頻質量評價應運而生。
https://mp.weixin.qq.com/s/gompg-UI_RBCfkGws8UEdA
AI智能
華為諾亞、北大提出GhostNet,使用線性變換生成特征圖,準確率超MobileNet v3 | CVPR 2020
本文提出了一個全新的Ghost模塊,旨在通過極其小的代價操作生成更多更豐富的特征圖。基于一組固有的特征圖,作者應用一系列線性變換,以很小的代價生成許多能充分揭示固有特征信息的虛特征圖(Ghost feature maps)。
https://mp.weixin.qq.com/s/PgIKbWXljOf4r5WGChONmg
Google開源框架AutoFlip 實現視頻智能剪裁
Google宣布開源視頻剪裁框架AutoFlip,實現智能化自動裁剪視頻。
https://mp.weixin.qq.com/s/Aul7s7rPrrDHd475lxNsFw
圖像
計算視覺——基于內容的圖像縮放
相信大家曾經見到過這樣的問題,圖像需要因為顯示尺寸的問題需要進行適應尺寸而進行的變換,非常簡單粗暴的一種方式就是拉伸,但是效果不盡人意。
https://juejin.im/post/5e4cba776fb9a07cb6074bb6
資源推薦
RTP: Audio and Video for the Internet 中文版
這本書是個非常完美的學習實時音視頻技術以及流媒體傳輸技術的起點,讀者可以從這本書出發,的RFC文件,或者像本書作者Colin Perkings這樣大牛的博客以獲取更多知識。
鏈接:https://pan.baidu.com/s/1Mv_o8xxJgiiBUnFcNbhoOA
提取碼:mgc1
活動推薦
探秘突發大規模視頻增長背后的技術與未來趨勢
伴隨各大高校開展線上教學、企業在線復工的不斷增多,疫情對于復工復學的壓力和挑戰逐漸得到緩解,但與此同時不可避免會帶來突發的大規模在線視頻與協作需求與流量沖擊,面對高并發、高可用、高性能的挑戰,平臺背后技術如何支持?未來趨勢會在哪里?
3月5日,【云加社區沙龍online】【采訪間】騰訊云視頻通信業務總經理李郁韜、學而思網校架構師劉連響、LiveVideoStack主編包研一同解析視頻會議平臺的技術難點與趨勢,展望產品與場景創新,探索音視頻能力賦能。
直播精彩話題摘要:
疫情帶來短期視頻會議/在線學習需求爆發式增長,未來趨勢和場景又會如何?
面對突發需求,如何最快、高效的完成產品對接與上線?
巨頭企業和技術小團隊如何應對當前局勢與技術挑戰?
未來音視頻技術發展趨勢?有哪些新技術值得期待?(K8S,SRT,WebRTC-CDN等等)
https://cloud.tencent.com/developer/salon/live-1187?channel=LVS
點擊“閱讀原文”可查看更多詳細信息,請大家科學上網。
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生總結
以上是生活随笔為你收集整理的音视频技术开发周刊 | 133的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Google开源框架AutoFlip 实
- 下一篇: 视频会议场景下的弱网优化