李郁韬:短期爆发还是未来趋势?腾讯云海量音视频通信服务背后的技术发展
面臨特殊時期,無論遠程辦公、還是學校“停課不停學”都成為時下的必然選擇,眾多視頻會議平臺也在特殊環境下開啟了短期免費開放及功能服務。但與此同時不可避免會帶來突發的大規模在線視頻與協作需求與流量沖擊,面對高并發、高可用、高性能的挑戰,平臺背后技術如何支持?未來趨勢會在哪里?我們邀請到騰訊云視頻通信業務總經理李郁韜分享騰訊云在編解碼、視頻網絡傳輸等方面技術優化。
?
文 / Tommy
策劃 / LiveVideoStack
?
LiveVideoStack:Tommy你好,距離上次采訪你過去了一年多的時間,騰訊視頻云產品發生了哪些變化?
李郁韜:視頻云這一年變化還真挺大的,首先從業務上,我們基本對接了市場上絕大部分客戶的直、點播的客戶,大盤的業務量增長比較明顯,目前在整體帶寬、音視頻通話時長基本上翻了一倍。
在產品矩陣方面,我們在持續夯實我們流量型PaaS平臺的同時,也推出了不少新的業務產品,包括更低延遲表現的快直播產品、這次雷神山云監工上用到的慢直播產品、面向制作域的騰訊云剪及云導播臺產品、針對企業培訓及商業直播場景的直播SaaS產品,另外,我們也將我們視頻AI的產品能力升級為了“視頻智能”產品家族。
在騰訊內部,視頻云已經成為了騰訊視頻業務事實上的中臺,微信、企業微信、騰訊會議、騰訊教育等絕大部分視頻產品已經跑在了我們視頻中臺上,在內部,我們也積極推動公司內部各種視頻開源協同項目,推動效率提升及技術共享。另外,在下一代音視頻編解碼、音視頻傳輸協議、音視頻前后處理算法等方面,我們也在推動各技術開源社區的建設。
?
融合直播技術與微信生態,打通全平臺PaaS+SaaS服務
?
LiveVideoStack:我們觀察到小程序上支持課程開播,大大簡化了教學直播的流程,也可以快速加入騰訊會議。除此之外,小程序的多媒體服務上還有哪些期待呢?
李郁韜:小程序云直播解決方案是我們融合騰訊云直播技術與微信生態優勢,提供的云端直播能力及全平臺打通的直播PaaS服務,將直播能力注入各業務場景,助力企業快捷實現小程序直播。提供經微信官方認證的小程序直播插件,引入插件就能快速便捷地將直播能力植入自有的微信小程序中。在這次疫情期間,直播除了之前泛娛樂場景外,也更多進入了人們的生產、生活場景中。
另外,我們也聯合合作伙伴,上線了針對企業內訓等場景的SaaS解決方案:騰訊云歡句直播,這是為企業提供更輕量的小程序一站式SaaS直播服務,助力企業獲取觀眾多方位畫像,提升線上培訓及銷售跟進效果;在直播中支持將PPT等文檔同步展示給觀眾,形式上也支持紅包等功能,互動性更強。直播結束后自動生成回放視頻,觀看回放時PPT演示與視頻同步播放。
?
LiveVideoStack:是否向海外用戶開放騰訊云視頻云的能力,比如小程序直播、H5直播等?
李郁韜:目前已經在向海外用戶開放騰訊視頻云的相關能力,以【多中心點部署】在中國香港,泰國,新加坡,德國,多倫多,硅谷,俄羅斯,南非,韓國等地都已完成多個中心機房建設,并在逐漸擴大中心機房建設覆蓋國家區域。
為了應對海外國家內部網絡雜,海外國家跨國網絡質量不一,減少卡頓,提供穩定可靠的服務,對于海外直播場景,騰訊云從架構、網絡、安全、資源等方面針對性地進行了優化。
依托于騰訊云的出海戰略和長期在海外的投入,在全球50多個國家和地區建設超過1300個傳輸節點,總帶寬儲備超100T,與超過50家全球運營商合作,海外加速點200+。
想體驗或使用的朋友,現在可以在云直播控制臺直接開啟。
?
?
騰訊自研網絡傳輸協議+V265編碼技術,全面提升用戶體驗
?
LiveVideoStack:去年12月看到騰訊會議的發布會,2月初就遇到“全國人民都在遠程工作”的挑戰,如何在短時間內給予騰訊會議更好的支持的?與此同時,如何保障其他服務質量不降低,有哪些經驗可以和大家分享?
李郁韜:為了保證復雜網絡環境下多端接入方式中的音視頻傳輸質量,騰訊會議采用了我們在音視頻領域長期積累的云流控引擎技術,通過融合經典信號處理、心理聽覺和深度學習理論,針對端到端音視頻通信鏈路上的復雜特性,繼承了在微信、QQ、王者榮耀等大型業務中多年沉淀的探測、選路、調度、傳輸等關鍵技術,對音視頻在云端和用戶終端的網絡傳輸環境進行實時探測計算,選擇最優網絡路徑進行傳輸。
同時,騰訊自研的網絡傳輸協議和V265編碼技術,在降低音視頻傳輸過程中丟包率的同時,還能保證在屏幕分享場景和在不同終端上的視頻清晰度,保證用戶的會議使用體驗。
在質量評估方面,騰訊會議還借助騰訊多媒體實驗室上百個符合ITU/3GPP/AVS等國內外標準的指標進行評判。為了更好的衡量QoE,騰訊多媒體實驗室構建了大規模音視頻主觀質量數據庫,并基于這些數據來研發客觀質量評估算法,然后部署到業務線中,閉環監控全網的用戶體驗質量。
另外,用戶在使用騰訊會議時,普遍感覺環境雜音較少。這個體驗同樣得益于騰訊云音視頻在降噪方面的技術積累。騰訊會議考慮到遠程會議的環境多樣性,針對多人、多場景實時通信系統中的3A問題(降噪、回聲抑制、增益控制),進行智能化降噪處理,讓與會者克服噪音干擾,獲得專注的會議環境。
?
LiveVideoStack:騰訊云視頻云團隊是如何應對用戶使用量暴增的情況的?比如通過“降級服務”保證用戶的基本服務,比如使用延遲更高的RTMP替代WebRTC低延遲線路?
李郁韜:騰訊視頻云直播為用戶提供TRTC?(Tencent Real-Time Communication)?+ WebRTC快直播?(上行走RTMP推流或FLV、HLS、RTMP回源,下行支持標準WebRTC協議輸出)+ CDN?(FLV/HLS/DASH)?大融合解決方案,像教育、會議、互動對實時性要求比較高的場景優先走TRTC接入(全球<300ms延時),同時TRTC接入會實時混流并RTMP推流到直播平臺,用戶可以根據在線并發量配置超過一定并發閾值(比如100W)以后自動切一部分流量到WebRTC快直播(延時500ms左右)或普通CDN接入(延時跟用戶GOP及CDN buffer配置有關,普遍延時在2-5秒左右)。視頻云CDN在全球50多個國家和地區建設超過1300個傳輸節點,總帶寬儲備超100T,與超過50家全球運營商合作,海外加速點200+。
?
LiveVideoStack:我知道有些客戶已經在測試騰訊視頻云的SRT方案和WebRTC CDN產品,相較于QUIC、RTMP和低延遲HLS,SRT和WebRTC CDN的優勢是什么?
李郁韜:SRT相比QUIC,有專門針對直播場景的優化,傳輸控制中更好的結合了實時碼率的評估和pacing rate發送間隔的計算;另外,SRT在傳輸時是可配置的允許丟包的,騰訊視頻云根據音視頻的編碼特點,支持有選擇的丟包,在降低幀率但不影響畫面質量的情況下,盡可能的保障了播放的流暢性。SRT基于UDP比基于TCP的RTMP和HLS,有效解決了在長距離鏈路傳輸場景中延遲高、抗抖動性差的問題;經過實際測試,SRT相比RTMP具有明顯的低延遲和低卡頓的特性我們在 SRT的擴展性上,支持所有基于TCP的協議,包括RTMP/FLV/HLS,QUIC主要用于在FLV、HLS。
?
LiveVideoStack:關于視頻Codec有哪些新消息可以透露的?
李郁韜:2019年9月,騰訊正式宣布加入開放媒體聯盟AOMedia,推進視頻AV1標準商業化,并成為董事會員之一,同時也是董事會員中唯一的中國企業。日前,騰訊視頻云直播(FLV/HLS/DASH)、點播均已支持AV1/AVS2標準,據悉,騰訊云也是國內首家直播+點播同時支持AV1/AVS2視頻處理業務的公有云廠商。VVC/AVS3騰訊視頻云也正在開發和工程驗證階段,2020年也會陸續對客戶開放。
?
LiveVideoStack:關于深度學習,從AI增強的Codec,內容理解和自動化剪輯,騰訊視頻云正在做哪些相關工作?
李郁韜:騰訊視頻云明眸·極速高清-智能動態編碼技術,通過智能場景識別,業界領先的音視頻編碼、圖像深度學習與畫質增強等技術積累,對視頻進行動態感知編碼和畫質增強處理,提升視頻觀看體驗,為直播、點播等行業以更低的碼率提供更高清的流媒體服務。極速高清可以在點播和直播業務下,相比開源軟件在相同畫質下平均分別節省超30%+和40%+的帶寬成本;或在同等帶寬條件下,提供更加高清優質的視頻畫質體驗,感受“質”的變化。極速高清AI增強這塊在4K超分、HDR、色彩增強、智能彈幕、插幀等這幾方面技術在游戲賽事直播、廣電高清頻道以及4K/8K體育賽事直播上現在都有比較成功的客戶應用。
騰訊視頻去智眸·采識編審基于騰訊各實驗室最新研究成果,為廣電新媒體、教育、直播及在線視頻場景提供視頻內容理解剪輯、智能識別、智能編輯、智能審核等功能,70周年CCTV國慶閱兵自動剪輯,游戲直播賽事精彩片段實時自動生成,直播實時語音/OCR識別、涉黃、涉暴、涉政實時審核等。結合智眸·采識編審的視頻內容理解和剪輯、編輯、識別、審核等原子能力,騰訊視頻云最近推出的騰訊云剪和導播臺產品在這次新冠疫情階段在教育、會議和體育賽事直播上為媒體平臺、PGC/UPGC、MCN、直播平臺以及電競內容等內容制作者和機構提供在線視頻創作工具、編輯、推流等一整套pipeline流程解決方案。
?
音視頻下一個風口:線下到線上的全面轉型?
?
LiveVideoStack:從直播、短視頻、直播答題、在線教育、視頻會議、企業協作,多媒體應用經歷了從互聯網到行業,從2C到2B的滲透,你認為下一個風口在哪里?
李郁韜:短期來看,就如前面我提到的,受這次疫情的推動,線下業務、線下內容、線下商業會加速往線上遷移,包括大家看到的辦公協同、音視頻通信、視頻營銷、娛樂體驗等等;有個數據,近一個月期間,騰訊云在音視頻通話的分鐘數達到了日均30億分鐘的規模,這個挺大量級的一個數字;另外,之前VR一直不溫不火,那如果線下商業往線上遷移,類似VR看房、VR看車等場景,真的是可以落地了;另外基于音視頻AI的智能內容生產、虛擬主播、智能客服等場景也將會越來越多。
中長期看,比較看好在線辦公協同和在線教育的發展,經過這段時間在家復工復課,大家感受到了科技對于緊急事件的巨大幫助,體驗到了越來越豐富和穩定的音視頻通信服務可以一定程度替代傳統的線下溝通方式,相信未來大家也更能接受這種在線教育和辦公的生活方式。
總結
以上是生活随笔為你收集整理的李郁韬:短期爆发还是未来趋势?腾讯云海量音视频通信服务背后的技术发展的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 视频会议场景下的弱网优化
- 下一篇: LiveVideoStack线上分享第五