对话阿里云:解锁视频云的新技术、新场景
點擊上方“LiveVideoStack”關(guān)注我們
伴隨著視頻技術(shù)的進步和標準的迭代,視頻產(chǎn)業(yè)從模擬進入到數(shù)字時代,完成了從電影電視到互聯(lián)網(wǎng)的媒介轉(zhuǎn)換,并且衍生出了超高清、3D、AR/VR等多種創(chuàng)新形態(tài)。特別是在后疫情的當下,我們可以看到音視頻技術(shù)領(lǐng)域的諸多新變化,云與端的協(xié)同互動、算法創(chuàng)新與工程應(yīng)用的深度交合、場景與需求的滲透促進,在嚴峻的挑戰(zhàn)下,為各行各業(yè)帶來了新的場景與活力。
在即將舉辦的LiveVideoStackCon 2021北京站,來自阿里云智能視頻云的專家將與眾多行業(yè)伙伴,一同探索與探討視頻云技術(shù)在云上的創(chuàng)新探索。為此,我們采訪了阿里巴巴研究員——葉琰,以及資深技術(shù)專家——何亞明,與兩位專家圍繞編解碼技術(shù)及視頻云的新場景應(yīng)用展開了深入對話。
?“視頻社會化”:視頻云成為新的基礎(chǔ)設(shè)施
從2006年網(wǎng)絡(luò)視頻的興起,到現(xiàn)在邁入“視頻社會化”時代,5G、云、AI已成為社會的發(fā)展趨勢,視頻不再局限于電影、電視、廣告等傳統(tǒng)媒體領(lǐng)域,視頻會議、 互動視頻、電商直播等新型應(yīng)用使產(chǎn)業(yè)邊界逐漸消融,視頻行業(yè)需求和技術(shù)不斷升級。隨著技術(shù)的發(fā)展和基礎(chǔ)設(shè)施的夯實,視頻將會成為新的交互方式和信息承載的形態(tài)。
(資料來源:艾瑞咨詢——2021年中國視頻云場景應(yīng)用洞察白皮書)
對于競爭激烈、快速迭代的大視頻產(chǎn)業(yè)而言,視頻云已經(jīng)逐漸發(fā)展為一項關(guān)鍵的基礎(chǔ)設(shè)施。眾所周知,當下的視頻業(yè)務(wù)對算力、存儲、帶寬這些資源的消耗非常高,比如一場流行的直播演唱會,可能會有上百萬的人在觀看,這不僅需要有強大的端側(cè)實時視頻處理能力,還要依托大規(guī)模的CDN分發(fā)網(wǎng)絡(luò)完成流暢的分發(fā)任務(wù),甚至一些AR/VR的特殊視覺效果需要通過邊緣節(jié)點的計算才能得以呈現(xiàn),所以僅僅把服務(wù)器搬到云上已經(jīng)遠遠不能滿足未來的場景需求,如何利用云的優(yōu)勢進行技術(shù)架構(gòu)和業(yè)務(wù)的演進成為業(yè)界共同面臨的課題。
?葉琰:推動下一代視頻標準落地,釋放行業(yè)生產(chǎn)力
葉琰是阿里巴巴研究員,阿里云智能視頻云視頻標準與實現(xiàn)負責(zé)人。她負責(zé)視頻云在 ITU-T VCEG、ISO/IEC MPEG 、AVS等國際和國家視頻標準組織的技術(shù)開發(fā),涉及視頻編解碼、AI視頻質(zhì)量評估、VR/AR等先進技術(shù)的研發(fā)工作。她參與了多項視頻編解碼與流媒體的國際標準制定工作,包括 H.266/VVC,H.265/HEVC,SHVC等標準。她是50多篇學(xué)術(shù)論文的作者,130多篇美國授權(quán)專利以及230多篇美國專利申請的發(fā)明人。她還是IEEE高級會員。她在中國科技大學(xué)獲得本科及碩士學(xué)位,在加州大學(xué)圣地亞哥分校獲得博士學(xué)位。
視頻離不開編解碼技術(shù),編解碼離不開標準的引導(dǎo)。視頻標準一直是視頻行業(yè)發(fā)展的基礎(chǔ)設(shè)施,視頻標準覆蓋廣泛,從系統(tǒng)標準MPEG CMAF到編解碼標準H.266/VVC,視頻標準的不斷更新迭代對視頻生產(chǎn)的效率提升、成本降低和新的體驗起到至關(guān)重要的作用,也關(guān)系著整個行業(yè)未來的走向。
葉琰作為阿里巴巴研究員、阿里云視頻云視頻標準與實現(xiàn)團隊的負責(zé)人,一直以來是國際視頻標準化工作的深度參與者和推動者,在葉琰看來“視頻標準化組織是見證最前沿技術(shù)和把握最新行業(yè)脈搏的最佳場合之一,正是通過業(yè)界專家們開放的技術(shù)討論,同時充分傾聽市場的需求,才讓我們能一次次迭代出更高效的標準,持續(xù)推動行業(yè)的進步。”
然而,面對新的發(fā)展階段,業(yè)界也對一些視頻標準組織提出了不同聲音。有一種觀點認為,像MPEG這樣的標準組織已經(jīng)失去了主導(dǎo)的角色,大家還在為了零點幾的性能增益絞盡腦汁,而這帶來的是更大的計算成本,這種自嗨式的創(chuàng)新更多是一種刷存在感,并沒有帶來本質(zhì)上的技術(shù)前進或創(chuàng)新,業(yè)界應(yīng)該找到新的思路解決視頻壓縮問題。
面對這樣的雜音,葉琰表達了自己的判斷——“我不太認同把傳統(tǒng)框架和全新框架當成隔離甚至對立關(guān)系這種觀點。雖然傳統(tǒng)框架下挖掘性能越來越難,但是這個方向是基于大家熟悉的框架,有利于軟件硬件實現(xiàn),而ECM也充分展示了這個框架仍然可以提供可觀的性能增益,所以不能輕易放棄。另一方面來說,JVET也在探索什么樣的新框架或者新工具可以一蹴而就,拿到大幅的性能增益。同時我們也非常關(guān)注這個新框架需要消耗什么水位的計算成本?實話說,我們現(xiàn)在還在摸索,所以必須依靠兩條腿走路的方式,才能找到最有潛力并且可實現(xiàn)的下一代編解碼技術(shù)。”
的確,每制定一代編碼標準都是一個非常艱巨的工作,不能一蹴而就。以目前業(yè)界的最新標準VVC為例,其正式開始之前的預(yù)研工作就花了3年左右的時間。正是因為如此,在VVC標準定稿不到一年, JVET于今年上半年就設(shè)立了ECM軟件平臺,用以進行下一代編碼標準的技術(shù)預(yù)研和開發(fā)。葉琰說到:“雖然目前ECM的壓縮能力已經(jīng)超過VVC大概14%,但是按照之前的經(jīng)驗,這個預(yù)研工作還需要若干年的時間才能達到新一代標準的壓縮性能增益要求。在市場和業(yè)務(wù)變化萬千的今天,我預(yù)計這幾年將會見證很多5G視頻應(yīng)用場景的興起。”
?何亞明:“云+端+服務(wù)”是視頻云未來的大趨勢
何亞明是阿里云智能事業(yè)群視頻云資深技術(shù)專家,視頻云技術(shù)研發(fā)負責(zé)人。加入阿里巴巴之前曾就職于美國Facebook和微軟,在微軟擔任Principal Software Engineer,從事視頻編碼和視頻云的研發(fā),在Facebook負責(zé)實時音視頻和直播技術(shù)的研發(fā),短短幾年內(nèi)將Facebook Messenger和Facebook Live兩款產(chǎn)品從零打造成擁有10億級用戶的明星產(chǎn)品。
?“音視頻具有天然的云原生屬性,‘云+端+服務(wù)’是未來音視頻發(fā)展的大趨勢。” 這是阿里云智能視頻云資深技術(shù)專家,視頻云技術(shù)研發(fā)負責(zé)人何亞明做出的判斷。
在何亞明看來,音視頻的發(fā)展一直是云原生的最佳實踐:云的基礎(chǔ)設(shè)施——包括中心節(jié)點、邊緣節(jié)點、CDN網(wǎng)絡(luò)是保障音視頻大規(guī)模分發(fā)和傳輸?shù)幕A(chǔ);云的計算能力和隨意的彈性能力,給音視頻業(yè)務(wù)帶來無限的算力的同時還能有效控制成本,衍生出更多新場景。另外,在音視頻端側(cè)設(shè)備越來越豐富的今天,“云”與“端”的協(xié)同顯得愈發(fā)重要,2020年,阿里云提出了“云端一體“的戰(zhàn)略,在這樣的大背景下,其路徑優(yōu)勢愈發(fā)凸顯——依托阿里云強大的云上算力,可以讓端變得更智能,更輕便,更靈活,讓開發(fā)者打造出千人千面的創(chuàng)新應(yīng)用,其開發(fā)效率、運維成本、延展性都得到了極大優(yōu)化。在“云端一體,云邊一體,軟硬一體”的進擊之路上,何亞明特別強調(diào)了AI在其中的重要作用——“我們特別強調(diào)AI的應(yīng)用落地,從智能視頻編碼,圖像增強到超分辨率,從智能美顏、虛擬背景、美聲變聲到視頻卡通化,可以說我們是在舉全集團的AI之力,在推動音視頻場景走向更廣闊的空間。”
(阿里云智能視頻云參與科技冬奧-云轉(zhuǎn)播平臺國家重點研發(fā)項目)
“此次峰會,阿里云視頻云帶來的專場主題是‘從上云到創(chuàng)新,視頻云的新技術(shù)與新場景’,在這里我想特別強調(diào)‘創(chuàng)新’這個詞,上云已經(jīng)是視頻行業(yè)的共識,并且基本完成了云原生化的進程,我們真正面臨的難題是如何在云上完成下階段的創(chuàng)新,各家廠商應(yīng)該從提供資源和工具,向提供服務(wù)和生態(tài)這個轉(zhuǎn)變作為突破口”何亞明如是說。
目前,國內(nèi)頭部的云廠商大多擁有強大的技術(shù)服務(wù)能力和完備的內(nèi)容消費生態(tài),讓視頻產(chǎn)品服務(wù)化,通過API化,PaaS服務(wù),PaaS+,SaaS工具,端上SDK,低代碼平臺等手段減低視頻技術(shù)的接入門檻,更好地服務(wù)開發(fā)者,最終更好的服務(wù)視頻的生產(chǎn)和消費者。
如今,面對國內(nèi)頭部云廠商在視頻云領(lǐng)域的激烈競爭,何亞明看到的更多的是機遇:“這是我們非常愿意看到的趨勢,也正是我們不斷推動行業(yè)前進的結(jié)果,阿里云也希望越來越多的有志之士加入到視頻云的隊伍中來,一起將視聽帶入新的時代。”
?技術(shù)和場景:視頻云面向未來的創(chuàng)新與挑戰(zhàn)
在2021年5月北京舉辦的阿里云智能云峰會上,阿里云智能事業(yè)群總裁張建鋒宣布阿里云將在“做深基礎(chǔ)、做厚中臺、做強生態(tài)”基礎(chǔ)上,新增“做好服務(wù)”作為重要戰(zhàn)略。視頻云技術(shù)作為云計算、人工智能、網(wǎng)絡(luò)等技術(shù)與行業(yè)場景結(jié)合非常緊密的領(lǐng)域,阿里云一直堅持于底層技術(shù)的深耕、中臺技術(shù)的應(yīng)用和服務(wù)場景的創(chuàng)新。
視頻編解碼是阿里巴巴在業(yè)界一直具有優(yōu)勢地位的技術(shù)領(lǐng)域,也是集團堅持于音視頻基礎(chǔ)技術(shù)研究的具體行動。阿里云視頻標準團隊在2020年中剛剛結(jié)束緊張的新一代國際視頻編解碼標準H.266/VVC的技術(shù)開發(fā)工作,就第一時間投入人力開始大力推進基于H.266/VVC的編解碼器開發(fā)工作。隨后不久阿里云發(fā)布了實時高清編解碼器Ali266,有力推動了H.266/VVC標準應(yīng)用的落地,真正開啟H.266/VVC的商用之路。
在談到Ali266的研發(fā)難點時,葉琰說:“一個成熟的商用編碼器必須通過算法的深度優(yōu)化才能滿足實時編碼速度的要求,為了拿到H.266/VVC所提供的強大壓縮性能,必須針對輸入視頻內(nèi)容從VVC所提供的眾多編碼工具中又快又準地選擇最合理的編碼工具。所以我們開發(fā)Ali266也是沿著這個軌跡,深入VVC編碼工具集,通過對各個編碼工具進行定性和定量的研究,來幫助我們進行編碼工具的選擇。同時,我們在算法優(yōu)化過程中也格外關(guān)注主觀質(zhì)量,遇到與客觀質(zhì)量指標之間的沖突時,我們會更加傾向于保證更高的主觀質(zhì)量,也就是保證最終的用戶體驗。Ali266能夠第一時間達到實時高清和實時全高清的編碼速度,同時和HEVC的編碼性能拉開足夠的差距,和我們采取這樣的開發(fā)策略有直接的關(guān)系,現(xiàn)在興起的VR/MR需要更高分辨率的視頻格式作為技術(shù)底座支撐,因此VVC所提供的帶寬節(jié)省能力也更加可貴。所以我們會持續(xù)投入開發(fā)Ali266,讓它能越跑越快,在不久的將來達到超高清4K甚至8K的實時編碼能力。也會為更加高效的編解碼標準提供很好的落地場景。”
不僅是在音視頻技術(shù)領(lǐng)域的深耕,隨著阿里云視頻云業(yè)務(wù)與阿里集團整體業(yè)務(wù)的深入融合以及行業(yè)客戶的深耕實踐,阿里云視頻云與人民日報新媒體、淘寶直播、LAZADA、優(yōu)酷等內(nèi)外部客戶的場景合作也愈發(fā)豐富。2018年,阿里云與奧林匹克廣播服務(wù)公司聯(lián)手打造奧林匹克轉(zhuǎn)播云OBS Cloud。今年,奧林匹克轉(zhuǎn)播云在東京奧運會上首次投入使用,為全球轉(zhuǎn)播機構(gòu)提供云上轉(zhuǎn)播支持,這是奧運歷史上首次采用云計算支撐全球視頻轉(zhuǎn)播,讓全球觀眾在云上突破了疫情的阻隔。
(2020年東京奧運會,阿里云與國際奧委會合作,實現(xiàn)全程“奧運上云”)
面對還將持續(xù)的全球疫情,何亞明預(yù)計視頻技術(shù)的需求還將會在直播、會議、電商、娛樂、協(xié)作方面繼續(xù)保持增長——“隨著5G,AR,VR技術(shù)的發(fā)展和基礎(chǔ)設(shè)施的完善,更低的延遲(<100ms),更高清(8K+),更沉浸式(3D全息,環(huán)繞音效)的交互方式將會改變很多行業(yè),除了人與人,音視頻也會讓人與物,物與物之間建立更多的聯(lián)系,人類的交互方式將再一次升級。記得媒體界流行的一句話:最初即最終。意思是人類最早是靠視覺來接受信息,感受這個世界的,從最初的語音到文字到圖片再到視頻,最終又回到了最初的形態(tài)。我認為這個論斷不完全對,視頻的交互形態(tài)還在不斷演進,電影Matrix和頭號玩家,包括最近很火的元宇宙已經(jīng)給我們描繪了一個未來交流形式的腦洞。”
以上來自LiveVideoStack與葉琰、何亞明的采訪整理。
?【從上云到創(chuàng)新,視頻云的新技術(shù)與新場景】
??活動時間:2021/10/30 14:00-18:00
🚀?參與方式:坐標北京,線下參與(免費)
掃描圖中二維碼或點擊閱讀原文
了解專場活動更多信息
喜歡我們的內(nèi)容就點個“在看”吧!
總結(jié)
以上是生活随笔為你收集整理的对话阿里云:解锁视频云的新技术、新场景的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【今晚七点半】:龙芯多媒体技术生态 从
- 下一篇: 【今晚9点】:对话黄琦——从FB到快手,