云游戏之大冒险:5G,等还是不等 | 专访云格致力陈浩
Photo by?Laurent?Duvoux
編者按:Global Market Insights預(yù)測全球云游戲市場將從2018年的10億美元增長到2025年的80億美元,復(fù)合年增長率達(dá)到30%(不同的市場報(bào)告預(yù)測數(shù)據(jù)略有不同,但都肯定了云游戲市場迅速增長的趨勢)。
報(bào)告還指出,由于云游戲要求足夠高(甚至是非常高)的傳輸速度,5G架構(gòu)的引入將有效地處理延遲問題,從而為客戶提供無縫的游戲體驗(yàn)。在此期間,平臺提供商需要在盡可能多的地區(qū)擴(kuò)展其網(wǎng)絡(luò)及云游戲節(jié)點(diǎn)。
而由于5G基礎(chǔ)設(shè)施開發(fā)計(jì)劃的增多,亞太地區(qū)的云游戲市場將更有可能出現(xiàn)大幅的增長。
金融時(shí)報(bào)在有關(guān)中國5G基建與云游戲的報(bào)道中稱,與美國和日本不同,中國大多數(shù)云游戲可能都將base在手機(jī)端(在美國和日本,云游戲?qū)⒅饕赑C、電視和游戲機(jī))。GSMA的數(shù)據(jù)顯示,到2025年,中國預(yù)計(jì)將擁有6億5G移動(dòng)用戶。
但5G仍然處于起步階段,截至2019年底,全球范圍內(nèi)只有不到1%的智能手機(jī)用戶的設(shè)備支持5G(約為750萬部)。而且,5G的毫米波信號距離較短,容易被諸如墻壁之類的障礙物阻擋,而這只是開發(fā)者面臨的眾多技術(shù)難點(diǎn)之一。
采訪講師
陳浩,成都云格致力科技有限公司CTO助理,主要負(fù)責(zé)“胖魚道炫”云游戲平臺相關(guān)技術(shù)研發(fā)。團(tuán)隊(duì)目前在研究如何進(jìn)一步降低整體延遲、對抗網(wǎng)絡(luò)變化、提升用戶云游戲的體驗(yàn)質(zhì)量。同時(shí)陳浩也是LiveVideoStackCon2020首屆音視頻線上峰會的講師。
以下由LivevideoStack與陳浩的采訪整理而成
云游戲仍然處于真正落地前的探索和準(zhǔn)備階段,而5G將會是云游戲一個(gè)很好的風(fēng)口或者說是借力,同時(shí)云游戲也將成為5G的殺手級應(yīng)用。
隨著5G的商業(yè)化進(jìn)程,底層網(wǎng)絡(luò)的性能演進(jìn)解決了一部分延遲和帶寬的問題,但對于泛在的開放IP網(wǎng)絡(luò),需要整體考慮端到端云游戲系統(tǒng)的帶寬、延遲、用戶體驗(yàn)、成本等因素,進(jìn)行針對性的云游戲技術(shù)革新,實(shí)現(xiàn)大規(guī)模、高質(zhì)量、可落地的經(jīng)濟(jì)型云游戲服務(wù)??傮w來說,5G時(shí)代的到來使得云游戲進(jìn)入了發(fā)展的快車道。
但就目前來說,云游戲仍然面臨著一些技術(shù)難點(diǎn),包括:如何在帶寬受限、動(dòng)態(tài)變化、不可靠傳輸?shù)拈_放IP網(wǎng)絡(luò)條件下(以保證用戶體驗(yàn)質(zhì)量為前提),解決云游戲服務(wù)本身高分辨率、高幀率、高動(dòng)態(tài)內(nèi)容帶來的大帶寬大流量需求、解決云游戲服務(wù)本身要求的極低交互延遲需求,以及處理好云游戲視頻數(shù)據(jù)傳輸可靠性和時(shí)延敏感性之間的權(quán)衡關(guān)系。
端到端的解決方案
1
我所在的團(tuán)隊(duì)一直在研究如何提升云游戲用戶的體驗(yàn)質(zhì)量,包括降低啟動(dòng)延遲、交互延遲和卡頓時(shí)間、頻率,以及提升云游戲視頻畫質(zhì),并據(jù)此提出了端到端的整套解決方案:
在視頻采集和編碼層面,我們通過刷新與采集間隔設(shè)置、slice個(gè)數(shù)設(shè)置、GoP長度設(shè)置、IPPP低時(shí)延編碼模式設(shè)置、碼率控制方法設(shè)置等優(yōu)化采集和編碼參數(shù);權(quán)衡編碼速度與編碼質(zhì)量,設(shè)置以上編碼參數(shù)時(shí)聯(lián)合考慮編碼的質(zhì)量和速度,滿足實(shí)時(shí)編碼的同時(shí)提升編碼質(zhì)量;應(yīng)用自研的協(xié)同視頻處理(Collaborative Video Processing,CVP)技術(shù)大幅降低編碼和傳輸碼率。
CVP一方面利用人眼注意力空域衰減模型,降低非感興趣區(qū)域視頻碼率/質(zhì)量,而不影響整體視覺質(zhì)量;另一方面,支持視頻以低分辨率、低幀率傳輸,而在中間節(jié)點(diǎn)或用戶終端實(shí)現(xiàn)高質(zhì)量的視頻超分辨率、超幀率重建,進(jìn)一步降低傳輸碼率。其難點(diǎn)在于如何權(quán)衡視頻視覺質(zhì)量、視頻碼率以及算法處理復(fù)雜度、實(shí)時(shí)性的聯(lián)合優(yōu)化。
在編碼和傳輸聯(lián)合優(yōu)化層面,由于用戶端網(wǎng)絡(luò)情況多樣化,且隨時(shí)間動(dòng)態(tài)變化,而云游戲場景的實(shí)時(shí)交互特性決定了我們對將來的視頻信息一無所知,我們應(yīng)用了自研的實(shí)時(shí)碼率自適應(yīng)(Adaptive Real-time Streaming,ARS)策略系統(tǒng),通過觀察和積累歷史云游戲視頻的流化經(jīng)驗(yàn),學(xué)習(xí)底層網(wǎng)絡(luò)特征和傳輸?shù)囊曨l內(nèi)容特征,實(shí)時(shí)預(yù)測網(wǎng)絡(luò)的有效帶寬,自適應(yīng)調(diào)整視頻編碼和發(fā)送碼率,有效應(yīng)對網(wǎng)絡(luò)的動(dòng)態(tài)變化,解決了傳統(tǒng)方法針對廣泛的網(wǎng)絡(luò)情況、云游戲?qū)崟r(shí)通信場景難以提供有效自適應(yīng)碼率能力的難題。
我們的云游戲系統(tǒng),針對1080P@60FPS視頻流,在排除網(wǎng)絡(luò)本身延遲的情況下,端到端平均延遲在15ms左右,帶寬要求10mbps就可以保證用戶可接受的游戲體驗(yàn)。
通信協(xié)議
2
關(guān)于弱網(wǎng)對抗,跨網(wǎng)傳輸,以及如何應(yīng)對用戶網(wǎng)絡(luò)環(huán)境的差異性可能導(dǎo)致的體驗(yàn)不佳的情況等,我們同時(shí)提供了多個(gè)運(yùn)營商網(wǎng)絡(luò)以及分布式的云游戲節(jié)點(diǎn)(分布于四川、江蘇、河南、廣東、江西、安徽等地域,未來會根據(jù)需要增加更多節(jié)點(diǎn)),針對特定用戶的云游戲請求,系統(tǒng)會自動(dòng)分配到離用戶較近的節(jié)點(diǎn),且優(yōu)先分配對應(yīng)的運(yùn)營商網(wǎng)絡(luò)。
同時(shí),我們設(shè)計(jì)了WebRTC(基于UDP)和私有協(xié)議(基于TCP)兩種實(shí)時(shí)通信協(xié)議,并同時(shí)提供了UDP和TCP兩條線路解決不同用戶網(wǎng)絡(luò)問題。當(dāng)用戶端到云游戲節(jié)點(diǎn)延遲較大時(shí),推薦接入WebRTC協(xié)議流線路;當(dāng)在用戶端網(wǎng)絡(luò)不支持UDP流時(shí),推薦接入私有協(xié)議流線路。
我們對基于WebRTC的協(xié)議,進(jìn)行了相關(guān)改進(jìn),包括由原生的P2P結(jié)構(gòu)改進(jìn)為更適用于云游戲服務(wù)的C/S結(jié)構(gòu)、集成更先進(jìn)的H.265/HEVC編解碼器及流協(xié)議支持等;優(yōu)化了發(fā)端和收端的緩沖(設(shè)置合理的發(fā)端和收端的緩沖區(qū),滿足基本的視頻流傳輸性能外,更加重視其實(shí)時(shí)性),使準(zhǔn)備好的視頻流可以快速傳輸和播放;另一套基于TCP的輕量級私有協(xié)議,實(shí)時(shí)請求和發(fā)送最新的視頻數(shù)據(jù),有效消除累積延遲。另一方面,當(dāng)網(wǎng)絡(luò)丟包或因延遲到達(dá)判定的丟包達(dá)到一定程度(即出現(xiàn)卡頓時(shí)),協(xié)議支持立即編碼和發(fā)送I幀的請求和響應(yīng)。
游戲畫質(zhì)
3
更高的原始分辨率(如8K)和HDR受限于游戲本身支持不足、服務(wù)端視頻編碼速度的性能不足,并且需要更高的傳輸碼率,進(jìn)而對網(wǎng)絡(luò)帶寬提出更高的要求,當(dāng)前難以實(shí)現(xiàn)。為此,我們當(dāng)前通過實(shí)時(shí)后處理的方式提升云游戲視頻的分辨率,在不久的將來,會逐步做到幀率、動(dòng)態(tài)范圍的提升。
智能手機(jī)的屏幕也許可以顯示足夠好的游戲流,但在大屏幕的4K電視或其他設(shè)備上則會消耗更多的帶寬,如何實(shí)時(shí)地為給定設(shè)備提供其所需的最少數(shù)量的比特,從而使不同終端的用戶都得以獲得最佳體驗(yàn)很重要。
云游戲的跨平臺實(shí)時(shí)分享主要通過將原本只傳輸給某一云游戲用戶的實(shí)時(shí)視頻流,同時(shí)在服務(wù)端傳輸給其他人進(jìn)行畫面共享實(shí)現(xiàn),就可以避免終端分享的跨平臺問題。在技術(shù)實(shí)現(xiàn)上難度并不大,借助于現(xiàn)有的主流直播方案就可以做到。當(dāng)然要做到實(shí)時(shí)的分享,可能需要延遲更低的實(shí)時(shí)通信方案,這種情況下需要更大的網(wǎng)絡(luò)帶寬支持及成本開銷。
一般情況下,云游戲服務(wù)端可以知道接入設(shè)備的類型設(shè)置型號,如移動(dòng)設(shè)備/PC/TV。對于某種設(shè)備,我們需要借助圖像/視頻質(zhì)量評價(jià)相關(guān)的學(xué)術(shù)知識、先驗(yàn)知識、測試經(jīng)驗(yàn)等預(yù)先設(shè)置對應(yīng)的視頻分辨率、幀率及量化參數(shù)范圍,從而使得該設(shè)備接入云游戲時(shí)可以以較少的比特率獲得最佳體驗(yàn)。
游戲類型
4
對于第一人稱射擊(FPS)游戲, 比如當(dāng)前流行的PUBG(PUBG四月底也加入了Google的Stadia)、守望先鋒等等,專業(yè)電競玩家需要1080P@144Hz(即144幀/秒)的視頻才能滿足需求;對于沉浸式游戲或者稱為角色扮演游戲(RPG),如古墓麗影、刺客信條等,需要2K/4K以上的分辨率才能達(dá)到良好的沉浸式效果。
具體解決方案依賴更快、更強(qiáng)的視頻采集、編碼、傳輸和播放速度,并需要云游戲節(jié)點(diǎn)、客戶端更高性能的硬件配置,以及更大的網(wǎng)絡(luò)帶寬支持,我們推出的“胖魚道炫”云游戲平臺已經(jīng)支持上述類型的云游戲。
我們目前支持265款游戲試玩,其中客戶端網(wǎng)游157款、3A大作80款、頁游28款,主要針對端游和頁游用戶。
當(dāng)前,多人在線游戲一般需要原生游戲本身支持,即多人游戲數(shù)據(jù)在原生游戲服務(wù)器上進(jìn)行交換(內(nèi)容版權(quán)),而原生游戲的客戶端上渲染出的實(shí)時(shí)游戲場景才通過云游戲視頻流形式傳輸給用戶進(jìn)行觀看,所以游戲數(shù)據(jù)的交互和同步不屬于云游戲的技術(shù)范疇。
個(gè)人覺得,目前云游戲做得比較好的,有Google Stadia、Shadow這幾家。在為用戶提供更便捷的云游戲接入方式、部署更多離用戶較近的云游戲節(jié)點(diǎn)、服務(wù)端搭建更好的多運(yùn)營商網(wǎng)絡(luò)方面,他們提供了一些可供學(xué)習(xí)的經(jīng)驗(yàn),也只有做到這些,才能給到用戶更好的云游戲體驗(yàn)。
后記:影響云游戲市場增長的關(guān)鍵因素包括5G的商業(yè)化、游戲玩家數(shù)量的增加、移動(dòng)設(shè)備上沉浸式和競爭性游戲的興起以及互聯(lián)網(wǎng)用戶數(shù)量的增加。
每年,游戲都變得越來越復(fù)雜、分辨率要求也越來越高。這意味著用戶必須隨時(shí)更新PC等設(shè)備才能運(yùn)行最新款的游戲。但借助云游戲,游戲玩家所需要的只是一個(gè)良好的互聯(lián)網(wǎng)連接。
但所謂“良好的互聯(lián)網(wǎng)連接”也并不總是能夠輕易達(dá)成,5G似乎近在眼前,伸出手卻又夠不著。
好在云服務(wù)提供商和電信公司仍然孜孜不倦地進(jìn)行著云游戲及其相關(guān)的投資,它們的技術(shù)顯然非常適合這一新興的服務(wù)模式,云游戲也可以幫助他們開拓眼前迅速擴(kuò)大的流媒體市場。
咨詢公司Niko Partners的分析師表示,隨著5G和云服務(wù)業(yè)務(wù)的進(jìn)一步發(fā)展,到2023年,中國將成為最大的云游戲市場。
但是,非傳統(tǒng)游戲公司必須在啟動(dòng)云游戲產(chǎn)品之前和之后考慮更多因素,包括確定目標(biāo)受眾和建立、維護(hù)有吸引力的內(nèi)容庫,在這里,版權(quán)也將是亟需考慮與規(guī)束的問題。
編輯:Coco Liang
References:
https://seekingalpha.com/article/4333366-look-gaas-cloud-gaming-streaming-games-service-sector-and-main-companies-involved
https://www.businessinsider.com/rise-of-cloud-gaming-report-2019-10
https://www.forbes.com/sites/forbestechcouncil/2020/04/21/cloud-gaming-is-booming-but-is-the-network-ready/#31d21f883d97
https://finance.yahoo.com/news/cloud-gaming-market-outlook-2027-124400965.html
https://learn.arm.com/rs/714-
https://www.ft.com/content/4a4cd344-fa2f-11e9-a354-36acbbb0d9b6
https://www2.deloitte.com/us/en/insights/industry/telecommunications/future-of-cloud-gaming.html
https://www.cloudwards.net/top-five-cloud-services-for-gamers/#Ease-of-Use
https://learn.arm.com/rs/714-XIJ-402/images/Newzoo_Arm_The_Evolution_Of_Gaming_Through_5G_FINAL.pdf
20206.2.0-2020.6.21?LiveVideoStackCon 2020?
首屆音視頻線上峰會
總結(jié)
以上是生活随笔為你收集整理的云游戏之大冒险:5G,等还是不等 | 专访云格致力陈浩的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 堡垒之夜一年内增1亿玩家、YouTube
- 下一篇: 端侧AI:高隐私、高可靠的智能个性化服务