视图计算背后的技术架构思考
>>發(fā)布會(huì)傳送門(mén)：https://yqh.aliyun.com/live/edgecloud_visual
作者：胡帆
數(shù)據(jù)載體、算力分布正在根本性變化
視頻和圖片因其強(qiáng)大的信息承載力，已經(jīng)成為數(shù)據(jù)內(nèi)容的主要載體和信息傳播的主要方式。5G的大帶寬、低時(shí)延、廣連接的特性激活了云視頻監(jiān)控、云游戲、物聯(lián)網(wǎng)等場(chǎng)景應(yīng)用，從消費(fèi)互聯(lián)網(wǎng)到產(chǎn)業(yè)互聯(lián)網(wǎng)的延伸，更加促進(jìn)了終端應(yīng)用和視圖數(shù)據(jù)的爆發(fā)。
這些終端和數(shù)據(jù)具有分散、海量和價(jià)值密度相對(duì)低的特點(diǎn)，以攝像頭為例，IHS的研究指出，目前全球有10億個(gè)監(jiān)控?cái)z像頭在看世界，也就是持續(xù)產(chǎn)生視頻圖片數(shù)據(jù)，這個(gè)數(shù)據(jù)量是ZB級(jí)，但其中絕大部分?jǐn)?shù)據(jù)價(jià)值較低，我們更需要留存產(chǎn)生關(guān)注事件的片段以及其結(jié)構(gòu)化信息，這樣的場(chǎng)景和需求對(duì)計(jì)算和存儲(chǔ)的方式帶來(lái)了嚴(yán)峻挑戰(zhàn)和根本性變化。
新的基于邊緣的數(shù)據(jù)接入、計(jì)算和緩存的分布式系統(tǒng)架構(gòu)有效地解決了這樣的問(wèn)題，它能確保流量和計(jì)算收斂到本地，顯著降低網(wǎng)絡(luò)傳輸成本、提升計(jì)算效率，滿足5G低延時(shí)處理的場(chǎng)景化需求。
基于邊緣構(gòu)建業(yè)務(wù)系統(tǒng)的技術(shù)挑戰(zhàn)
海量、分布式、異構(gòu)的邊緣節(jié)點(diǎn)資源特性，會(huì)給業(yè)務(wù)帶來(lái)巨大的挑戰(zhàn)，在服務(wù)適配、彈性和高可用等方面都要進(jìn)行相應(yīng)處理，對(duì)業(yè)務(wù)系統(tǒng)而言有感，處理不好甚至?xí)袚p。
基于邊緣構(gòu)建業(yè)務(wù)系統(tǒng)，技術(shù)挑戰(zhàn)主要來(lái)自以下幾個(gè)方面：
1.邊緣的節(jié)點(diǎn)分散且多級(jí)，節(jié)點(diǎn)多而體量小，需要進(jìn)行復(fù)雜的管理，交互訪問(wèn)時(shí)關(guān)注具體位置并會(huì)有多個(gè)入口，如計(jì)算和存儲(chǔ)的位置
2.資源的異構(gòu)導(dǎo)致業(yè)務(wù)需要對(duì)資源進(jìn)行選型，每個(gè)節(jié)點(diǎn)的資源類型分布也可能不均衡，如CPU、GPU、ARM陣列等不同的計(jì)算資源。
3.單一節(jié)點(diǎn)的彈性弱，全局的彈性強(qiáng)，伸縮又必須考慮部署位置和業(yè)務(wù)適配
4.單節(jié)點(diǎn)的割接，以及邊與邊、云與邊之間復(fù)雜的網(wǎng)絡(luò)環(huán)境，都可能導(dǎo)致服務(wù)抖動(dòng)，甚至單點(diǎn)不可用，都需要業(yè)務(wù)系統(tǒng)考慮好服務(wù)漂移等問(wèn)題，當(dāng)任務(wù)有狀態(tài)時(shí)，考慮的情況會(huì)更加復(fù)雜。
如何應(yīng)對(duì)這些挑戰(zhàn)，在使用海量分布式節(jié)點(diǎn)和中心云時(shí)體驗(yàn)簡(jiǎn)單和一致？最好只有一個(gè)交互面
視圖計(jì)算-位置無(wú)感的計(jì)算、緩存和連接平臺(tái)
視圖計(jì)算很好地解決了這個(gè)問(wèn)題，它基于廣覆蓋的ENS基礎(chǔ)設(shè)施，提供位置無(wú)感的計(jì)算、緩存平臺(tái)，同時(shí)為了讓視圖數(shù)據(jù)能更好地上云，提供了視圖（終端）上云的連接平臺(tái)。
如上圖所示，在基礎(chǔ)設(shè)施層，通過(guò)資源納管、虛擬化和資源切片，形成統(tǒng)一的池化資源，并提供安全和隔離的能力；視圖計(jì)算PaaS平臺(tái)通過(guò)統(tǒng)一的網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)調(diào)度，屏蔽了資源異構(gòu)，以及資源的物理位置，根據(jù)業(yè)務(wù)特性、終端位置和資源狀態(tài)，進(jìn)行邊緣資源與終端的匹配和協(xié)同調(diào)度，在保障業(yè)務(wù)低延時(shí)、高可用響應(yīng)的同時(shí)，實(shí)現(xiàn)業(yè)務(wù)對(duì)計(jì)算、存儲(chǔ)和連接的位置無(wú)感；
比如在安防、教培、交通物流等攝像頭上云場(chǎng)景，設(shè)備接入、流媒體接入和處理會(huì)綜合考慮可用算力、網(wǎng)絡(luò)帶寬和存儲(chǔ)容量等節(jié)點(diǎn)狀態(tài)，就近選取最匹配的節(jié)點(diǎn)，節(jié)點(diǎn)位置更靠近內(nèi)容的生產(chǎn)端（攝像頭）。而云游戲等場(chǎng)景，需要特定的渲染計(jì)算資源（如ARM板卡），同時(shí)要更靠近內(nèi)容的消費(fèi)端（手機(jī)端）側(cè)，當(dāng)需要多人觀戰(zhàn)直播時(shí)，又可以推流到CDN網(wǎng)絡(luò)進(jìn)行分發(fā)和異地觀看。
視圖計(jì)算云-邊-端協(xié)同架構(gòu)
構(gòu)建視圖計(jì)算平臺(tái)核心是云邊端的協(xié)同架構(gòu)：
1.終端設(shè)備負(fù)責(zé)進(jìn)行視圖等數(shù)據(jù)的采集和匯聚，以及視圖的解碼和展示（即瘦終端），同時(shí)能進(jìn)行指令的輸入操控，或者是根據(jù)云上下發(fā)的配置和規(guī)則進(jìn)行簡(jiǎn)單計(jì)算。
2.視圖計(jì)算基于分散的邊緣節(jié)點(diǎn)構(gòu)建了低延時(shí)的設(shè)備接入網(wǎng)關(guān)，實(shí)現(xiàn)了多種終端上云連接協(xié)議（如GB28181/RTMP等），同時(shí)能接收實(shí)時(shí)流和視頻圖片文件的快速上傳。在節(jié)點(diǎn)內(nèi)或臨近節(jié)點(diǎn)進(jìn)行計(jì)算處理和周期性存儲(chǔ)，計(jì)算結(jié)果（如結(jié)構(gòu)化的AI分析數(shù)據(jù)）以及需要持久化長(zhǎng)期存儲(chǔ)的數(shù)據(jù)，通過(guò)邊與云之間的安全加速通道實(shí)現(xiàn)快速回云。
3.視圖在中心云進(jìn)行節(jié)點(diǎn)和設(shè)備管理，以及統(tǒng)一調(diào)度、Meta匯聚等。終端設(shè)備在云上會(huì)映射到一個(gè)虛擬設(shè)備，類似于物理世界的投影（也就是影子設(shè)備），對(duì)影子設(shè)備的管理、配置和操作，都會(huì)通過(guò)信令通道快速下發(fā)、執(zhí)行和反饋，當(dāng)設(shè)物理設(shè)備斷電或異常下線后，上下文能很好地保存，上線后會(huì)及時(shí)同步。
通過(guò)視圖計(jì)算看到的是一朵云、一個(gè)交互面，而不再是N個(gè)分散入口的分布式小云，云邊端的協(xié)同架構(gòu)能在成本、延時(shí)和可靠性上找到最佳平衡點(diǎn)，比如成本上，網(wǎng)絡(luò)帶寬、計(jì)算和存儲(chǔ)成本需要綜合考量。
位置無(wú)感的多點(diǎn)協(xié)同計(jì)算
視圖計(jì)算服務(wù)針對(duì)視圖數(shù)據(jù)提供了三種位置無(wú)感的計(jì)算：
1.視圖基礎(chǔ)計(jì)算：包括轉(zhuǎn)碼、錄制、截圖等，通過(guò)編碼優(yōu)化，實(shí)現(xiàn)高壓縮比，同等畫(huà)質(zhì)可節(jié)省20~40%的存儲(chǔ)空間和傳輸帶寬
2.視圖AI計(jì)算：依托達(dá)摩院在計(jì)算機(jī)視覺(jué)上的算法積累，視圖計(jì)算提供各種場(chǎng)景化的視圖結(jié)構(gòu)化分析、目標(biāo)檢測(cè)和跟蹤等AI能力
3.自定義計(jì)算：自助上傳和托管算子，降低算法接入成本，方便用戶和算法供應(yīng)商將算法集成到視圖計(jì)算服務(wù)中使用。除了算子和參數(shù)能自定義，計(jì)算模式也能按照自身業(yè)務(wù)需求進(jìn)行自助定制。
這些計(jì)算的最大特征是“算隨網(wǎng)動(dòng)”：計(jì)算隨著數(shù)據(jù)在網(wǎng)絡(luò)上的流動(dòng)而展開(kāi)，避免全量數(shù)據(jù)回傳中心云處理，實(shí)現(xiàn)算力的下沉和終端計(jì)算的上浮。
這張網(wǎng)就是阿里云的邊緣協(xié)同網(wǎng)絡(luò)，它實(shí)現(xiàn)了終端-邊緣、邊緣-邊緣、邊緣-中心的一體化協(xié)同，為上層應(yīng)用屏蔽復(fù)雜的網(wǎng)絡(luò)環(huán)境，在提供優(yōu)質(zhì)的端到端接入和數(shù)據(jù)傳輸能力的同時(shí)，這張網(wǎng)注入了可計(jì)算和緩存的能力。
除了攝像頭上云等常見(jiàn)的本地計(jì)算場(chǎng)景，互聯(lián)網(wǎng)直播等場(chǎng)景也能基于視圖計(jì)算進(jìn)行邊緣轉(zhuǎn)碼和實(shí)時(shí)AI分析，提升整體用戶體驗(yàn)。比如直播流無(wú)需上行回傳中心再分發(fā)到邊緣，直接在就近節(jié)點(diǎn)進(jìn)行轉(zhuǎn)碼壓縮。對(duì)于80%的冷流（無(wú)人觀看或極少人觀看）可以直接收斂到本地，而對(duì)于熱流轉(zhuǎn)碼后就近分發(fā)，也能降低延時(shí)和卡頓，讓客戶端播放更流暢。整個(gè)過(guò)程終端只需要通過(guò)統(tǒng)一域名進(jìn)行接入，計(jì)算的具體位置不需要感知，位置無(wú)感的多點(diǎn)協(xié)同計(jì)算，可以像使用CDN加速一樣去完成數(shù)據(jù)計(jì)算。
可自定義的場(chǎng)景計(jì)算
在大量場(chǎng)景下，你可能已經(jīng)擁有了自行開(kāi)發(fā)的算子或應(yīng)用，或是第三方算法供應(yīng)商的算子，視圖計(jì)算提供開(kāi)放可自定義的場(chǎng)景計(jì)算框架，可以將算子或應(yīng)用托管在視圖計(jì)算上，真正實(shí)現(xiàn)幫用戶做自己的計(jì)算。
整個(gè)計(jì)算平臺(tái)分三層架構(gòu)，從下往上，對(duì)應(yīng)計(jì)算環(huán)境、計(jì)算調(diào)度和計(jì)算服務(wù)。
1.計(jì)算環(huán)境，即計(jì)算資源的生產(chǎn)和管控層，負(fù)責(zé)容器、VM等資源的生產(chǎn)，文件存儲(chǔ)，運(yùn)行的系統(tǒng)軟件和算子應(yīng)用的發(fā)布，安裝部署和配置，以及日志監(jiān)控等，這一層也提供了基礎(chǔ)的應(yīng)用隔離能力。
2.計(jì)算調(diào)度，實(shí)現(xiàn)資源的彈性伸縮管理和多維度的全局負(fù)載均衡，這一層在容器等底層資源的安全隔離上進(jìn)行全局規(guī)劃和統(tǒng)籌，解決資源爭(zhēng)搶問(wèn)題，同時(shí)不同顆粒度的計(jì)算任務(wù)實(shí)現(xiàn)混跑，提升資源的復(fù)用率。
3.計(jì)算服務(wù)，實(shí)現(xiàn)算子的托管、評(píng)估和實(shí)際的分流計(jì)算，同時(shí)對(duì)計(jì)算任務(wù)進(jìn)行畫(huà)像分析，迭代和提升計(jì)算資源的消耗評(píng)估精準(zhǔn)度，比如直播轉(zhuǎn)碼，除了編碼格式、分辨率、幀率等輸出參數(shù)，輸入的內(nèi)容源也會(huì)一定程度影響實(shí)際的資源消耗，每路轉(zhuǎn)碼在算力消耗上是動(dòng)態(tài)上下浮動(dòng)的，會(huì)導(dǎo)致調(diào)度資源分配的精準(zhǔn)度，需要?jiǎng)討B(tài)分析和校準(zhǔn)，最終實(shí)現(xiàn)調(diào)度分配水位和實(shí)際資源水位的一致。
整個(gè)接入過(guò)程非常簡(jiǎn)單：
1.上傳和管理算子，配置計(jì)算模板和參數(shù)；云端會(huì)進(jìn)行兼容性適配和資源消耗評(píng)估。
2.在線申請(qǐng)算力等資源，如不同計(jì)算規(guī)格的最高并發(fā)量，云端會(huì)進(jìn)行容量評(píng)估和確認(rèn)，并將算子下發(fā)、部署到各計(jì)算節(jié)點(diǎn)。
3.內(nèi)容接入或用戶觸發(fā)，云端對(duì)數(shù)據(jù)進(jìn)行分流和計(jì)算，并將計(jì)算結(jié)果實(shí)時(shí)反饋給用戶。
以云游戲?yàn)槔?#xff0c;可加載游戲包并渲染視頻流的串流鏡像就是一種算子或應(yīng)用，游戲廠商上傳游戲包、配置好渲染規(guī)格后，云端進(jìn)行相應(yīng)適配、資源評(píng)估和動(dòng)態(tài)分配。
位置無(wú)感分布式存儲(chǔ)
在完成計(jì)算平臺(tái)后，數(shù)據(jù)的上云存儲(chǔ)是我們接下來(lái)要解決的問(wèn)題，由于數(shù)據(jù)源的分散性，以及各種不同的價(jià)值密度和使用場(chǎng)景，比如體育賽事等直播內(nèi)容的高價(jià)值，需要錄制回放持久化存儲(chǔ)，而視頻監(jiān)控場(chǎng)景的攝像頭流相對(duì)價(jià)值偏低，只需要留存關(guān)鍵事件的視頻片段，絕大部分?jǐn)?shù)據(jù)只要緩存數(shù)天或數(shù)月即可。
如何解決數(shù)據(jù)分散存儲(chǔ)、分級(jí)存儲(chǔ)的訪問(wèn)延時(shí)、可用性和成本問(wèn)題？
視圖計(jì)算基于邊緣分布式文件緩存和中心持久化的OSS存儲(chǔ)提供了位置無(wú)感的分布式存儲(chǔ)解決方案，全球各地的數(shù)據(jù)源都可以通過(guò)視圖計(jì)算就近存取訪問(wèn)邊緣節(jié)點(diǎn)，緩存位置會(huì)參考數(shù)據(jù)接入和計(jì)算的位置，確保整體親和度。周期性數(shù)據(jù)會(huì)緩存到邊緣，長(zhǎng)期存儲(chǔ)的高價(jià)值數(shù)據(jù)以及結(jié)構(gòu)化分析數(shù)據(jù)會(huì)回到中心存儲(chǔ)。
同時(shí)，視圖計(jì)算通過(guò)邊緣加速網(wǎng)絡(luò)解決了跨地域跨運(yùn)營(yíng)商上傳大文件延遲大、速度慢、易中斷等問(wèn)題，實(shí)現(xiàn)中轉(zhuǎn)加速回云。
用戶看到和使用的仍然是一朵云，而不用關(guān)注具體的存儲(chǔ)位置。
分布式緩存平臺(tái)
位置無(wú)感的存儲(chǔ)接入通過(guò)分布式緩存平臺(tái)實(shí)現(xiàn)，它提供了就近訪問(wèn)、大容量、高性價(jià)比的周期性文件緩存，在緩存周期內(nèi)通過(guò)多點(diǎn)協(xié)同的存儲(chǔ)調(diào)度、多節(jié)點(diǎn)多副本冗余，實(shí)現(xiàn)了服務(wù)的高可用和數(shù)據(jù)的高可靠性。?視圖計(jì)算提供了靈活的緩存接入和調(diào)度策略（全國(guó)、區(qū)域、運(yùn)營(yíng)商、自定義節(jié)點(diǎn)范圍）。同時(shí)兼容中心OSS使用方式（SDK/API），下載OSS SDK后只需更改endpoint接入域名就可以幾乎零開(kāi)發(fā)成本切換到分布式緩存，相比之前不同的是去除了Region概念，直接采用了統(tǒng)一的中心化域名接入和管理方式，真正實(shí)現(xiàn)了只上一朵云、只存一朵云。??
如何實(shí)現(xiàn)這種位置無(wú)感呢？關(guān)鍵點(diǎn)在于：?
1.物理文件緩存在邊緣節(jié)點(diǎn)，管控?cái)?shù)據(jù)、文件元信息等統(tǒng)一匯聚到中心，集中管理和檢索。?
2.文件寫(xiě)入和讀取采用302調(diào)度方式，寫(xiě)入統(tǒng)一域名，經(jīng)過(guò)存儲(chǔ)調(diào)度，跳轉(zhuǎn)到真實(shí)的物理位置進(jìn)行讀寫(xiě)。?
3.實(shí)時(shí)的節(jié)點(diǎn)狀態(tài)和容量監(jiān)測(cè)，單點(diǎn)不可寫(xiě)，自動(dòng)遷移到其他節(jié)點(diǎn)，完成服務(wù)無(wú)感漂移和切換，單點(diǎn)恢復(fù)后快速?gòu)?fù)制同步。?
4.提供多節(jié)點(diǎn)多副本冗余存儲(chǔ)，實(shí)現(xiàn)單點(diǎn)不可用時(shí)的流量快速轉(zhuǎn)移，也可以在訪問(wèn)量大時(shí)進(jìn)行負(fù)載均衡。?
視圖連接平臺(tái)和全周期PaaS服務(wù)
為了幫助視圖數(shù)據(jù)更好地上云，視圖計(jì)算提供了終端上云的連接平臺(tái)和覆蓋視圖全生命周期的PaaS服務(wù)，包括采集、計(jì)算處理和內(nèi)容消費(fèi)。連接的能力主要在于：
1.設(shè)備的接入和管控
2.視圖內(nèi)容的接入和管理
3.視圖處理和視圖存儲(chǔ)分別基于前面介紹的位置無(wú)感計(jì)算平臺(tái)和緩存平臺(tái)，提供了針對(duì)視圖進(jìn)行轉(zhuǎn)碼、AI分析、加密和串流渲染等基礎(chǔ)能力和復(fù)雜的處理能力。視圖存儲(chǔ)上提供了視圖存取和檢索能力，以及生命周期的清理策略，和回云存儲(chǔ)及歸檔策略。
安全易用的視圖（終端）一鍵上云
目前主流的視圖終端上云方案有三種：
1.安防領(lǐng)域的國(guó)標(biāo)GB/T-28181上云，存在接入復(fù)雜，安全性低和功能缺失等問(wèn)題，如信令明文傳輸，數(shù)據(jù)流基本無(wú)認(rèn)證，只能基于SSRC簡(jiǎn)單鑒別，無(wú)法有效規(guī)避沖撞或偽造；國(guó)標(biāo)存在2011、2016多個(gè)版本的適配和過(guò)渡問(wèn)題，整體上云體驗(yàn)較差。
2.ONVIF自2008年提出以來(lái)，在世界范圍內(nèi)獲得了大量設(shè)備廠商支持，但其組播發(fā)現(xiàn)機(jī)制在公共云無(wú)法實(shí)現(xiàn)，上云不友好，同時(shí)其交互基于HTTP標(biāo)準(zhǔn)，采用SOAP協(xié)議格式來(lái)定義信令內(nèi)容，通信延遲較大。
3.大量設(shè)備廠商推出私有的協(xié)議標(biāo)準(zhǔn)上云，種類多，各自封閉、黑盒化，上云接入無(wú)法復(fù)用，較多重復(fù)建設(shè)。
視圖計(jì)算推出的一鍵上云方案，提供了開(kāi)放、易用、安全、靈活的終端一鍵上云能力，主要特性在于：
阿里云開(kāi)放設(shè)備上云協(xié)議ODCAP
視圖計(jì)算連接平臺(tái)的一鍵上云方案核心構(gòu)建在ODCAP（Open Device Cloud Access Protocol）開(kāi)放設(shè)備上云協(xié)議上，我們會(huì)完全開(kāi)放協(xié)議內(nèi)容，支持任何廠商的多樣化設(shè)備自主接入。
終端上云主體通過(guò)網(wǎng)絡(luò)互聯(lián)互通，ODCAP協(xié)議支持多種多樣的網(wǎng)絡(luò)互連結(jié)構(gòu)：
1.設(shè)備處在內(nèi)部網(wǎng)絡(luò)，通過(guò)防火墻NAT訪問(wèn)公網(wǎng)，也可以通過(guò)設(shè)備網(wǎng)關(guān)轉(zhuǎn)接；
2.設(shè)備直接在公網(wǎng)環(huán)境下，如具備4G/5G聯(lián)網(wǎng)能力的設(shè)備，可以采取直連；
3.ODCAP同時(shí)支持級(jí)聯(lián)模式，子設(shè)備可以通過(guò)其他協(xié)議連接到上一級(jí)設(shè)備，直連設(shè)備屏蔽了下級(jí)子設(shè)備的不同接入訪問(wèn)，統(tǒng)一以O(shè)DCAP協(xié)議接入云平臺(tái)。
ODCAP協(xié)議支持多種類型設(shè)備，實(shí)現(xiàn)多樣化終端上云。不同設(shè)備具備的功能各異，為了統(tǒng)一描述，我們用設(shè)備模型來(lái)定義設(shè)備，包括4個(gè)層面：
后續(xù)阿里云視圖計(jì)算會(huì)在“阿里云Edge Plus”公眾號(hào)中分享更多最新的產(chǎn)品能力、解決方案和技術(shù)實(shí)踐，歡迎大家一起探討。
原文鏈接：https://developer.aliyun.com/article/783748?
版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開(kāi)發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě)侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的视图计算背后的技术架构思考的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： Flink 在唯品会的实践
- 下一篇： 阿里云视图计算，边缘计算的主“战”场