阿里云边缘计算与云边端协同网络的融合与挑战
簡介: 本文來自阿里云高級技術(shù)專家張毅萍(屹平)的分享原文,闡述了他對邊緣計(jì)算的理解、阿里云邊緣計(jì)算的布局及云邊端三體協(xié)同網(wǎng)絡(luò)的融合與挑戰(zhàn)。
本文來自阿里云高級技術(shù)專家張毅萍(屹平)的分享原文,闡述了他對邊緣計(jì)算的理解、阿里云邊緣計(jì)算的布局及云邊端三體協(xié)同網(wǎng)絡(luò)的融合與挑戰(zhàn)。
分享主要包括以下幾塊內(nèi)容:
一、邊緣計(jì)算順勢而生
二、阿里云四層邊緣計(jì)算技術(shù)棧與挑戰(zhàn)
三、關(guān)于云-邊-端協(xié)同網(wǎng)絡(luò)
四、邊緣計(jì)算的潛在應(yīng)用場景
?
順勢而生:中心與邊緣、20年一輪回
?
在屹平看來,1999、2009和2019在中國互聯(lián)網(wǎng)發(fā)展歷史上非常關(guān)鍵。1999年互聯(lián)網(wǎng)爆發(fā),同時(shí)也是阿里巴巴成立的年份。隨著應(yīng)用中心化,邁入2009年,云計(jì)算也逐漸被激活,2009年也是阿里云成立的年份,到了2019年,5G元年,邊緣計(jì)算順勢走上風(fēng)口。
“從1999年互聯(lián)網(wǎng)初期的應(yīng)用邊緣分散狀態(tài),再到后來的應(yīng)用中心化、中心云化,再到如今邊緣計(jì)算、云邊緣化的進(jìn)程,這是一個(gè)邊緣到中心再到邊緣的輪回。那么這其中輪回的原動力是什么?”屹平認(rèn)為:促使其輪回最重要因素是成本,計(jì)算和應(yīng)用中心化,集約資源必然帶來資源的復(fù)用率提升和成本的節(jié)約,只要數(shù)據(jù)傳輸成本夠低,計(jì)算中心化沒有任何問題,這也是過去20年互聯(lián)網(wǎng)發(fā)展的過程。然而,傳輸成本在互聯(lián)網(wǎng)應(yīng)用中是不可忽略的重要成本構(gòu)成之一,在音視頻類應(yīng)用中尤為明顯,互聯(lián)網(wǎng)傳輸成本在過去20年的大幅下降,使得大量應(yīng)用得以實(shí)現(xiàn)規(guī)模化,云計(jì)算也有了爆發(fā)的基礎(chǔ)。
?
隨著5G的到來,邊緣應(yīng)用的數(shù)據(jù)量呈幾何級數(shù)上漲,這些數(shù)據(jù)都在終端形成、積累,傳送到云端,進(jìn)行數(shù)據(jù)處理,再返回到終端指導(dǎo)業(yè)務(wù)。這一系列動作將對網(wǎng)絡(luò)帶寬產(chǎn)生數(shù)百Gbps每秒的超高需求,不僅會存在延遲,還需要面臨弱網(wǎng)卡頓、連接成功率低等諸多問題,用戶體驗(yàn)無法保障。同時(shí),大帶寬對回傳網(wǎng)絡(luò)、業(yè)務(wù)中心造成巨大傳輸壓力,也會讓企業(yè)面臨著巨額的帶寬成本。
?
這意味著集中式的數(shù)據(jù)存儲、處理模式將面臨難解的瓶頸和壓力。最終,成本作為關(guān)鍵因素之一,使得云邊緣化的趨勢得以發(fā)展,集中的計(jì)算再次走向邊緣,如此就形成了這樣一個(gè)20年的輪回。
?
一場算力的遷徙:云計(jì)算與邊緣計(jì)算的協(xié)同
?
云計(jì)算和邊緣計(jì)算,這二者并不是此消彼長的關(guān)系,邊緣計(jì)算正在拓展云計(jì)算的邊界。
?
以常見的互動直播場景舉例,大量的彈幕、刷禮物、連麥、秒殺等交互,使數(shù)據(jù)量激增,同時(shí)互動直播場景需要十分準(zhǔn)確、快速的計(jì)算能力。如果在端上進(jìn)行視頻計(jì)算,會大量消耗端的算力,對終端的性能要求很高且耗電量很大,但是將計(jì)算放在云中心,又面臨高昂的視頻傳輸成本。
?
這時(shí)候,終端算力上移、云端算力下沉,在邊緣形成算力融合,云-邊-端三體協(xié)同的架構(gòu)將會發(fā)揮重要的作用。
?
如此,直播平臺可以根據(jù)自己業(yè)務(wù)的特點(diǎn)和需求,利用云中心實(shí)現(xiàn)強(qiáng)大的算力支撐和海量存儲的支持,在云中心統(tǒng)一管控下完成核心數(shù)據(jù)的處理,將部分業(yè)務(wù)下沉部署到邊緣進(jìn)行終結(jié),這相當(dāng)于給云中心增加了分布式能力,不僅能在在邊緣計(jì)算領(lǐng)域建立一套新的生態(tài)系統(tǒng),進(jìn)行本地?cái)?shù)據(jù)的初步分析和處理,承擔(dān)部分“云“的工作,減輕云中心的壓力。還能減少復(fù)雜網(wǎng)絡(luò)中各種路由轉(zhuǎn)發(fā)和網(wǎng)絡(luò)設(shè)備處理的時(shí)延,獲取到更低延時(shí),更加能大幅減少網(wǎng)絡(luò)傳輸和多級轉(zhuǎn)發(fā)帶來的帶寬成本。如此一來,既能解決處理能力問題,又能優(yōu)化成本的問題。
?
「在《邊緣云計(jì)算技術(shù)與標(biāo)準(zhǔn)化白皮書》中也對邊緣計(jì)算(此處指邊緣云計(jì)算)進(jìn)行定義:邊緣云計(jì)算是基于云計(jì)算技術(shù)的核心和邊緣計(jì)算的能力,構(gòu)筑在邊緣基礎(chǔ)設(shè)施之上的云計(jì)算平臺。形成邊緣位置的計(jì)算、網(wǎng)絡(luò)、存儲、安全等能力全面的彈性云平臺。通過將網(wǎng)絡(luò)轉(zhuǎn)發(fā)、存儲、計(jì)算,智能化數(shù)據(jù)分析等工作放在邊緣處理,降低響應(yīng)時(shí)延、減輕云端壓力、降低帶寬成本,并供全網(wǎng)調(diào)度、算力分發(fā)等云服務(wù)。」
?
面向城市的四層邊緣計(jì)算技術(shù)棧
?
當(dāng)5G萬物智聯(lián)時(shí)代到來,城市中蘊(yùn)含著巨大的計(jì)算場景,大量扎根于城市的服務(wù)比如智慧交通、智慧園區(qū)、智慧零售、智能家居等等,都會產(chǎn)生非常多的數(shù)據(jù)。阿里云邊緣計(jì)算未來主要是以地市、區(qū)縣為單位開展,面向城市服務(wù)的交通、醫(yī)療、健康、教育、新零售等場景提供算力基礎(chǔ)。
?
城市計(jì)算的技術(shù)布局,在基礎(chǔ)設(shè)施之上,阿里云邊緣計(jì)算更包含四層技術(shù)棧:邊緣硬件和芯片、邊緣計(jì)算平臺、邊緣計(jì)算操作系統(tǒng)、邊緣中件間和面向邊緣的應(yīng)用與服務(wù)。
?
?
在基礎(chǔ)設(shè)施層,其實(shí)是基于復(fù)雜的、異構(gòu)的基礎(chǔ)設(shè)施進(jìn)行資源拉通;在芯片/設(shè)備方面,阿里云邊緣計(jì)算采用通用芯片、專用芯片和自研芯片解決未來面向場景的邊緣計(jì)算成本問題;在邊緣計(jì)算平臺方面,阿里云著重打造邊緣操作系統(tǒng),提供三種計(jì)算形態(tài)(虛機(jī)、容器、函數(shù))和三種交付形態(tài)(Server、Serverlet、Serverless),為客戶營造一個(gè)利于使用的計(jì)算環(huán)境;對于邊緣中間件,阿里云要從原本“內(nèi)容分發(fā)的調(diào)度”轉(zhuǎn)變?yōu)椤坝?jì)算的調(diào)度”,同時(shí)疊加AI、存儲等新技術(shù),逐步形成面向城市應(yīng)用場景的獨(dú)特中間件能力;至于上層的邊緣應(yīng)用及服務(wù),則需要結(jié)合整個(gè)生態(tài)和垂直行業(yè)伙伴共同推動技術(shù)進(jìn)步。
?
城市邊緣計(jì)算的四大技術(shù)挑戰(zhàn)
?
當(dāng)然,在建設(shè)整個(gè)5G時(shí)代的IT基礎(chǔ)設(shè)施,為產(chǎn)業(yè)提供“離用戶更近的計(jì)算”這條前行之路上,也會遇到很多技術(shù)挑戰(zhàn)。
?
首先,是如何構(gòu)建緊湊小型化計(jì)算架構(gòu)以及災(zāi)備體系非常重要。如果把云計(jì)算比作一個(gè)城堡,那么它可以通過修圍墻、排哨兵、巡邏兵去保護(hù)城堡,但是在偏遠(yuǎn)的村莊(邊緣計(jì)算)也需要通過安全體系的建設(shè),來抵御外敵入侵。
?
其次是災(zāi)備,云計(jì)算基本上可以做到的單節(jié)點(diǎn)內(nèi)幾十萬臺機(jī)器之間做災(zāi)備,邊緣節(jié)點(diǎn)跨節(jié)點(diǎn)災(zāi)備系統(tǒng)面臨更大挑戰(zhàn)。
?
第三個(gè)挑戰(zhàn)是云邊端協(xié)同的問題,把中心云、邊緣計(jì)算以及IoT進(jìn)行連接和計(jì)算力的協(xié)同,發(fā)揮云中心規(guī)模化、邊緣計(jì)算本地化與低成本、IoT終端感知等各方面的優(yōu)勢,為客戶提供最合適、最經(jīng)濟(jì)的“上車點(diǎn)”,也就是計(jì)算發(fā)生的位置。
?
最后一個(gè)挑戰(zhàn)是如何做好大規(guī)模資源平臺的運(yùn)營和運(yùn)維支撐,將復(fù)雜度、穩(wěn)定性等問題封裝,盡量實(shí)現(xiàn)上層業(yè)務(wù)透明化對邊緣計(jì)算來講也十分重要。邊緣計(jì)算操作系統(tǒng)需要把解決計(jì)算在哪里、如何簡化計(jì)算的復(fù)雜度、如何更便捷地運(yùn)維分布式計(jì)算資產(chǎn)等問題提前解決,客戶開發(fā)人員只需要簡單地調(diào)用接口,就可以使用廣泛地使用邊緣計(jì)算策略,而不用擔(dān)心部署和計(jì)算在哪里的問題。
?
基于場景的云-邊-端協(xié)同網(wǎng)絡(luò)
?
上文提到,構(gòu)建邊緣計(jì)算基礎(chǔ)設(shè)施和上層操作系統(tǒng)將面臨著諸多難題,如何打造云-邊-端協(xié)同網(wǎng)絡(luò)就是其中的關(guān)鍵。
?
屹平認(rèn)為:“云-邊-端協(xié)同網(wǎng)絡(luò)是以云為中心,逐層分散延伸的網(wǎng)絡(luò)。假設(shè)云中心REGION在全國10數(shù)量級部署,百到千數(shù)量級的ENS節(jié)點(diǎn)負(fù)責(zé)廣覆蓋、流量調(diào)度,萬數(shù)量級的MEC節(jié)點(diǎn)負(fù)責(zé)就近接入。這其中,涉及到云邊協(xié)同、邊邊協(xié)同和邊端協(xié)同三部分。”
?
云邊網(wǎng)絡(luò)
?
云邊網(wǎng)絡(luò),想要做好云與邊之間的網(wǎng)絡(luò),主要有兩個(gè)關(guān)鍵點(diǎn):虛實(shí)結(jié)合、動態(tài)選路。在全國所有邊緣節(jié)點(diǎn)中,選擇一批分布地域較好的節(jié)點(diǎn),將這些節(jié)點(diǎn)通過專線與云中心連接,其它大部分節(jié)點(diǎn)是通過互聯(lián)網(wǎng)連接。同時(shí),采取專線和互聯(lián)網(wǎng)鏈路的動態(tài)選擇和各種穩(wěn)定性報(bào)障措施,來代替上層應(yīng)用解決不同網(wǎng)絡(luò)形態(tài)下回云連通性的問題。對于上層應(yīng)用來說,并不需要去感知接入節(jié)點(diǎn)的網(wǎng)絡(luò)形態(tài)。總結(jié)下來,云邊網(wǎng)絡(luò)這就是回云的安全和加速網(wǎng)絡(luò)。
邊邊網(wǎng)絡(luò)
?
邊邊網(wǎng)絡(luò),需要保障上層應(yīng)用使用的邊緣節(jié)點(diǎn)之間數(shù)據(jù)傳輸透明且安全。涉及兩關(guān)鍵詞,Fullmesh和安全加速。當(dāng)前很多互聯(lián)網(wǎng)應(yīng)用的數(shù)據(jù)傳輸都還是采用多層結(jié)構(gòu),即有中心層、有一個(gè)或兩個(gè)外層,然后一層一層做數(shù)據(jù)流量的收斂,如果有數(shù)據(jù)交互的話,通過中心層繞道是常見的一種方式,這種方式在技術(shù)實(shí)現(xiàn)上更簡單清晰,但是從成本角度考慮卻并不是合適。Fullmesh在這里表示的就是邊邊網(wǎng)絡(luò)實(shí)現(xiàn)的邊緣節(jié)點(diǎn)之間的直接通訊,無需通過中心繞道;而邊邊直接通訊是基于由眾多邊緣節(jié)點(diǎn)構(gòu)建的分布式傳輸加速網(wǎng)絡(luò)來克服互聯(lián)網(wǎng)的數(shù)據(jù)傳輸穩(wěn)定性、跨運(yùn)營商的傳輸速度瓶頸等問題。將這種安全加速網(wǎng)絡(luò)的能力與邊緣節(jié)點(diǎn)網(wǎng)絡(luò)融合,從而為上層應(yīng)用提供透明的邊邊數(shù)據(jù)傳輸加速的體驗(yàn)。
?
?
端邊網(wǎng)絡(luò)
?
端邊網(wǎng)絡(luò),端邊網(wǎng)絡(luò)更注重智能調(diào)度和安全接入,本身與應(yīng)用場景高度相關(guān),這里引用一個(gè)終端安全接入的場景來介紹。終端通過集成SDK的方式來解決安全調(diào)度問題,應(yīng)用的服務(wù)接入點(diǎn)調(diào)度由SDK實(shí)現(xiàn),應(yīng)用本身不用去關(guān)心應(yīng)該去訪問哪一個(gè)節(jié)點(diǎn),通過專門的高防節(jié)點(diǎn)(防DDoS)與終端SDK通訊實(shí)現(xiàn)調(diào)度指令的下發(fā)。假設(shè)某個(gè)邊緣節(jié)點(diǎn)被攻擊至無法服務(wù)時(shí),調(diào)度實(shí)現(xiàn)第一時(shí)間的流量切換,同時(shí)也能根據(jù)邊緣節(jié)點(diǎn)持續(xù)被攻擊的來源識別出哪些是真實(shí)流量,哪些是攻擊流量,長此以往對攻擊數(shù)據(jù)的積累,能夠逐步形成攻擊源數(shù)據(jù)庫,作為調(diào)度和安防策略的依據(jù)。每當(dāng)發(fā)生攻擊時(shí),基于攻擊源數(shù)據(jù)庫的記錄就可以更快地發(fā)現(xiàn)攻擊并完成流量調(diào)度。
屹平表示:“云邊、邊邊、端邊形成了整體的云邊端協(xié)同網(wǎng)絡(luò)。我們希望上層應(yīng)用在使用阿里云邊緣計(jì)算服務(wù)作為其應(yīng)用基礎(chǔ)設(shè)施時(shí),盡量把網(wǎng)絡(luò)傳輸優(yōu)化這部分的工作能夠省去,以應(yīng)用透明的方式直接享受到更穩(wěn)定可靠、更極速、更經(jīng)濟(jì)的網(wǎng)絡(luò)傳輸安全加速服務(wù)。”
?
潛在的城市計(jì)算場景與實(shí)踐
?
阿里巴巴集團(tuán)擁有龐大的生態(tài)體系,業(yè)務(wù)場景豐富,基于此,云邊端協(xié)同問題可以得到更好的實(shí)踐和解決。屹平介紹到阿里云邊緣計(jì)算,在算力資源層,通過自建節(jié)點(diǎn)和遍布全球的多樣化邊緣節(jié)點(diǎn),確保資源的覆蓋;在此之上的操作系統(tǒng)層,依托云計(jì)算和邊緣操作系統(tǒng)的協(xié)同,打造基于體驗(yàn)的分布式計(jì)算分發(fā)平臺;頂層則通過開放API,融合視頻直播、RTC、邊緣智能、物聯(lián)網(wǎng)等各類生態(tài)技術(shù)能力,實(shí)現(xiàn)對客戶的交付。
?
未來城市中存在大量的攝像頭、傳感器,如何把這些數(shù)據(jù)及時(shí)分析,對城市治理形成幫助,這是一個(gè)非常大的命題。比如,在市政、交通場景中,把從學(xué)校、餐飲、醫(yī)院的數(shù)千萬攝像頭采集的視頻匯聚、傳輸?shù)匠鞘羞吘売?jì)算平臺,數(shù)據(jù)在邊緣節(jié)點(diǎn)進(jìn)行有效收斂、AI及結(jié)構(gòu)化處理,關(guān)鍵性數(shù)據(jù)再回傳到中心云。
?
在城市大腦中,這種計(jì)算下沉邊緣的模式相比直接上公有云可以很好節(jié)省回源帶寬,相比專有云可以提升交付效率和降低運(yùn)營成本。在某些典型場景中,網(wǎng)絡(luò)帶寬成本占的比例是占到57%,這是非常大的成本,經(jīng)過邊緣計(jì)算的數(shù)據(jù)收斂之后,帶寬可以做到原來的5%,對總成本節(jié)省可以到54%。
?
?
屹平認(rèn)為:在5G萬物智聯(lián)時(shí)代真正到來之后,當(dāng)傳感器、攝像頭就成為整個(gè)社會的眼睛,邊緣計(jì)算解決了時(shí)滯和帶寬成本的問題,我們就能更好地通過眼睛去識別環(huán)境、回傳信息、智能分析,實(shí)現(xiàn)更智慧的城市管理。這就好像一個(gè)人,他的眼睛看到一個(gè)物體馬上可以識別出來,識別完了之后再將結(jié)構(gòu)化信息傳回大腦,邊緣計(jì)算就是如此。
?
阿里云從2017年開始基于飛天平臺研發(fā)邊緣操作系統(tǒng),基于CDN節(jié)點(diǎn)改造邊緣計(jì)算節(jié)點(diǎn),在2018年4月完成錘煉,正式進(jìn)行基礎(chǔ)設(shè)施產(chǎn)品化,發(fā)布邊緣節(jié)點(diǎn)服務(wù)(ENS),將計(jì)算推進(jìn)至100公里的邊緣,建立了標(biāo)準(zhǔn)、安全、多租戶的邊緣計(jì)算底座,在2019年先后發(fā)布ENS 2.0和國內(nèi)首個(gè)全域覆蓋的邊緣節(jié)點(diǎn)服務(wù),宣布完成國內(nèi)30多個(gè)省份300+邊緣計(jì)算節(jié)點(diǎn)的全域覆蓋。2019年9月杭州云棲大會上,阿里云對外公布將致力于打造基于場景的城市計(jì)算能力,圍繞城市場景去建設(shè)邊緣計(jì)算基礎(chǔ)設(shè)施和靈活易用的上層操作系統(tǒng)。
?
總結(jié)
以上是生活随笔為你收集整理的阿里云边缘计算与云边端协同网络的融合与挑战的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2019 年 AI 领域都发生了什么?
- 下一篇: 什么技能产品经理不会提,但技术人必须懂?