从“一云多芯”支持,看多元算力的全栈云方案
本文分享自華為云社區(qū)《從“一云多芯”支持,看多元算力的全棧云方案》,作者:徐安 華為云Stack資深架構師。
背景
華為云Stack作為華為云在政企市場的品牌,是政企客戶智能升級的首選平臺。隨著政企客戶數(shù)字化的不斷深入,上云要求越來越多,給華為云Stack也帶來了很多不一樣的挑戰(zhàn)和新問題。
分析來看,目前從宏觀上看,中美技術對抗的大背景下,IT安全越來越引起國家重視,信創(chuàng)產業(yè)由此產生。通俗來講,信創(chuàng)產業(yè)就是在核心芯片、基礎硬件、操作系統(tǒng)、中間件、云等領域實現(xiàn)國產替代。發(fā)展預計將按照:黨政等封閉市場、重點行業(yè)市場(如電信、軌交、電力等)、消費市場,三步進行。政企客戶,即為目前的首要市場。
從微觀上看,政企客戶上云趨勢是:會將協(xié)同辦公OA系統(tǒng)、電子公文等非涉密系統(tǒng)部署在電子政務外網(wǎng)上,采用傳統(tǒng)虛擬機、物理機部署方式,基礎IaaS即可滿足業(yè)務部署需求。未來,也會有大數(shù)據(jù)、數(shù)據(jù)庫、容器、AI等高階訴求,把信創(chuàng)云平臺作為政務第二平面來構建。
因此在這個前提下,IaaS云平臺向下需屏蔽不同CPU架構的硬件差異,向上需提供服務化的算力模型封裝,把算力相關的存儲、網(wǎng)絡、操作系統(tǒng)、監(jiān)控運維等以服務化的方式提供。所以IaaS云平臺支持不同信創(chuàng)行業(yè)的CPU架構,解決“一云多芯”問題,是最基礎的能力要求。
針對“一云多芯”的解決辦法
一、不同CPU架構的特點分析
目前主流的新創(chuàng)CPU架構有以下幾個:
考慮到各CPU架構的成熟度和性能,我們以鯤鵬、海光、飛騰作為華為云Stack支持信創(chuàng)CPU的首選。這些CPU架構又有各自的技術特點:
1、鯤鵬
CPU核心通過環(huán)形架構互聯(lián),通過擴展計算單元數(shù)量來支持眾核架構,采用7nm工藝,Die內均等內存和IO訪問能力。
2、海光
CPU核心通過Die之間互聯(lián)架構來連接,采用12nm工藝,一個CPU有4個Die或者2個Die,一個Die固定有2個計算單元,一個計算單元內有4個海光核。
3、飛騰
Die之間通過2D Mesh方式互聯(lián),一個CPU支持8個Die,一個Die與兩個或者三個Die以2D Mesh方式互聯(lián)。
二、華為云Stack技術方案特點
根據(jù)上述不同CPU架構特點,華為云Stack采用:CPU架構混合部署、親和性部署方案,來應對“一云多芯”現(xiàn)象;同時,華為云Stack還有全棧可控的軟硬件,為政企客戶提供的堅實的云底座基礎。
1、不同CPU架構混合部署
面對不同CPU架構的不同特點,華為云Stack進行混合部署。可以理解為把數(shù)個雜亂無序的商品,整齊陳列到一個陳列整齊的便利店中,所有品類都能放到便利店中、同類商品統(tǒng)一陳列、特殊商品也有自己的位置。有算力需求時,就如同用戶走入便利店,能快速、高效的找到想要的東西。
具體混合部署方式如下:
(1) 華為云Stack支持多個CPU架構在一朵云上共存。客戶可以按照自己的業(yè)務訴求,管控硬件資源和業(yè)務環(huán)境,實現(xiàn)高效管理。
支持的CPU架構:Intel CPU服務器、海光CPU服務器、鯤鵬CPU服務器、飛騰CPU服務器在一朵云內共存,高效管理,用戶按照自己的業(yè)務訴求管控硬件資源和業(yè)務環(huán)境
(2) 把相同CPU架構,放入對應的資源池中。比如把Intel CPU和海光CPU、鯤鵬CPU和飛騰CPU,分別放入x86和ARM資源池中。對于那些沒有使用特殊指令的應用,可在不同廠商CPU之間流動,可高效管控資源池,提高資源池利用效率,減少資源碎片。
(3) 業(yè)務鏡像僅按照操作系統(tǒng)區(qū)分,不區(qū)分CPU架構,如果操作系統(tǒng)可兼容不同的CPU架構,可在同資源池內復用。
(4) 對于有特殊指令訴求的業(yè)務負載,可通過規(guī)則中參數(shù)來指定業(yè)務放置在哪里。比如指定x86-虛擬機-規(guī)格,就會在Intel CPU服務器或者海光CPU服務器上選定一個地方放置。
2、考慮不同CPU架構之間的差異,支持親和性部署
想象下你有幾個編制不同、演奏方式不同的樂隊,為了每次收到新的曲子,都能最快的編排出來,你需要提前收集這幾個樂隊的架構、聲部、主要領隊人等等,把這些信息登記在冊。之后再收到新的曲子,只需查閱之前的記錄,就可以實現(xiàn)人員的精準分工了。
親和性部署,就是把不同的CPU架構差異,記錄在數(shù)據(jù)庫表中,收到新的算力需求時,實現(xiàn)調度匹配。
華為云Stack部署業(yè)務的步驟如下:
(1) 獲取CPU topo,包括Socket、Die架構、計算單元、核心、超線程的關系。支持鯤鵬,intel,海光,飛騰CPU
(2) 獲取的CPU topo在系統(tǒng)中保存
(3) 按照調度算法放置不同的業(yè)務負載
(4) 用戶可按照CPU topo的形態(tài)呈現(xiàn)現(xiàn)有CPU架構,剩余CPU資源,已經使用的CPU資源
華為云Stack部署業(yè)務的算法基本原則是:
(1) 按照numa距離總量最小的組合,選擇Die
(2) 在die內先填滿一個計算單元,再填滿另一個計算單元
(3) 使用局部最優(yōu)悲觀算法來考慮碎片問題
- 如果要使用的資源可被一個計算單元整除,優(yōu)先以計算單元為單位填滿碎片,如若還有剩余,用碎片填滿
- 如果要使用的資源不可被一個計算單元整除,優(yōu)先用碎片填滿
3、全棧可控:覆蓋芯片、服務器、存儲、數(shù)據(jù)庫、操作系統(tǒng)、云平臺全棧可控
華為云Stack軟硬件均自主可控,包括鯤鵬920高性能CPU、還包括昇騰310/910、AI芯片、Hi181x存儲控制器芯片、Hi182x網(wǎng)絡控制器芯片、Hi171x服務器管理芯片。也包括上面的服務器、集中式和分布式存儲、交換機、路由器、防火墻等設備。華為掌握鯤鵬ARM、openEuler(開源)、openGauss(開源)等三大根技術,可為有全棧云信創(chuàng)訴求的政企客戶提供安全可靠的云底座平臺。
寫在最后
隨著政企客戶信創(chuàng)產業(yè)的發(fā)展,政企客戶對上云的訴求的增多,華為云Stack也面臨著不同的挑戰(zhàn)越來越多。我們華為云Stack充分考慮到客戶目前擁有不同CPU架構的現(xiàn)實,通過分析主流CPU架構的技術特點,一方面全面支持一云多芯的設備能力;另一方面,通過硬件到軟件的全棧可控云信創(chuàng)方案,為政務客戶提供可信場景下,智能升級首選方案。為政企客戶的全面云化打造了一個堅實有力的底座。
點擊關注,第一時間了解華為云新鮮技術~
總結
以上是生活随笔為你收集整理的从“一云多芯”支持,看多元算力的全栈云方案的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 华为软件开发云如何为数字经济时代赋能?
- 下一篇: 做普惠AI实干家,华为云“Cloud+X