包体的入门到精通
前言
本人在《龍之谷》負(fù)責(zé)資源管理工作一年多,積累相當(dāng)多的打包經(jīng)驗。經(jīng)驗都寫成博客,所以寫一個總結(jié)篇,整理一下思路和感悟。
版本管理
版本管理,要從多平臺、多渠道、多服務(wù)器、多語言等維度進(jìn)行版本管理。
功能拆分
多平臺,一般是3個平臺(還有主機平臺),如下
多渠道,一般是上線前夕需要部署到正式服上的模塊,例如以下
多服務(wù)器,一般游戲依據(jù)需要,通用的如下
實際上游戲運行時通過渠道、平臺、版本等包體配置,來指定服務(wù)器請求服務(wù)器信息。
多語言,這個會根據(jù)需求,進(jìn)行字符串、圖片、語音等的替換。常用的方式是通過打包和資源導(dǎo)出時確定需要添加到當(dāng)前渠道的語言包。
多地區(qū),如果全球發(fā)行的游戲,一般還要兼顧地區(qū)的多渠道(一般一個海外地區(qū)就一個渠道),筆者將其作為一個渠道處理。
CDN目錄結(jié)構(gòu)
對應(yīng)上面的邏輯,我們CDN目錄結(jié)構(gòu)設(shè)計如下
--InTest--Default --IOS--Android--PC--Test --OutTest--Default--Test --Ready --Release--Default--IOS 一般只有一個IOS平臺--PC --huawei 一般渠道都只有Android--Android --xiaomi--Android--Japanese 一般多地區(qū),是跟渠道并行一個層級--IOS--Android--PC上述只是資源管理部分,在很多情況下,服務(wù)器很可能是同一臺服務(wù)器,比如常見的iOS和Android數(shù)據(jù)互通。這樣是根據(jù)游戲啟動,游戲包體對應(yīng)配置到服務(wù)端獲取對應(yīng)服務(wù)器地址,再連接對應(yīng)服務(wù)器。
CDN文件目錄
在平臺之下是多版本的資源,會得到如下的目錄結(jié)構(gòu)
--PC 平臺 --IOS --Android--1001000 當(dāng)前版本的資源目錄,包含所有資源--Assets ab導(dǎo)出的目錄--xxx1.ab ab文件--xxx2.ab--xxx3.ab--xxx4.ab--Assets ab的manifast文件--Bytes 二進(jìn)制配置文件目錄--xxx1.bytes 二進(jìn)制文件(加密)--1001001 只導(dǎo)出比1001001增加和修改的文件--Assets--xxx1.ab 修改的保留...xxx2.ab 相同的不放人目錄--xxx5.ab 增加的保留--Assets--1001002--1001003--1002000 換包需要新啟midVer,會全部重新導(dǎo)出一遍資源--1002001--1001000.txt 版本文件表,包含所有文件信息--1001001.txt--1001002.txt--1002000.txt--1002001.txt--version.txt 當(dāng)前版本號上面的表示就一目了然了
所有,管理維度依次是——服務(wù)器類型=》渠道=》平臺=》版本
Git管理
應(yīng)對上述的復(fù)雜情況,Git管理目前已經(jīng)成為一個主流。
打包和資源文件
大包、小包和資源文件
游戲開發(fā)過程中,工程中資源分為可熱更資源和不可熱更資源。
可熱更資源,一般包括
不可熱更資源
打包,就是指將不可熱更資源依據(jù)平臺環(huán)境,導(dǎo)出成平臺安裝包(iOS,Android,PC),
資源導(dǎo)出,就是將可熱更資源導(dǎo)出成平臺相關(guān)的資源文件,進(jìn)安裝包或熱更。
打包,分大包和小包。
大包指平臺安裝包包含所有的資源文件,一般包體非常大,iOS平臺會要求使用大包。
小包指平臺安裝包只包含少量必要資源文件,其他資源文件通過熱更下載的方式,一般Android、PC平臺使用。
自動化Jenkins系統(tǒng)
自動化打包和資源導(dǎo)出,一般依賴Jenkins系統(tǒng)。
由上文,我們在多渠道、多平臺、多服務(wù)器三個大維度,每個維度上還有版本維度。然后游戲工程一般非常大,如何解決n * n * n * n的需求呢?
筆者設(shè)計了以3個平臺(iOS,Android,Pc)建立三個游戲工程目錄,通過Git的快速切換分支功能,實現(xiàn)一鍵式自動化打包和熱更:
當(dāng)然,打包和資源導(dǎo)出都是相當(dāng)耗時的操作。
平臺安裝包
#mermaid-svg-hgZMN8E2Qc72pIFq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .error-icon{fill:#552222;}#mermaid-svg-hgZMN8E2Qc72pIFq .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-hgZMN8E2Qc72pIFq .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-hgZMN8E2Qc72pIFq .marker{fill:#333333;stroke:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq .marker.cross{stroke:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-hgZMN8E2Qc72pIFq .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster-label text{fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster-label span{color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .label text,#mermaid-svg-hgZMN8E2Qc72pIFq span{fill:#333;color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .node rect,#mermaid-svg-hgZMN8E2Qc72pIFq .node circle,#mermaid-svg-hgZMN8E2Qc72pIFq .node ellipse,#mermaid-svg-hgZMN8E2Qc72pIFq .node polygon,#mermaid-svg-hgZMN8E2Qc72pIFq .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-hgZMN8E2Qc72pIFq .node .label{text-align:center;}#mermaid-svg-hgZMN8E2Qc72pIFq .node.clickable{cursor:pointer;}#mermaid-svg-hgZMN8E2Qc72pIFq .arrowheadPath{fill:#333333;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-hgZMN8E2Qc72pIFq .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-hgZMN8E2Qc72pIFq .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster text{fill:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq .cluster span{color:#333;}#mermaid-svg-hgZMN8E2Qc72pIFq div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-hgZMN8E2Qc72pIFq :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}構(gòu)建打包上傳構(gòu)建打包上傳構(gòu)建打包上傳生成游戲工程XCode工程ipa安裝包CDNAndroidStudio工程apk安裝包exe運行工程exe安裝包二維碼下載不同平臺都會生成對應(yīng)的工程和安裝包,然后上傳CDN,并生成二維碼用于下載。
資源文件
資源文件,一般更合適的名字叫可熱更文件。一般包括三種
- 美術(shù)類資源,泛指貼圖、模型、動作等,也包括語音、音效等,由美術(shù)制作
- 在導(dǎo)出過程中,一般需要依賴項切割、圖集轉(zhuǎn)換、數(shù)據(jù)壓縮等流程,生成引擎和平臺相關(guān)的資源
- 數(shù)據(jù)類資源,指保存數(shù)據(jù)的配置文件,一般策劃維護(hù)
- 在導(dǎo)出過程中,一般需要導(dǎo)表、加密、壓縮等流程,生成二進(jìn)制流文件
- 代碼類資源,指可以熱更的腳本代碼文件, 由程序開發(fā)
- 在導(dǎo)出過程中,一般需要混淆、加密等安全性流程,生成二進(jìn)制流文件
最小化依賴樹
在美術(shù)類資源導(dǎo)出過程中,解決冗余資源、資源復(fù)用、加載效率一直是一個難題。
我們知道,為了減少成本和資源大小,多個相似場景會復(fù)用大量相同的模型和材質(zhì),多個特效會復(fù)用相同的材質(zhì)和貼圖,多個角色會復(fù)用骨骼和動作,多個UI復(fù)用icon。
而這些資源復(fù)用,必然導(dǎo)致資源與資源之間的依賴關(guān)系,如果處理不好依賴關(guān)系,就會造成資源的冗余。問題就歸結(jié)為需要一個算法實現(xiàn)對資源節(jié)點劃分成不同的資源文件,保證每個資源節(jié)點只出現(xiàn)一次,而資源文件數(shù)量最少。
算法分以下幾步:
我們先對A,B兩個資源root節(jié)點進(jìn)行依賴分析, 經(jīng)過第1步和第2步,我們實際上得到的圖是這樣的
#mermaid-svg-RFfGzgvXwz8OwnpR {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .error-icon{fill:#552222;}#mermaid-svg-RFfGzgvXwz8OwnpR .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-RFfGzgvXwz8OwnpR .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-RFfGzgvXwz8OwnpR .marker{fill:#333333;stroke:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR .marker.cross{stroke:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-RFfGzgvXwz8OwnpR .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster-label text{fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster-label span{color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .label text,#mermaid-svg-RFfGzgvXwz8OwnpR span{fill:#333;color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .node rect,#mermaid-svg-RFfGzgvXwz8OwnpR .node circle,#mermaid-svg-RFfGzgvXwz8OwnpR .node ellipse,#mermaid-svg-RFfGzgvXwz8OwnpR .node polygon,#mermaid-svg-RFfGzgvXwz8OwnpR .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-RFfGzgvXwz8OwnpR .node .label{text-align:center;}#mermaid-svg-RFfGzgvXwz8OwnpR .node.clickable{cursor:pointer;}#mermaid-svg-RFfGzgvXwz8OwnpR .arrowheadPath{fill:#333333;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-RFfGzgvXwz8OwnpR .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-RFfGzgvXwz8OwnpR .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster text{fill:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR .cluster span{color:#333;}#mermaid-svg-RFfGzgvXwz8OwnpR div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-RFfGzgvXwz8OwnpR :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}ABCDEFG注:圓角方形為root節(jié)點
當(dāng)然,我們是不需要這么復(fù)雜的圖結(jié)構(gòu)的,開始剪枝。
第3步解決的重復(fù)依賴關(guān)系,簡單講就是父依賴子,子依賴孫,如果父也依賴孫,這條(父依賴孫)是不需要的,需要去除。那么可以得到如下依賴樹。
#mermaid-svg-yZoctjW0OJqzkPhF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .error-icon{fill:#552222;}#mermaid-svg-yZoctjW0OJqzkPhF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-yZoctjW0OJqzkPhF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-yZoctjW0OJqzkPhF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF .marker.cross{stroke:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-yZoctjW0OJqzkPhF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster-label text{fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster-label span{color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .label text,#mermaid-svg-yZoctjW0OJqzkPhF span{fill:#333;color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .node rect,#mermaid-svg-yZoctjW0OJqzkPhF .node circle,#mermaid-svg-yZoctjW0OJqzkPhF .node ellipse,#mermaid-svg-yZoctjW0OJqzkPhF .node polygon,#mermaid-svg-yZoctjW0OJqzkPhF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-yZoctjW0OJqzkPhF .node .label{text-align:center;}#mermaid-svg-yZoctjW0OJqzkPhF .node.clickable{cursor:pointer;}#mermaid-svg-yZoctjW0OJqzkPhF .arrowheadPath{fill:#333333;}#mermaid-svg-yZoctjW0OJqzkPhF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-yZoctjW0OJqzkPhF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-yZoctjW0OJqzkPhF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-yZoctjW0OJqzkPhF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster text{fill:#333;}#mermaid-svg-yZoctjW0OJqzkPhF .cluster span{color:#333;}#mermaid-svg-yZoctjW0OJqzkPhF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-yZoctjW0OJqzkPhF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}ABCDEFG第4步特別難理解,又是依賴,又是被依賴,讀者可以對照圖加深理解。簡單解釋就是樹刪除一個子節(jié)點,孫節(jié)點全部掛在父節(jié)點下。然后我們得到如下的圖
#mermaid-svg-zK7kIezLaCL6HoHN {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .error-icon{fill:#552222;}#mermaid-svg-zK7kIezLaCL6HoHN .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zK7kIezLaCL6HoHN .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zK7kIezLaCL6HoHN .marker{fill:#333333;stroke:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN .marker.cross{stroke:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-zK7kIezLaCL6HoHN .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster-label text{fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster-label span{color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .label text,#mermaid-svg-zK7kIezLaCL6HoHN span{fill:#333;color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .node rect,#mermaid-svg-zK7kIezLaCL6HoHN .node circle,#mermaid-svg-zK7kIezLaCL6HoHN .node ellipse,#mermaid-svg-zK7kIezLaCL6HoHN .node polygon,#mermaid-svg-zK7kIezLaCL6HoHN .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-zK7kIezLaCL6HoHN .node .label{text-align:center;}#mermaid-svg-zK7kIezLaCL6HoHN .node.clickable{cursor:pointer;}#mermaid-svg-zK7kIezLaCL6HoHN .arrowheadPath{fill:#333333;}#mermaid-svg-zK7kIezLaCL6HoHN .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-zK7kIezLaCL6HoHN .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-zK7kIezLaCL6HoHN .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-zK7kIezLaCL6HoHN .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster text{fill:#333;}#mermaid-svg-zK7kIezLaCL6HoHN .cluster span{color:#333;}#mermaid-svg-zK7kIezLaCL6HoHN div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zK7kIezLaCL6HoHN :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}A+DEBC+FG空空空空我們現(xiàn)在已經(jīng)得到了我們想要的最小依賴樹的所有節(jié)點
第5步是一個優(yōu)化,就不在這里闡述了。
第6步我們獲得上圖,提取最小依賴樹,導(dǎo)出資源文件。
優(yōu)勢:
資源熱更
在游戲開發(fā)中,熱更并下載資源,對商業(yè)化游戲來說是一個必須的需求。
版本號
版本號是一個通識的,可被玩家查看的標(biāo)識,也就是最通俗的1.1.1,1.1.2,1.2.1這樣的版本號。
版本號一般由三個段組成,
maxVer表示第幾代游戲,表示完全跨度的版本,比如龍之谷,龍之谷2,龍之谷3這樣的差異
midVer表示換包版本號,表示包體更新,也就是需要更包,換包才需要提升一位
minVer表示資源版本號,表示可以直接可以通過下載熱更的,也就是在游戲開始自己提示下載資源的
文件版本和版本文件表
文件版本,顧名思義,每個資源文件有自己的版本號,這個版本號用于確定當(dāng)前這個資源文件使用的是哪次打包導(dǎo)出的資源文件。為了更準(zhǔn)確的,還會有文件長度和文件md5作為檢驗文件正確性。
我們給每個資源文件賦予了版本號,對于大量文件,就會有對所有版本文件的列表信息構(gòu)成的版本文件表。這個版本文件表,每個版本都有一個。詳細(xì)的可參照上文的CDN文件目錄。
版本文件表 1001002.txtxxx1.ab 1.1.0 6744 27692ef1a246710fc647318f38ce6262 xxx2.ab 1.1.1 563 69bfcb99c6c8f8eb91abb1d08c8508c6 xxx3.ab 1.1.0 3422 f19c51bda4b6776287ae9c83e1b7b10b xxx4.ab 1.1.0 3155 f1a4caff246e377e25002c820db3e327 xxx5.ab 1.1.2 52344 6bfdab505ccf6a38921bfb0bdd184083 ...在版本文件表中,大多數(shù)都是安裝包的版本號(例如1.1.0),只是少數(shù)需要熱更的資源文件,才會是熱更分支的版本號(例如1.1.1,1.1.2)。安裝包的版本號對應(yīng)的資源文件一般是全量的,熱更的資源文件一般是增量的。所以我們玩游戲時,初始下載資源非常多,熱更的下載非常少。
熱更流程
#mermaid-svg-K19uWmReyCDh798c {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-K19uWmReyCDh798c .error-icon{fill:#552222;}#mermaid-svg-K19uWmReyCDh798c .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-K19uWmReyCDh798c .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-K19uWmReyCDh798c .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-K19uWmReyCDh798c .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-K19uWmReyCDh798c .marker{fill:#333333;stroke:#333333;}#mermaid-svg-K19uWmReyCDh798c .marker.cross{stroke:#333333;}#mermaid-svg-K19uWmReyCDh798c svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-K19uWmReyCDh798c .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster-label text{fill:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster-label span{color:#333;}#mermaid-svg-K19uWmReyCDh798c .label text,#mermaid-svg-K19uWmReyCDh798c span{fill:#333;color:#333;}#mermaid-svg-K19uWmReyCDh798c .node rect,#mermaid-svg-K19uWmReyCDh798c .node circle,#mermaid-svg-K19uWmReyCDh798c .node ellipse,#mermaid-svg-K19uWmReyCDh798c .node polygon,#mermaid-svg-K19uWmReyCDh798c .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-K19uWmReyCDh798c .node .label{text-align:center;}#mermaid-svg-K19uWmReyCDh798c .node.clickable{cursor:pointer;}#mermaid-svg-K19uWmReyCDh798c .arrowheadPath{fill:#333333;}#mermaid-svg-K19uWmReyCDh798c .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-K19uWmReyCDh798c .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-K19uWmReyCDh798c .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-K19uWmReyCDh798c .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-K19uWmReyCDh798c .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-K19uWmReyCDh798c .cluster text{fill:#333;}#mermaid-svg-K19uWmReyCDh798c .cluster span{color:#333;}#mermaid-svg-K19uWmReyCDh798c div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-K19uWmReyCDh798c :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}請求比對小版本小提取熱更文件玩家同意全部下載完成成功比對中版本小同意比對版本一致游戲開始讀取本地版本號獲取CDN服務(wù)器版本號下載版本文件表請求下載文件下載熱更文件保存本地版本號進(jìn)入游戲請求換包跳轉(zhuǎn)下載鏈接一般游戲的下載流程大同小異,需要注意以下幾個地方。
- 提取熱更文件,是通過本地版本號與資源文件版本號進(jìn)行對比確定
- 本地版本號確定的是當(dāng)前包體版本
- 資源文件版本號大于本地版本號說明資源文件需要新增或者更新
- 版本文件表中的資源文件版本號,用于確定下載哪個版本的資源文件
- 下載到一半重啟,在這種情況下,是否會出現(xiàn)重復(fù)下載呢?
- 不會,如果一個文件確定是熱更文件,會先校驗大小是否一致,不一致確定下載
- 校驗大小一致,還會比較MD5是否一致,不一致下載
- MD5校驗一致,認(rèn)為下載完成
- 保存本地版本號,在下載全部完成后,需要提升本地版本號為CDN版本號
- 舊的本地版本號可能跨多個版本號到CDN版本號
- 提升本地版本號是為了記錄包體版本已經(jīng)更新
- 玩家不同意,這種情況,一般是直接退出游戲。
多線程斷點續(xù)傳下載
想要高效并穩(wěn)定地下載文件一直是開發(fā)中的一個痛點。
游戲的下載需求
我們能看到市面上,大量游戲都在下載上卡死,斷網(wǎng),重啟無效等等問題。我們來總結(jié)一下要解決的問題:
下文會為上述的每個問題,提供對應(yīng)的解決方案。
下載管理器
下圖是下載管理器的結(jié)構(gòu),外部只暴露三個函數(shù),負(fù)責(zé)異步下載,同步下載,下載回調(diào)刷新
#mermaid-svg-zdAlDocleIFCaIVv {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .error-icon{fill:#552222;}#mermaid-svg-zdAlDocleIFCaIVv .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-zdAlDocleIFCaIVv .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-zdAlDocleIFCaIVv .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zdAlDocleIFCaIVv .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zdAlDocleIFCaIVv .marker{fill:#333333;stroke:#333333;}#mermaid-svg-zdAlDocleIFCaIVv .marker.cross{stroke:#333333;}#mermaid-svg-zdAlDocleIFCaIVv svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-zdAlDocleIFCaIVv .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster-label text{fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster-label span{color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .label text,#mermaid-svg-zdAlDocleIFCaIVv span{fill:#333;color:#333;}#mermaid-svg-zdAlDocleIFCaIVv .node rect,#mermaid-svg-zdAlDocleIFCaIVv .node circle,#mermaid-svg-zdAlDocleIFCaIVv .node ellipse,#mermaid-svg-zdAlDocleIFCaIVv .node polygon,#mermaid-svg-zdAlDocleIFCaIVv .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-zdAlDocleIFCaIVv .node .label{text-align:center;}#mermaid-svg-zdAlDocleIFCaIVv .node.clickable{cursor:pointer;}#mermaid-svg-zdAlDocleIFCaIVv .arrowheadPath{fill:#333333;}#mermaid-svg-zdAlDocleIFCaIVv .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-zdAlDocleIFCaIVv .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-zdAlDocleIFCaIVv .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-zdAlDocleIFCaIVv .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-zdAlDocleIFCaIVv .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-zdAlDocleIFCaIVv .cluster text{fill:#333;}#mermaid-svg-zdAlDocleIFCaIVv .cluster span{color:#333;}#mermaid-svg-zdAlDocleIFCaIVv div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zdAlDocleIFCaIVv :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部接口請求請求刷新每幀調(diào)用DownloadAsyncDownloadSyncDownloadUpdate下載管理器DownloadMac子線程ADownloadMac子線程BDownloadMac子線程C主線程內(nèi)部對同步下載,直接返回結(jié)果。
內(nèi)部實現(xiàn)對異步下載創(chuàng)建線程,對外部隱藏異步線程。
上述異步回調(diào)實際上是通過主線程調(diào)用DownloadUpdate來遍歷的同步回調(diào)。
TIP:為什么設(shè)計成Update里同步回調(diào)呢?
如果直接通過異步線程進(jìn)行回調(diào),那么在回調(diào)函數(shù)里必須要處理線程鎖的問題和回調(diào)可能運行邏輯報錯的問題,這樣勢必造成代碼的耦合度增加。
而通過主線程調(diào)用Update來回調(diào),可以隱藏了線程邏輯,也可以保證主線程的線性運行。
多線程運行邏輯
很多人可能會有一個簡單處理方法,一個文件一個線程,運行結(jié)束就銷毀。
too young too simple 一個線程要占用1M的內(nèi)存,而在熱更中,幾千個小文件輕輕松松的。
那么,我們需要解決幾個問題:
很簡單的,我們就能想到生產(chǎn)者-消費者模型
#mermaid-svg-v5amyeGSUPTteXEV {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .error-icon{fill:#552222;}#mermaid-svg-v5amyeGSUPTteXEV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-v5amyeGSUPTteXEV .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-v5amyeGSUPTteXEV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-v5amyeGSUPTteXEV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-v5amyeGSUPTteXEV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-v5amyeGSUPTteXEV .marker.cross{stroke:#333333;}#mermaid-svg-v5amyeGSUPTteXEV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-v5amyeGSUPTteXEV .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster-label text{fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster-label span{color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .label text,#mermaid-svg-v5amyeGSUPTteXEV span{fill:#333;color:#333;}#mermaid-svg-v5amyeGSUPTteXEV .node rect,#mermaid-svg-v5amyeGSUPTteXEV .node circle,#mermaid-svg-v5amyeGSUPTteXEV .node ellipse,#mermaid-svg-v5amyeGSUPTteXEV .node polygon,#mermaid-svg-v5amyeGSUPTteXEV .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-v5amyeGSUPTteXEV .node .label{text-align:center;}#mermaid-svg-v5amyeGSUPTteXEV .node.clickable{cursor:pointer;}#mermaid-svg-v5amyeGSUPTteXEV .arrowheadPath{fill:#333333;}#mermaid-svg-v5amyeGSUPTteXEV .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-v5amyeGSUPTteXEV .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-v5amyeGSUPTteXEV .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-v5amyeGSUPTteXEV .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-v5amyeGSUPTteXEV .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-v5amyeGSUPTteXEV .cluster text{fill:#333;}#mermaid-svg-v5amyeGSUPTteXEV .cluster span{color:#333;}#mermaid-svg-v5amyeGSUPTteXEV div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-v5amyeGSUPTteXEV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部代碼調(diào)用循環(huán)取出下載取出取出取出加入加入加入加入加入外部請求A外部請求B外部請求C外部請求D外部請求E子線程A子線程B子線程C下載請求隊列整合上文,我們需要四個隊列,分別為請求隊列,運行隊列,完成隊列,異常隊列。
private static object _lock = new object(); private const int MAX_THREAD_COUNT = 20;private Queue<DownloadFileMac> _readyList; private Dictionary<Thread, DownloadFileMac> _runningList; private List<DownloadUnit> _completeList; private List<DownloadFileMac> _errorList;既然是多線程,那么上面的鎖_lock就是必須的,解決競爭問題。這邊_lock是唯一的,必然不會有死鎖問題。
MAX_THREAD_COUNT = 20是一個測試得出最高效的值,如果你對內(nèi)存限制有要求,可以降低個數(shù)。
TIP:為什么線程數(shù)遠(yuǎn)大于CPU核數(shù)還會更高效?
在下載過程中,有大量時間是在等待網(wǎng)絡(luò)請求和IO請求的返回,并不消耗CPU運行時間。而一般瓶頸在網(wǎng)絡(luò)帶寬,而不是IO和CPU,多一點的線程,才能夠真正跑滿網(wǎng)絡(luò)帶寬,實現(xiàn)更高效下載。
線程實現(xiàn)了線程創(chuàng)建、線程循環(huán)和線程銷毀的邏輯,其實沒啥難度
#mermaid-svg-u4jFEkk4JqKOib8m {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .error-icon{fill:#552222;}#mermaid-svg-u4jFEkk4JqKOib8m .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-u4jFEkk4JqKOib8m .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-u4jFEkk4JqKOib8m .marker{fill:#333333;stroke:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m .marker.cross{stroke:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-u4jFEkk4JqKOib8m .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster-label text{fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster-label span{color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .label text,#mermaid-svg-u4jFEkk4JqKOib8m span{fill:#333;color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .node rect,#mermaid-svg-u4jFEkk4JqKOib8m .node circle,#mermaid-svg-u4jFEkk4JqKOib8m .node ellipse,#mermaid-svg-u4jFEkk4JqKOib8m .node polygon,#mermaid-svg-u4jFEkk4JqKOib8m .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-u4jFEkk4JqKOib8m .node .label{text-align:center;}#mermaid-svg-u4jFEkk4JqKOib8m .node.clickable{cursor:pointer;}#mermaid-svg-u4jFEkk4JqKOib8m .arrowheadPath{fill:#333333;}#mermaid-svg-u4jFEkk4JqKOib8m .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-u4jFEkk4JqKOib8m .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-u4jFEkk4JqKOib8m .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-u4jFEkk4JqKOib8m .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster text{fill:#333;}#mermaid-svg-u4jFEkk4JqKOib8m .cluster span{color:#333;}#mermaid-svg-u4jFEkk4JqKOib8m div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-u4jFEkk4JqKOib8m :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}有完成異常無隊列取出運行下載狀態(tài)處理結(jié)束線程TIP:為什么設(shè)計成出現(xiàn)異常就結(jié)束線程?
下載一個文件異常,情況非常多,很難判斷是網(wǎng)絡(luò),線程,IO問題。所以簡單地將線程直接結(jié)束,讓新創(chuàng)建的線程來下載是比較方便的做法。
TIP:如果線程都異常結(jié)束了呢?
其實在Update()里有對線程狀態(tài)的遍歷操作,保證線程數(shù)量少了創(chuàng)建,異常銷毀。
下載回調(diào)和線程遍歷
#mermaid-svg-rkuJqg50fUdFCapN {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .error-icon{fill:#552222;}#mermaid-svg-rkuJqg50fUdFCapN .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-rkuJqg50fUdFCapN .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-rkuJqg50fUdFCapN .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-rkuJqg50fUdFCapN .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-rkuJqg50fUdFCapN .marker{fill:#333333;stroke:#333333;}#mermaid-svg-rkuJqg50fUdFCapN .marker.cross{stroke:#333333;}#mermaid-svg-rkuJqg50fUdFCapN svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-rkuJqg50fUdFCapN .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster-label text{fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster-label span{color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .label text,#mermaid-svg-rkuJqg50fUdFCapN span{fill:#333;color:#333;}#mermaid-svg-rkuJqg50fUdFCapN .node rect,#mermaid-svg-rkuJqg50fUdFCapN .node circle,#mermaid-svg-rkuJqg50fUdFCapN .node ellipse,#mermaid-svg-rkuJqg50fUdFCapN .node polygon,#mermaid-svg-rkuJqg50fUdFCapN .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-rkuJqg50fUdFCapN .node .label{text-align:center;}#mermaid-svg-rkuJqg50fUdFCapN .node.clickable{cursor:pointer;}#mermaid-svg-rkuJqg50fUdFCapN .arrowheadPath{fill:#333333;}#mermaid-svg-rkuJqg50fUdFCapN .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-rkuJqg50fUdFCapN .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-rkuJqg50fUdFCapN .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-rkuJqg50fUdFCapN .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-rkuJqg50fUdFCapN .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-rkuJqg50fUdFCapN .cluster text{fill:#333;}#mermaid-svg-rkuJqg50fUdFCapN .cluster span{color:#333;}#mermaid-svg-rkuJqg50fUdFCapN div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-rkuJqg50fUdFCapN :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}UpdateUpdateCompleteUpdateProgressUpdateErrorUpdateThread遍歷下載完成的文件遍歷正在下載的文件的進(jìn)度遍歷加載異常的文件遍歷線程實現(xiàn)動態(tài)創(chuàng)建和銷毀運行完成回調(diào)函數(shù)運行進(jìn)度回調(diào)函數(shù)運行異常回調(diào)函數(shù)關(guān)閉卡死線程網(wǎng)絡(luò)斷開處理開啟新線程Update總共四個步驟,前三步都是運行回調(diào)函數(shù),實現(xiàn)回調(diào)隱藏線程化
UpdateThread線程遍歷就三個邏輯,關(guān)閉卡死線程、網(wǎng)絡(luò)斷開處理和開啟新線程。
這樣子就實現(xiàn)了線程的動態(tài)創(chuàng)建和銷毀。
文件下載流程
針對文件下載,要保證準(zhǔn)確性和高效,設(shè)計了如下的流程
#mermaid-svg-TCrllnSjEv7cTELF {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .error-icon{fill:#552222;}#mermaid-svg-TCrllnSjEv7cTELF .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-TCrllnSjEv7cTELF .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-TCrllnSjEv7cTELF .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-TCrllnSjEv7cTELF .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-TCrllnSjEv7cTELF .marker{fill:#333333;stroke:#333333;}#mermaid-svg-TCrllnSjEv7cTELF .marker.cross{stroke:#333333;}#mermaid-svg-TCrllnSjEv7cTELF svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-TCrllnSjEv7cTELF .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster-label text{fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster-label span{color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .label text,#mermaid-svg-TCrllnSjEv7cTELF span{fill:#333;color:#333;}#mermaid-svg-TCrllnSjEv7cTELF .node rect,#mermaid-svg-TCrllnSjEv7cTELF .node circle,#mermaid-svg-TCrllnSjEv7cTELF .node ellipse,#mermaid-svg-TCrllnSjEv7cTELF .node polygon,#mermaid-svg-TCrllnSjEv7cTELF .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-TCrllnSjEv7cTELF .node .label{text-align:center;}#mermaid-svg-TCrllnSjEv7cTELF .node.clickable{cursor:pointer;}#mermaid-svg-TCrllnSjEv7cTELF .arrowheadPath{fill:#333333;}#mermaid-svg-TCrllnSjEv7cTELF .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-TCrllnSjEv7cTELF .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-TCrllnSjEv7cTELF .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-TCrllnSjEv7cTELF .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-TCrllnSjEv7cTELF .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-TCrllnSjEv7cTELF .cluster text{fill:#333;}#mermaid-svg-TCrllnSjEv7cTELF .cluster span{color:#333;}#mermaid-svg-TCrllnSjEv7cTELF div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-TCrllnSjEv7cTELF :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}開始獲取文件長度下載文件MD5校驗下載完成解壓文件- 獲取文件長度,如果下載數(shù)據(jù)未傳入,從CDN拉取文件長度
- 下載文件,斷點續(xù)傳邏輯下載,詳見下文
- MD5校驗,文件下載后,校驗MD5是否一致,不一致重新下載
- 解壓文件,如果文件是壓縮包,需要解壓文件
斷點續(xù)傳下載邏輯
斷點續(xù)傳有多種方式實現(xiàn),比如迅雷的下載,是將大文件切成4MB的塊,然后不同線程(p2p)下載對應(yīng)塊,然后所有塊下載完成,校驗一下,整個大文件就下載完成了。
而這里涉及的場景,是對單一路徑(CDN)的下載,并不需要那么復(fù)雜的邏輯,只需要的是一個可以繼續(xù)下載的功能。
下載邏輯如下圖:
TIP:為什么不下載整個文件,然后寫整個文件?
直接寫整個文件,這是很多游戲的暴力做法,但導(dǎo)致的問題會很多
TIP:每次下載的固定長度為多少?
根據(jù)文件系統(tǒng)每個文件塊一般大小是4KB(不同文件系統(tǒng)可能不一樣),最好是4KB的整數(shù)倍,這樣能夠?qū)崿F(xiàn)最高效率。這里定義const int oneReadLen = 16 * 1024;,是折中的做法,讀者可以自己根據(jù)需求定義。
TIP:斷點續(xù)傳是怎么實現(xiàn)的?
當(dāng)下載線程重新下載這個文件的時候,可以通過判斷對應(yīng)的臨時文件是否存在,并獲取臨時文件的長度,然后從當(dāng)前長度開始下載,這樣就實現(xiàn)了斷點續(xù)傳。
有讀者會問,IO寫文件寫一半怎么辦,文件改名失敗怎么辦,網(wǎng)絡(luò)斷開怎么辦?
do while
資源加載
上文已經(jīng)用最小依賴樹導(dǎo)出了資源,那么游戲運行時就要按依賴關(guān)系加載資源了。
注:下文用ab(AssetBundle)指代上文的最小依賴樹導(dǎo)出資源文件
四個隊列
既然是加載資源,那必然會有隊列,筆者這邊依據(jù)需求和優(yōu)化要求,設(shè)計成四個隊列,準(zhǔn)備隊列、加載隊列、完成隊列和銷毀隊列。
#mermaid-svg-cbNyUb9RWjnB1OUn {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .error-icon{fill:#552222;}#mermaid-svg-cbNyUb9RWjnB1OUn .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-cbNyUb9RWjnB1OUn .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-cbNyUb9RWjnB1OUn .marker{fill:#333333;stroke:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn .marker.cross{stroke:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-cbNyUb9RWjnB1OUn .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster-label text{fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster-label span{color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .label text,#mermaid-svg-cbNyUb9RWjnB1OUn span{fill:#333;color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .node rect,#mermaid-svg-cbNyUb9RWjnB1OUn .node circle,#mermaid-svg-cbNyUb9RWjnB1OUn .node ellipse,#mermaid-svg-cbNyUb9RWjnB1OUn .node polygon,#mermaid-svg-cbNyUb9RWjnB1OUn .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-cbNyUb9RWjnB1OUn .node .label{text-align:center;}#mermaid-svg-cbNyUb9RWjnB1OUn .node.clickable{cursor:pointer;}#mermaid-svg-cbNyUb9RWjnB1OUn .arrowheadPath{fill:#333333;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-cbNyUb9RWjnB1OUn .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-cbNyUb9RWjnB1OUn .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster text{fill:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn .cluster span{color:#333;}#mermaid-svg-cbNyUb9RWjnB1OUn div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-cbNyUb9RWjnB1OUn :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}UpdateReadyUpdateLoadUpdateUnLoad準(zhǔn)備隊列加載隊列完成隊列銷毀隊列代碼如下
private Dictionary<string, AssetBundleObject> _readyABList; //預(yù)備加載的列表 private Dictionary<string, AssetBundleObject> _loadingABList; //正在加載的列表 private Dictionary<string, AssetBundleObject> _loadedABList; //加載完成的列表 private Dictionary<string, AssetBundleObject> _unloadABList; //準(zhǔn)備卸載的列表隊列之間,隊列成員的轉(zhuǎn)移需要一個觸發(fā)點,而這樣的觸發(fā)點如果都寫在加載和銷毀邏輯里,耦合度過高,而且邏輯復(fù)雜還容易出錯。
TIP:為什么沒有設(shè)計異常隊列?
筆者很喜歡的一種設(shè)計,就是通過Update來降低耦合度,這種方式代碼清晰,邏輯簡單,但缺點也很明顯,丟失原始現(xiàn)場。
回到本篇文章,當(dāng)然是通過Update來運行邏輯,如下
#mermaid-svg-tyhZiJut0pEdli5u {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .error-icon{fill:#552222;}#mermaid-svg-tyhZiJut0pEdli5u .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-tyhZiJut0pEdli5u .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-tyhZiJut0pEdli5u .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-tyhZiJut0pEdli5u .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-tyhZiJut0pEdli5u .marker{fill:#333333;stroke:#333333;}#mermaid-svg-tyhZiJut0pEdli5u .marker.cross{stroke:#333333;}#mermaid-svg-tyhZiJut0pEdli5u svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-tyhZiJut0pEdli5u .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster-label text{fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster-label span{color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .label text,#mermaid-svg-tyhZiJut0pEdli5u span{fill:#333;color:#333;}#mermaid-svg-tyhZiJut0pEdli5u .node rect,#mermaid-svg-tyhZiJut0pEdli5u .node circle,#mermaid-svg-tyhZiJut0pEdli5u .node ellipse,#mermaid-svg-tyhZiJut0pEdli5u .node polygon,#mermaid-svg-tyhZiJut0pEdli5u .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-tyhZiJut0pEdli5u .node .label{text-align:center;}#mermaid-svg-tyhZiJut0pEdli5u .node.clickable{cursor:pointer;}#mermaid-svg-tyhZiJut0pEdli5u .arrowheadPath{fill:#333333;}#mermaid-svg-tyhZiJut0pEdli5u .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-tyhZiJut0pEdli5u .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-tyhZiJut0pEdli5u .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-tyhZiJut0pEdli5u .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-tyhZiJut0pEdli5u .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-tyhZiJut0pEdli5u .cluster text{fill:#333;}#mermaid-svg-tyhZiJut0pEdli5u .cluster span{color:#333;}#mermaid-svg-tyhZiJut0pEdli5u div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-tyhZiJut0pEdli5u :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}YesYesYesUpdateUpdateLoadUpdateReadyUpdateUnLoad遍歷正在加載的ab是否加載完成正在加載的ab總數(shù)是否低于上限遍歷引用計數(shù)為0的ab是否銷毀運行回調(diào)函數(shù)創(chuàng)建新的加載銷毀abTIP:為什么Update里三個函數(shù)的運行順序跟隊列轉(zhuǎn)移順序不一樣?
函數(shù)接口
根據(jù)上面的邏輯,很容易設(shè)計下面的接口邏輯
#mermaid-svg-sP8uiynlDcIkPPOv {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .error-icon{fill:#552222;}#mermaid-svg-sP8uiynlDcIkPPOv .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-sP8uiynlDcIkPPOv .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-sP8uiynlDcIkPPOv .marker{fill:#333333;stroke:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv .marker.cross{stroke:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-sP8uiynlDcIkPPOv .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster-label text{fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster-label span{color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .label text,#mermaid-svg-sP8uiynlDcIkPPOv span{fill:#333;color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .node rect,#mermaid-svg-sP8uiynlDcIkPPOv .node circle,#mermaid-svg-sP8uiynlDcIkPPOv .node ellipse,#mermaid-svg-sP8uiynlDcIkPPOv .node polygon,#mermaid-svg-sP8uiynlDcIkPPOv .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-sP8uiynlDcIkPPOv .node .label{text-align:center;}#mermaid-svg-sP8uiynlDcIkPPOv .node.clickable{cursor:pointer;}#mermaid-svg-sP8uiynlDcIkPPOv .arrowheadPath{fill:#333333;}#mermaid-svg-sP8uiynlDcIkPPOv .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-sP8uiynlDcIkPPOv .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-sP8uiynlDcIkPPOv .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-sP8uiynlDcIkPPOv .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster text{fill:#333;}#mermaid-svg-sP8uiynlDcIkPPOv .cluster span{color:#333;}#mermaid-svg-sP8uiynlDcIkPPOv div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-sP8uiynlDcIkPPOv :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;}外部接口加載依賴關(guān)系異步同步卸載刷新每幀調(diào)用LoadMainfestLoadAsyncLoadSyncUnloadUpdate加載管理器主線程LoadMainfest是用來加載文件列表和依賴關(guān)系的,一般在游戲熱更之后,游戲登錄界面之前進(jìn)行游戲資源依賴初始化。
依賴加載——遞歸&引用計數(shù)&隊列&回調(diào)
依賴加載,是ab加載邏輯里最難最復(fù)雜最容易出bug的地方,也是本文的難點。
難點為一下幾點:
我們來一一分解
首先,看一下ab節(jié)點的引用計數(shù)要實現(xiàn)的邏輯
注: 上圖顯示加載和銷毀都需要遞歸標(biāo)記依賴節(jié)點的依賴節(jié)點
TIP:為什么引用計數(shù)一定要遞歸標(biāo)記所有子節(jié)點?
我們需要確定一個節(jié)點是否需要銷毀,是通過引用計數(shù)是否為零來判斷的,很多語言使用的內(nèi)存回收機制就是引用計數(shù)。
如果只標(biāo)記當(dāng)前節(jié)點和其一層依賴項,當(dāng)其依賴項也作為主加載節(jié)點,我就沒辦法判斷二層依賴節(jié)點是否需要銷毀了。
例如按上述邏輯,
所以,帶依賴關(guān)系的引用計數(shù),需要遞歸標(biāo)記所有子節(jié)點,才能確認(rèn)任意一個節(jié)點是否需要卸載。
每次加載,都要遞歸標(biāo)記,會不會有效率問題?
很幸運,在絕大多數(shù)情況,依賴節(jié)點關(guān)系不會超過三層,依賴節(jié)點總數(shù)量不超過10個(生成最小依賴樹情況下),一般游戲至少一半以上ab節(jié)點都是單節(jié)點,不包含需要拆分的依賴關(guān)系。
用引用計數(shù)的方法,可以確定一個資源是否需要銷毀。
上面構(gòu)造了遞歸引用計數(shù)的邏輯,我們再加入隊列的邏輯。
隊列邏輯在上文已經(jīng)描述過了,總結(jié)幾個要點
從這里,上文已經(jīng)完成了整個異步加載的邏輯,已經(jīng)實現(xiàn)創(chuàng)建到銷毀的代碼。但異步加載還有一個問題沒有解決——判斷ab節(jié)點加載完成。
我們需要在ab節(jié)點及其依賴ab節(jié)點都加載完后,告訴上層調(diào)用邏輯,ab資源加載完了。
筆者提供一種解耦的方式——回調(diào)
我們先用圖示表示加載A和B到完成的整個過程
注:圓角方形表示ab自身加載完成,箭頭表示依賴關(guān)系
上圖,會按以下回調(diào)邏輯
C自身沒有加載完,然后C會記錄子依賴加載情況
C的子依賴加載完了,C自己也加載完了,回調(diào)A和B;
A自己沒加載完,不操作;
B自己已經(jīng)加載完了,子依賴也加載完了,B完成加載
按照上述邏輯,讀者應(yīng)該能夠理解回調(diào)在解決的問題了吧。
到這里,超級復(fù)雜的依賴加載問題就解決啦,我們可以歡快地開始使用異步加載啦!!!
異步加載和同步加載一起用
異步加載已經(jīng)很復(fù)雜了,如果還要在異步加載的基礎(chǔ)上,使用同步加載,是不是感覺很頭大!!!
你會發(fā)現(xiàn)難點就一個——正在加載的節(jié)點如何強制加載完。
我們這里有四個隊列,準(zhǔn)備隊列、加載隊列、完成隊列和銷毀隊列。當(dāng)加載時分類討論
總結(jié)一下,就是三個問題——引用計數(shù)、依賴關(guān)系回調(diào)和ab異步轉(zhuǎn)同步
引用計數(shù)可以很簡單啦,遞歸一下所有依賴節(jié)點,都+1就解決了。
注意:同步加載和異步加載會導(dǎo)致引用計數(shù)是2次,需要調(diào)用2次Unload才會卸載
依賴關(guān)系回調(diào)需要強制手動運行被依賴項的回調(diào)函數(shù),然后改變隊列
ab異步轉(zhuǎn)同步,很幸運的,Unity提供了同步轉(zhuǎn)異步的方式(其他引擎需要自己實現(xiàn))
在異步請求一個AssetBundle的時候,會返回一個AssetBundleCreateRequest對象,Unity的官方文檔上寫
AssetBundleCreateRequest.assetBundle的時候這樣說:
“
Description Asset object being loaded (Read Only).
“
Note that accessing asset before isDone is true will stall the loading process.
經(jīng)測試,在isDone是false的時候,直接調(diào)用request.assetBundle,可以拿到同步加載的結(jié)果
到這里,資源加載就講完了
總結(jié)
上文五個部分,將包體的整個流程都講了一遍,有一些是概念和流程,有一些是本人設(shè)計的算法,算是拋磚引玉吧,給大家一些啟發(fā)。
總結(jié)
- 上一篇: 无线mesh网络
- 下一篇: 机器学习基础---pr曲线的绘制