一：背景

1. 講故事

最近在分析一個(gè) dump 的過(guò)程中發(fā)現(xiàn)其在 gen2 和 LOH 上有不少size較大的free，仔細(xì)看了下，這些free生前大多都是模板引擎生成的html片段的byte[]數(shù)組，當(dāng)然這篇我不是來(lái)分析dump的，而是來(lái)聊一下，當(dāng)托管堆有很多l(xiāng)ength較大的 byte[] 數(shù)組時(shí)，如何讓內(nèi)存利用更高效，如何讓gc老先生壓力更小。

不知道大家有沒(méi)有發(fā)現(xiàn)在 .netcore 中增加了不少池化對(duì)象的東西，比如：ArrayPool，ObjectPool 等等，確實(shí)在某些場(chǎng)景下還是特別實(shí)用的，所以有必要對(duì)其進(jìn)行較深入的理解。

二：ArrayPool 源碼分析

1. 一圖勝千言

在我花了將近一個(gè)小時(shí)的源碼閱讀之后，我畫了一張 ArrayPool 的池化圖，所謂：一圖在手,天下我有 。

有了這張圖，接下來(lái)再聊幾個(gè)概念并配上相應(yīng)源碼，我覺(jué)得應(yīng)該就差不多了。

2. 池化的架構(gòu)分級(jí)是什么樣的？

ArrayPool 是由若干個(gè) Bucket 組成， 而 Bucket 又由若干個(gè) buffer[] 數(shù)組組成, 有了這個(gè)概念之后，再配一下代碼。

public?abstract?class?ArrayPool<T> {public?static?ArrayPool<T>?Create(){return?new?ConfigurableArrayPool<T>();} }internal?sealed?class?ConfigurableArrayPool<T>?:?ArrayPool<T> {private?sealed?class?Bucket{internal?readonly?int?_bufferLength;private?readonly?T[][]?_buffers;private?int?_index;}private?readonly?Bucket[]?_buckets;?????//bucket數(shù)組 }

3. 為什么每一個(gè) bucket 里都有 50 個(gè) buffer[]

這個(gè)問(wèn)題很好回答，初始化時(shí)做了 maxArraysPerBucket=50 設(shè)定，當(dāng)然你也可以自定義，具體參考如下代碼：

internal?sealed?class?ConfigurableArrayPool<T>?:?ArrayPool<T> {internal?ConfigurableArrayPool()?:?this(1048576,?50){}internal?ConfigurableArrayPool(int?maxArrayLength,?int?maxArraysPerBucket){int?num?=?Utilities.SelectBucketIndex(maxArrayLength);Bucket[]?array?=?new?Bucket[num?+?1];for?(int?i?=?0;?i?<?array.Length;?i++){array[i]?=?new?Bucket(Utilities.GetMaxSizeForBucket(i),?maxArraysPerBucket,?id);}_buckets?=?array;} }

4. ?bucket 中 buffer[].length 為什么依次是 16，32，64 ...

框架做了默認(rèn)假定，第一個(gè)bucket中的 buffer[].length=16, 后續(xù) bucket 中的 buffer[].length 都是 x2 累計(jì)，涉及到代碼就是 GetMaxSizeForBucket() 方法，參考如下：

internal?ConfigurableArrayPool(int?maxArrayLength,?int?maxArraysPerBucket) {Bucket[]?array?=?new?Bucket[num?+?1];for?(int?i?=?0;?i?<?array.Length;?i++){array[i]?=?new?Bucket(Utilities.GetMaxSizeForBucket(i),?maxArraysPerBucket,?id);} }internal?static?int?GetMaxSizeForBucket(int?binIndex) {return?16?<<?binIndex; }

5. 初始化時(shí) bucket 到底有多少個(gè)？

其實(shí)在上圖中我也沒(méi)有給出 bucket 到底有多少個(gè)，那到底是多少個(gè)呢？???????????? ，當(dāng)我閱讀完源碼之后，這算法還挺有意思的。

先說(shuō)一下結(jié)果吧，默認(rèn) 17 個(gè) bucket，你肯定會(huì)好奇怎么算的？先說(shuō)下兩個(gè)變量：

• maxArrayLength=1048576 = 2的20次方

• buffer.length= 16 = 2的4次方

最后的算法就是取次方的差值：bucket[].length= 20 - 4 + 1 = 17，換句話說(shuō)最后一個(gè) bucket 下的 buffer[].length=1048576，詳細(xì)代碼請(qǐng)參考 SelectBucketIndex() 方法。

internal?sealed?class?ConfigurableArrayPool<T>?:?ArrayPool<T> {internal?ConfigurableArrayPool():?this(1048576,?50){?}internal?ConfigurableArrayPool(int?maxArrayLength,?int?maxArraysPerBucket){int?num?=?Utilities.SelectBucketIndex(maxArrayLength);Bucket[]?array?=?new?Bucket[num?+?1];for?(int?i?=?0;?i?<?array.Length;?i++){array[i]?=?new?Bucket(Utilities.GetMaxSizeForBucket(i),?maxArraysPerBucket,?id);}_buckets?=?array;}internal?static?int?SelectBucketIndex(int?bufferSize){return?BitOperations.Log2((uint)(bufferSize?-?1)?|?0xFu)?-?3;} }

到這里我相信你對(duì) ArrayPool 的池化架構(gòu)思路已經(jīng)搞明白了，接下來(lái)看下如何申請(qǐng)和歸還 buffer[]。

三：如何申請(qǐng)和歸還

既然 buffer[] 做了顆粒化，那就應(yīng)該好借好還，反應(yīng)到代碼上就是 Rent() 和 Return() 方法，為了方便理解，上代碼說(shuō)話：

class?Program{static?void?Main(string[]?args){var?arrayPool?=?ArrayPool<int>.Create();var?bytes?=?arrayPool.Rent(10);for?(int?i?=?0;?i?<?bytes.Length;?i++)?bytes[i]?=?10;arrayPool.Return(bytes);Console.ReadLine();}}

有了代碼和圖之后，再稍微捋一下流程。

從 ArrayPool 中借一個(gè) byte[10] 大小的數(shù)組，為了節(jié)省內(nèi)存，先不備貨，臨時(shí)生成一個(gè) byte[].size=16 的數(shù)組出來(lái)，簡(jiǎn)化后的代碼如下，參考 if (flag) 處：

internal?T[]?Rent(){T[][]?buffers?=?_buffers;T[]?array?=?null;bool?lockTaken?=?false;bool?flag?=?false;try{if?(_index?<?buffers.Length){array?=?buffers[_index];buffers[_index++]?=?null;flag?=?array?==?null;}}if?(flag){array?=?new?T[_bufferLength];}return?array;}

這里有一個(gè)坑，那就是你以為借了 byte[10]，現(xiàn)實(shí)給你的是 byte[16]，這里稍微注意一下。

當(dāng)用 ArrayPool.Return 歸還 byte[16] 時(shí), 很明顯看到它落到了第一個(gè)bucket的第一個(gè)buffer[]上，參考如下簡(jiǎn)化后的代碼：

internal?void?Return(T[]?array){if?(_index?!=?0){_buffers[--_index]?=?array;}}

這里也有一個(gè)值得注意的坑，那就是還回去的 byte[16] 里面的數(shù)據(jù)默認(rèn)是不會(huì)清掉的，從上面的代碼也是可以看出來(lái)的，要想做清理，需要在 Return 方法中指定 clearArray=true，參考如下代碼：

public?override?void?Return(T[]?array,?bool?clearArray?=?false){int?num?=?Utilities.SelectBucketIndex(array.Length);if?(num?<?_buckets.Length){if?(clearArray){Array.Clear(array,?0,?array.Length);}_buckets[num].Return(array);}}

四：總結(jié)

學(xué)習(xí)這其中的 池化架構(gòu) 思想，對(duì)平時(shí)項(xiàng)目開發(fā)還是能提供一些靈感的，其次對(duì)那些一次性使用 byte[] 的場(chǎng)景，用池化是個(gè)非常不錯(cuò)的方法，這也是我對(duì)朋友dump分析后提出的一個(gè)優(yōu)化思路。

END

工作中的你，是否已遇到 ...?

1. CPU爆高

2. 內(nèi)存暴漲

3. 資源泄漏

4. 崩潰死鎖

5. 程序呆滯

等緊急事件，全公司都指望著你能解決...? 危難時(shí)刻才能展現(xiàn)你的技術(shù)價(jià)值，作為專注于.NET高級(jí)調(diào)試的技術(shù)博主，歡迎微信搜索: 一線碼農(nóng)聊技術(shù)，免費(fèi)協(xié)助你分析Dump文件，希望我能將你的踩坑經(jīng)驗(yàn)分享給更多的人。

總結(jié)

以上是生活随笔為你收集整理的ArrayPool 源码解读之 byte[] 也能池化？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。