[Erlang 0014]Erlang垃圾回收机制
?前面的Erlang雜記中我們簡單提到過Erlang的垃圾回收機制:1.以進程為單位進行垃圾回收 2.ETS和原子不參與垃圾回收.今天我們繼續(xù)這一話題,關注更多關于細節(jié).
?? 在Erlang的官方文檔中,關于垃圾回收的知識散見于各處,要把這些信息收集在一起還是要費些力氣的,完全不像微軟文檔那樣系統(tǒng)化,比如這是關于.net framework垃圾回收的文檔:http://msdn.microsoft.com/en-us/library/ee787088.aspx?;好吧,有點耐心,還是可以從Erlang官方文檔中發(fā)現(xiàn)好多寶的,回頭再說,現(xiàn)在開始:
?
歷史回顧
簡單回顧一下垃圾回收的知識,垃圾回收器的本質(zhì)實際上是改變存活數(shù)據(jù)結構構成圖的連通性.堆對象在圖中的存活性是由指針的可到達性定義的.程序可以操作三種位置的數(shù)據(jù):寄存器 程序棧(局部變量 臨時變量) 全局變量.這些位置的變量有一部分保存了指向堆數(shù)據(jù)的引用,他們構成了應用程序的根(Root).對于用戶程序動態(tài)分配的內(nèi)存只能通過Root或者根發(fā)出的指針鏈訪問,程序不應該訪問其地址空間的隨機位置. 內(nèi)存分配的解決方案有: [1] 靜態(tài)分配 優(yōu)點是:編譯器知道所有的數(shù)據(jù)位置,實現(xiàn)效率高 缺點是:每一個數(shù)據(jù)結構的大小必須在編譯時可知,方法調(diào)用不可以是遞歸的,因為同一個方法在內(nèi)存中共享相同的位置. 無法動態(tài)創(chuàng)建數(shù)據(jù)結構 [2] 棧分配 調(diào)用的時候入棧,調(diào)用結束出棧;同一個方法的不同調(diào)用不再共享地址,遞歸成為可能;只有大小能在編譯時去遞歸大小的對象池啊能作為過程的結果返回.被調(diào)用者的生命周期不可能比調(diào)用方的生命周期更長. [3]堆分配 閉包成為可能 遞歸結構的表達式成為可能 垃圾回收的經(jīng)典算法有:引用計數(shù) 標記清除 節(jié)點復制 [1] 引用計數(shù)方法是和程序執(zhí)行同時進行,內(nèi)存管理的開銷比較均勻,這樣進行沒有長時間的掛起內(nèi)存管理的時間比較穩(wěn)定,可以獲得比較平滑的響應時間; [2]標記清除 內(nèi)存單元不會被立即回收,而是處于不可到達狀態(tài),直到所有的內(nèi)存都被耗盡,進行全局級別的遍歷來確定哪些單元可以回收.顯然這種全局級別的中斷在實時性要求較高的系統(tǒng)并不實用,甚至視頻游戲都不可能接受在GC時有這么長的停頓.如果實時性方面要求不高,標記清除可以獲得比引用計數(shù)更好的性能.標記清除的代價還是較高,標記是全局級別的,算法復雜度與整個堆大小成正比;標記清除使得內(nèi)存空間傾向于碎片化.在物理存儲器中碎片化的影響不大,但虛擬存儲中會導致輔助存儲器和主存之間頻繁的交換頁面,系統(tǒng)出現(xiàn)顛簸. [3]節(jié)點復制將堆分成兩個半?yún)^(qū),一個包含現(xiàn)有數(shù)據(jù),另一個包含已經(jīng)被廢棄的數(shù)據(jù),運行時兩個半?yún)^(qū)的角色不斷交換;這樣做的優(yōu)勢在于內(nèi)存分配的開銷很小,只需要比較指針,不存在內(nèi)存碎片的問題.但是內(nèi)存浪費較大; [4]標記-整理縮并?標記所有的存活對象 通過重新調(diào)整存活對象位置來縮并對象圖；更新指向被移動了位置的對象的指針 [5] 分代回收 是基于統(tǒng)計學原理的:多數(shù)內(nèi)存塊的生存周期都比較短,垃圾收集器應當把更多的精力放在檢查和清理新分配的內(nèi)存塊上IBM公司的David F.Bacon [7] 2004年發(fā)表了"A Unified Theory of Garbage Collection"論文,文中闡述了一種理論:任何一種GC算法都是跟蹤回收和引用計數(shù)的兩種回收思路的組合;
Erlang垃圾回收機制
???? "The current default GC is a "stop the world" generational mark-sweep collector. "文檔中這樣描述Erlang垃圾回收器,點出了其垃圾回收器的特點:1."stop the world" 2.generational? 3.mark-sweep?. 看到這個定義,問題就來了:既然進行垃圾回收的時候會導致進程掛起("stop the world"),那不會影響性能么?
??? 先說分代(generational),Erlang使用舊數(shù)據(jù)堆'old heap'來存儲存至少經(jīng)歷了一次垃圾回收的數(shù)據(jù).當舊數(shù)據(jù)堆'old heap'沒有足夠的空間的時候就會進行一次充分的垃圾回收(fullsweep).創(chuàng)建進程的時候我們可以通過使用spawn_opt/4來設置fullsweep_after參數(shù),這個參數(shù)的意思是:最多經(jīng)過多少代就可以強制進行充分垃圾回收了,不管舊數(shù)據(jù)堆是否有剩余空間.
分代(generational?)本身是基于統(tǒng)計學的:多數(shù)內(nèi)存塊的生存周期都比較短,最近創(chuàng)建的對象更容易變冷(不再被使用).基于上面的考量,Erlang對"年輕"一代對象的GC會更頻繁,減少對常駐內(nèi)存的對象GC次數(shù).對于一個Erlang進程當沒有足夠Heap空間的時候就會觸發(fā)GC.由于Heap是私有的所以進程銷毀的時候內(nèi)存可以直接回收.Erlang的GC可以分成兩種:minor collection and major collection. Minor collection只對年輕一代(young generation)的對象進行GC,Major collection會進行整體GC.?在進行了一定次數(shù)Minor Collection后,或者Minor Collection沒能釋放足夠的內(nèi)存的時候就會觸發(fā)Major collection.我們看一下這個參數(shù)的默認值:
???? erlang:system_info(fullsweep_after).???
?????{fullsweep_after,65535}
??? 65535是一個不小的數(shù)值,但是現(xiàn)在內(nèi)存已經(jīng)不再是稀缺資源,這個值還是可以接受的.如果你希望盡快回收內(nèi)存的話,這個參數(shù)可以適當調(diào)整一下.把這個參數(shù)設置成0實際上是關閉了數(shù)據(jù)逐代回收算法,每一次垃圾回收都會拷貝所有l(wèi)ivedata.很少有場景需要調(diào)整這個值,一般需要調(diào)整它的兩個場景是:1.需要快速的拋棄掉不用的二進制數(shù)據(jù)就把這個值設置為0; 2.進程使用的數(shù)據(jù)生命周期都很短,短,舊數(shù)據(jù)堆會堆積很多垃圾數(shù)據(jù);這時可以調(diào)小fullsweep_after為10或20,盡快觸發(fā)充分垃圾回收.
?? 我們啟動Erlang節(jié)點,一個節(jié)點(node)就是一個Erlang runtime的實例,對應操作系統(tǒng)的一個進程.比如在windows里面，打開進程管理器會看到erl.exe.在Eralng節(jié)點內(nèi)部動態(tài)創(chuàng)建Erlang進程.
???? 每一個Erlang進程創(chuàng)建之后都會有自己的PCB,棧,私有堆.Erlang進程結束的時候,內(nèi)存資源理解被釋放便于資源復用.這樣做背后的思想是:每一個進程都只有一小部分活躍數(shù)據(jù)(live data),所以垃圾回收將會是一個很快的操作.換句話說Erlang的垃圾回收是以進程為單位的,雖然GC過程會進程掛起但是由于回收速度快,影響很小.垃圾回收使用的是generational stop-and-copy回收器.從Erlang進程終止到其釋放的內(nèi)存被重用中間是沒有延遲的.由于GC回收是以進程為單位,垃圾回收器的一個不便之處就是不能跨進程處理進程堆.同樣的,由于進程間數(shù)據(jù)獨立沒有數(shù)據(jù)共享,消息發(fā)送實際上就是數(shù)據(jù)復制來實現(xiàn)的,如果復制的數(shù)據(jù)量很大也是會影響效率的,所以Erlang提倡的是小消息,大運算.
"The basic idea of the Private Heap (PH) architecture is that each process allocates and maintains its own, local, heap. The heap and the stack for each process are allocated in the same memory area and grow towards each other. The main advantage with a scheme like this is that processes’ heaps in general are small which usually makes garbage collection times fairly short.
? ?The garbage collector is a two generational stop-and-copy. It has two di?erent modes of operation,?corresponding to the minor and the major collection. The root set for each garbage collection consists?of the process stack, the message queue and an optional vector of pointers sent to the garbage collector.
Note that the garbage collector does not have to scan the stack of any other process. Instead garbage?collection happens locally.?"
?Erlang Process的ordinary heap存放young generation的數(shù)據(jù),歷經(jīng)2~3次Minor Collection的數(shù)據(jù)被提升為old generation,Erlang Process heap空間劃分專門區(qū)域存放old generation 數(shù)據(jù).Young generation的回收有一個水位線(high water mark)概念,凡是數(shù)據(jù)地址比水位線要低的都是較老的,比水位線地址高的是更年輕的數(shù)據(jù).水位線一下的數(shù)據(jù)至少經(jīng)歷了一次minor collection或major collection.
?
?
下面的圖片來自 論文??Characterizing the Scalability of Erlang.?VM?on Many-core Processors
??? 上面提到進程創(chuàng)建伊始會分配很小的棧和堆資源,這并不是固定不變的,垃圾回收器會動態(tài)調(diào)整堆大小.Erlang節(jié)點創(chuàng)建進程速度超快,這個大家估計已經(jīng)看過Joe Armstrong在書中創(chuàng)建進程的實驗,這里不再贅述.那么一個Erlang進程創(chuàng)建之初到底會占用多少內(nèi)存呢?我們可以用下面的例子做一下檢查:
??? Fun= fun()-> receive after infinity -> ok end end.?? %創(chuàng)建一個無限等待的Fun
??? {_,Bytes}=process_info(spawn(Fun),memory).???? %創(chuàng)建一個進程并查看其內(nèi)存信息
??? Bytes div erlang:system_info(wordsize).?????????????? %計算下這個進程占用多少字(word)?32系統(tǒng)為4?64位系統(tǒng)為8
??
? 我們平常用的ETS(Erlang Term Strorage)是一個全局數(shù)據(jù)庫,可以被節(jié)點內(nèi)的所有進程共享訪問.ETS也是由進程實現(xiàn),所以存儲和查詢數(shù)據(jù)和消息發(fā)送一樣都是通過復制實現(xiàn).Erlang二進制數(shù)據(jù)通常數(shù)據(jù)量相當大,如果二進制數(shù)據(jù)<64 bytes會在進程內(nèi)存儲,如果超過64 bytes二進制數(shù)據(jù)是在進程以外的獨立的堆分配.二進制數(shù)據(jù)占用一塊數(shù)據(jù)區(qū)域,數(shù)據(jù)區(qū)域頭信息包含指向數(shù)據(jù)區(qū)域的指針.當二進制數(shù)據(jù)分割成子二進制數(shù)據(jù)段的時候,會創(chuàng)建新的數(shù)據(jù)頭信息但數(shù)據(jù)并沒有被拷貝.二進制內(nèi)存分配對節(jié)點內(nèi)所有的Erlang進程可見.發(fā)送消息的時候,二進制數(shù)據(jù)發(fā)送的是引用.如果是跨節(jié)點發(fā)送二進制數(shù)據(jù)當然還是通過拷貝實現(xiàn)的.盡管垃圾回收器是基于拷貝的,二進制數(shù)據(jù)是走的標記-清除(mark-sweep)的路子.我們知道,標記-清除已經(jīng)是面向全局的垃圾回收機制了.
?
查看垃圾回收狀態(tài)
?? 說到這里,我們就和上次的內(nèi)容續(xù)上了,[Erlang 0013]抓取Erlang進程運行時信息?提到了如何抓取Erlang進程的運行時信息,這些信息其中也包括了GC的信息:
{garbage_collection, GCInfo}
GCInfo is a list which contains miscellaneous information about garbage collection for this process. The content of GCInfo may be changed without prior notice.
下面是一段采樣數(shù)據(jù):
? {reductions,41087},
???{garbage_collection,[{min_bin_vheap_size,10946},
??????????????????????? {min_heap_size,10946},
??????????????????????? {fullsweep_after,65535},
??????????????????????? {minor_gcs,18}]},
???{suspending,[]}]
控制垃圾回收
???我們可以主動控制垃圾回收,使用的方法是erlang:garbage_collect(PID);除此之外我們可以通過調(diào)整進程初始堆大小來實現(xiàn)min_heap_size,就是說進程的堆大小不再走自增長的過程,一開始就分配給它足夠的大小.調(diào)整這個配置有兩種方法:
??? 1.erl +h選項可以調(diào)整全局的min_heap_size
??? 2.針對某個進程可以在創(chuàng)建的時候使用spawn_opt/4 來指定min_heap_size 注意:該參數(shù)使用的單位是字word
??? 通過spawn_opt設定進程初始堆大小會有兩個影響:1.進程創(chuàng)建之初就有較大的堆空間,不必經(jīng)歷自增長的過程 2.即使存儲的數(shù)據(jù)小于堆大小,垃圾回收時也不再壓縮堆大小;類似的參數(shù)還有{min_bin_vheap_size, VSize},可以使用下面的語句查看默認值:
?erlang:system_info(min_heap_size).
{min_heap_size,233}
?erlang:system_info(min_bin_vheap_size).
{min_bin_vheap_size,46368}
??
?何時動手調(diào)參數(shù)?
什么時候來調(diào)整這些參數(shù)呢？你是不是躍躍欲試了？記得一個原則，東西沒有壞的時候不要去修它;用Erlang文檔中反復出現(xiàn)的一段話來做回答:
This option is only useful for performance tuning. In general, you should not use this option unless you know that there is problem with execution times and/or memory consumption, and you should measure to make sure that the option improved matters.
?
?
?
參考資料
[1]?http://www.erlang.org/faq/academic.html?
[2]?http://www.erlang.org/doc/man/erlang.html#process_info-2
[3]?http://prog21.dadgum.com/16.html
[4]?http://www.erlang.org/doc/efficiency_guide/processes.html
[5]?http://amiest-devblog.blogspot.com/2008/05/forcing-process-to-garbage-collect-in.html
[6] http://www.lshift.net/blog/2009/12/01/garbage-collection-in-erlang
[7]?http://researcher.watson.ibm.com/researcher/files/us-bacon/Bacon04Unified.pdf?
?
現(xiàn)在時間2011-11-13 5:28:53,耳機里面的歌聲是來自羅大佑《沉默的表示》:
小心的問一聲 親愛的你?
請問 有沒有看到我沉默的臉?
背影后的你是這般熟悉?
是否是另一個沉默的你?
腳步聲去遠后 眼睛睜開以后?
所有的一切已沉默的人?
風雨中的臉一樣的孤單?
奔向那千百個沉默夜晚?
為何夢中清清楚楚我看到的你?
簡直像看到的我自己?
輕輕問一聲 是否還要我再等 因為夜已這樣深?
輕輕問一聲 是否夜已這樣深 是否還要我再等?
夜已這樣深 輕輕我想問一聲 是否還要我再等?
夜已這樣深 是否還要我再等 輕輕我想問一聲?
是否我要等 因為夜已這樣深 輕輕我想問一聲?
是否我要等 輕輕我想問一聲 因為夜已這樣深?
總結
以上是生活随笔為你收集整理的[Erlang 0014]Erlang垃圾回收机制的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Java调试那点事
- 下一篇： 在Html中使用Requirejs进行模