??????Memcache存儲大數(shù)據(jù)的問題???huangguisu

????? Memcached存儲單個item最大數(shù)據(jù)是在1MB內(nèi)，假設(shè)數(shù)據(jù)超過1M,存取set和get是都是返回false，并且引起性能的問題。

我們之前對排行榜的數(shù)據(jù)進行緩存，因為排行榜在我們?nèi)縮ql select查詢里面占了30%，并且我們排行榜每小時更新一次，所以必須對數(shù)據(jù)做緩存。為了清除緩存方便，把全部的用戶的數(shù)據(jù)放在同一key中，因為memcached:set的時候沒有壓縮數(shù)據(jù)。在測試服測試的時候，沒發(fā)現(xiàn)問題，當(dāng)上線的時候，結(jié)果發(fā)現(xiàn)，在線人數(shù)剛剛490人的時候，serverload average飄到7.9。然后我們?nèi)サ艟彺?#xff0c;一下子就下降到0.59。

所以Memcahce不適合緩存大數(shù)據(jù)，超過1MB的數(shù)據(jù)，能夠考慮在client壓縮或拆分到多個key中。大的數(shù)據(jù)在進行l(wèi)oad和uppack到內(nèi)存的時候須要花非常長時間，從而減少server的性能。

Memcached支持最大的存儲對象為1M。這個值由其內(nèi)存分配機制決定的。

memcached默認(rèn)情況下採用了名為Slab Allocator的機制分配、管理內(nèi)存。在該機制出現(xiàn)曾經(jīng)，內(nèi)存的分配是通過對全部記錄簡單地進行malloc和free來進行的。可是，這樣的方式會導(dǎo)致內(nèi)存碎片，加重操作系統(tǒng)內(nèi)存管理器的負(fù)擔(dān)，最壞的情況下，會導(dǎo)致操作系統(tǒng)比memcached進程本身還慢。Slab Allocator就是為解決該問題而誕生的。Slab Allocator的基本原理是依照預(yù)先規(guī)定的大小，將分配的內(nèi)存切割成特定長度的塊，以全然解決內(nèi)存碎片問題.

今天（2012-03-16）我們又一次測試了memcached ::set的數(shù)據(jù)大小。可能是我們用php的memcached擴展是最新版，set數(shù)據(jù)的時候是默認(rèn)壓縮的。set 數(shù)據(jù)：

$ac = new memcahed(); $data = str_repeat('a', 1024* 1024); //1M的數(shù)據(jù) $r = $ac->set('key', $data, 9999); //或者 $data = str_repeat('a', 1024* 1024*100);//100M的數(shù)據(jù) $r = $ac->set('key', $data, 9999);

不論是1M的數(shù)據(jù)還是100M的數(shù)據(jù)，都能set成功。后來我發(fā)現(xiàn)，memcachedset數(shù)據(jù)的時候是默認(rèn)壓縮的。因為這個這個是反復(fù)的字符串，壓縮率高達(dá)1000倍。因此100M的數(shù)據(jù)壓縮后實際也就100k而已。

當(dāng)我設(shè)置：

$ac->setOption(memcahed::OPT_COMPRESSION,0); //不壓縮存儲數(shù)據(jù)。 $data = str_repeat('a', 1024* 1024); //1M數(shù)據(jù) $r = $ac->set('key', $data, 9999);//1M的數(shù)據(jù)set不成功。

也就是說memcached server不能存儲超過1M的數(shù)據(jù)，可是經(jīng)過client壓縮數(shù)據(jù)后，僅僅要小于1M的數(shù)據(jù)都能存儲成功。

memcached相關(guān)知識：

1、memcached的基本設(shè)置
1）啟動Memcache的server端
# /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P /tmp/memcached.pid

-d選項是啟動一個守護進程，
-m是分配給Memcache使用的內(nèi)存數(shù)量，單位是MB，我這里是10MB，
-u是執(zhí)行Memcache的用戶，我這里是root，
-l是監(jiān)聽的serverIP地址，假設(shè)有多個地址的話，我這里指定了server的IP地址192.168.0.200，
-p是設(shè)置Memcache監(jiān)聽的port，我這里設(shè)置了12000，最好是1024以上的port，
-c選項是最大執(zhí)行的并發(fā)連接數(shù)，默認(rèn)是1024，我這里設(shè)置了256，依照你server的負(fù)載量來設(shè)定，
-P是設(shè)置保存Memcache的pid文件，我這里是保存在 /tmp/memcached.pid，

2）假設(shè)要結(jié)束Memcache進程，運行：

# kill `cat /tmp/memcached.pid`

哈希算法將隨意長度的二進制值映射為固定長度的較小二進制值，這個小的二進制值稱為哈希值。哈希值是一段數(shù)據(jù)唯一且極其緊湊的數(shù)值表示形式。假設(shè)散列一段明文并且哪怕僅僅更改該

段落的一個字母，隨后的哈希都將產(chǎn)生不同的值。要找到散列為同一個值的兩個不同的輸入，在計算上是不可能的。

2、適用memcached的業(yè)務(wù)場景？

1）假設(shè)站點包括了訪問量非常大的動態(tài)網(wǎng)頁，因而數(shù)據(jù)庫的負(fù)載將會非常高。因為大部分?jǐn)?shù)據(jù)庫請求都是讀操作，那么memcached能夠顯著地減小數(shù)據(jù)庫負(fù)載。

2）假設(shè)數(shù)據(jù)庫server的負(fù)載比較低但CPU使用率非常高，這時能夠緩存計算好的結(jié)果（ computed objects ）和渲染后的網(wǎng)頁模板（enderred templates）。

3）利用memcached能夠緩存session數(shù)據(jù)、暫時數(shù)據(jù)以降低對他們的數(shù)據(jù)庫寫操作。

4）緩存一些非常小可是被頻繁訪問的文件。

5）緩存Web 'services'（非IBM宣揚的Web Services，譯者注）或RSS feeds的結(jié)果.。

3、不適用memcached的業(yè)務(wù)場景？

1）緩存對象的大小大于1MB

Memcached本身就不是為了處理龐大的多媒體（large media）和巨大的二進制塊（streaming huge blobs）而設(shè)計的。

2）key的長度大于250字符

3）虛擬主機不讓執(zhí)行memcached服務(wù)

???? 假設(shè)應(yīng)用本身托管在低端的虛擬私有server上，像vmware, xen這類虛擬化技術(shù)并不適合執(zhí)行memcached。Memcached須要接管和控制大塊的內(nèi)存，假設(shè)memcached管理 ? ? ?的內(nèi)存被OS或 hypervisor交換出去，memcached的性能將大打折扣。

4）應(yīng)用執(zhí)行在不安全的環(huán)境中

Memcached為提供不論什么安全策略，只通過telnet就能夠訪問到memcached。假設(shè)應(yīng)用執(zhí)行在共享的系統(tǒng)上，須要著重考慮安全問題。

5）業(yè)務(wù)本身須要的是持久化數(shù)據(jù)或者說須要的應(yīng)該是database

4、 不能可以遍歷memcached中全部的item

? ? ?這個操作的速度相對緩慢且堵塞其它的操作（這里的緩慢時相比memcached其它的命令）。memcached全部非調(diào)試（non-debug）命令，比如add, set, get, fulsh等不管

memcached中存儲了多少數(shù)據(jù)，它們的運行都僅僅消耗常量時間。不論什么遍歷全部item的命令運行所消耗的時間，將隨著memcached中數(shù)據(jù)量的添加而添加。當(dāng)其它命令由于等待（遍歷全部item的命令運行完成）而不能得到運行，因而堵塞將發(fā)生。

5、 ?memcached能接受的key的最大長度是250個字符

memcached能接受的key的最大長度是250個字符。須要注意的是，250是memcachedserver端內(nèi)部的限制。假設(shè)使用的Memcachedclient支持"key的前綴"或類似特性，那么key（前綴+原始key）的最大長度是能夠超過250個字符的。推薦使用較短的key，這樣能夠節(jié)省內(nèi)存和帶寬。

6、 ?單個item的大小被限制在1M byte之內(nèi)

由于內(nèi)存分配器的算法就是這種。

具體的回答：

1）Memcached的內(nèi)存存儲引擎，使用slabs來管理內(nèi)存。內(nèi)存被分成大小不等的slabs chunks（先分成大小相等的slabs，然后每一個slab被分成大小相等chunks，不同slab的chunk大小是不相等的）。chunk的大小依次從一個最小數(shù)開始，按某個因子增長，直到達(dá)到最大的可能值。假設(shè)最小值為400B，最大值是1MB，因子是1.20，各個slab的chunk的大小依次是：

slab1 - 400B；slab2 - 480B；slab3 - 576B ...slab中chunk越大，它和前面的slab之間的間隙就越大。因此，最大值越大，內(nèi)存利用率越低。Memcached必須為每一個slab預(yù)先分配內(nèi)存，因此假設(shè)設(shè)置了較小的因子和較大的最大值，會須要為Memcached提供很多其它的內(nèi)存。

2）不要嘗試向memcached中存取非常大的數(shù)據(jù)，比如把巨大的網(wǎng)頁放到mencached中。由于將大數(shù)據(jù)load和unpack到內(nèi)存中須要花費非常長的時間，從而導(dǎo)致系統(tǒng)的性能反而不好。假設(shè)確實須要存儲大于1MB的數(shù)據(jù)，能夠改動slabs.c：POWER_BLOCK的值，然后又一次編譯memcached；或者使用低效的malloc/free。另外，能夠使用數(shù)據(jù)庫、MogileFS等方案取代Memcached系統(tǒng)。

7、 ?memcached的內(nèi)存分配器是怎樣工作的？為什么不適用malloc/free！？為何要使用slabs？

實際上，這是一個編譯時選項。默認(rèn)會使用內(nèi)部的slab分配器，并且確實應(yīng)該使用內(nèi)建的slab分配器。最早的時候，memcached僅僅使用malloc/free來管理內(nèi)存。然而，這樣的方式不能與OS的內(nèi)存管理曾經(jīng)非常好地工作。重復(fù)地malloc/free造成了內(nèi)存碎片，OS終于花費大量的時間去查找連續(xù)的內(nèi)存塊來滿足malloc的請求，而不是執(zhí)行memcached進程。slab分配器就是為了解決問題而生的。內(nèi)存被分配并劃分成chunks，一直被重復(fù)使用。由于內(nèi)存被劃分成大小不等的slabs，假設(shè)item的大小與被選擇存放它的slab不是非常合適的話，就會浪費一些內(nèi)存。

8、memcached對item的過期時間有什么限制？

item對象的過期時間最長能夠達(dá)到30天。memcached把傳入的過期時間（時間段）解釋成時間點后，一旦到了這個時間點，memcached就把item置為失效狀態(tài)，這是一個簡單但obscure的機制。

9、什么是二進制協(xié)議，是否須要關(guān)注？

二進制協(xié)議嘗試為端提供一個更有效的、可靠的協(xié)議，降低client/server端因處理協(xié)議而產(chǎn)生的CPU時間。依據(jù)Facebook的測試，解析ASCII協(xié)議是memcached中消耗CPU時間最多的

環(huán)節(jié)。

10、 memcached的內(nèi)存分配器是怎樣工作的？為什么不適用malloc/free！？為何要使用slabs？

實際上，這是一個編譯時選項。默認(rèn)會使用內(nèi)部的slab分配器，并且確實應(yīng)該使用內(nèi)建的slab分配器。最早的時候，memcached僅僅使用malloc/free來管理內(nèi)存。然而，這樣的方式不能與OS的內(nèi)存管理曾經(jīng)非常好地工作。重復(fù)地malloc/free造成了內(nèi)存碎片，OS終于花費大量的時間去查找連續(xù)的內(nèi)存塊來滿足malloc的請求，而不是執(zhí)行memcached進程。slab分配器就是為了解決問題而生的。內(nèi)存被分配并劃分成chunks，一直被重復(fù)使用。由于內(nèi)存被劃分成大小不等的slabs，假設(shè)item的大小與被選擇存放它的slab不是非常合適的話，就會浪費一些內(nèi)存。

11、memcached是原子的嗎？

全部的被發(fā)送到memcached的單個命令是全然原子的。假設(shè)您針對同一份數(shù)據(jù)同一時候發(fā)送了一個set命令和一個get命令，它們不會影響對方。它們將被串行化、先后運行。即使在多線程模式，全部的命令都是原子的。然是，命令序列不是原子的。假設(shè)首先通過get命令獲取了一個item，改動了它，然后再把它set回memcached，系統(tǒng)不保證這個item沒有被其它進程（process，未必是操作系統(tǒng)中的進程）操作過。memcached 1.2.5以及更高版本號，提供了gets和cas命令，它們能夠解決上面的問題。假設(shè)使用gets命令查詢某個key的item，memcached會返回該item當(dāng)前值的唯一標(biāo)識。假設(shè)client程序覆寫了這個item并想把它寫回到memcached中，能夠通過cas命令把那個唯一標(biāo)識一起發(fā)送給memcached。假設(shè)該item存放在memcached中的唯一標(biāo)識與您提供的一致，寫操作將會成功。假設(shè)還有一個進程在這期間也改動了這個item，那么該item存放在memcached中的唯一標(biāo)識將會改變，寫操作就會

失敗。

具體了解Memcached的內(nèi)存分配機制：

http://cjjwzs.javaeye.com/blog/762453

???

轉(zhuǎn)載于:https://www.cnblogs.com/mfrbuaa/p/3832065.html

總結(jié)

以上是生活随笔為你收集整理的Memcache存储大数据的问题的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。