Redis 中的过期元素是如何被处理的?「视频版」——面试突击 002 期
本文以面試問題「Redis 中的過期元素是如何被處理的?」為切入點,用視頻加圖文的方式和大家聊聊 Redis 過期元素被處理的相關知識點。
涉及的知識點
視頻答案
點擊查看視頻內容:https://www.bilibili.com/video/av88741972/
圖文答案
常見的過期策略:
- 定時刪除
- 惰性刪除
- 定期刪除
1)定時刪除
在設置鍵值過期時間時,創建一個定時事件,當過期時間到達時,由事件處理器自動執行鍵的刪除操作。
① 優點
保證內存可以被盡快的釋放
② 缺點
在 Redis 高負載的情況下或有大量過期鍵需要同時處理時,會造成 Redis 服務器卡頓,影響主業務執行。
2)惰性刪除
不主動刪除過期鍵,每次從數據庫獲取鍵值時判斷是否過期,如果過期則刪除鍵值,并返回 null。
① 優點
因為每次訪問時,才會判斷過期鍵,所以此策略只會使用很少的系統資源。
② 缺點
系統占用空間刪除不及時,導致空間利用率降低,造成了一定的空間浪費。
③ 源碼解析
惰性刪除的源碼位于 src/db.c 文件的 expireIfNeeded 方法中,源碼如下:
int expireIfNeeded(redisDb *db, robj *key) {// 判斷鍵是否過期if (!keyIsExpired(db,key)) return 0;if (server.masterhost != NULL) return 1;/* 刪除過期鍵 */// 增加過期鍵個數server.stat_expiredkeys++;// 傳播鍵過期的消息propagateExpire(db,key,server.lazyfree_lazy_expire);notifyKeyspaceEvent(NOTIFY_EXPIRED,"expired",key,db->id);// server.lazyfree_lazy_expire 為 1 表示異步刪除(懶空間釋放),反之同步刪除return server.lazyfree_lazy_expire ? dbAsyncDelete(db,key) :dbSyncDelete(db,key); } // 判斷鍵是否過期 int keyIsExpired(redisDb *db, robj *key) {mstime_t when = getExpire(db,key);if (when < 0) return 0; /* No expire for this key *//* Don't expire anything while loading. It will be done later. */if (server.loading) return 0;mstime_t now = server.lua_caller ? server.lua_time_start : mstime();return now > when; } // 獲取鍵的過期時間 long long getExpire(redisDb *db, robj *key) {dictEntry *de;/* No expire? return ASAP */if (dictSize(db->expires) == 0 ||(de = dictFind(db->expires,key->ptr)) == NULL) return -1;/* The entry was found in the expire dict, this means it should also* be present in the main dict (safety check). */serverAssertWithInfo(NULL,key,dictFind(db->dict,key->ptr) != NULL);return dictGetSignedIntegerVal(de); }所有對數據庫的讀寫命令在執行之前,都會調用 expireIfNeeded 方法判斷鍵值是否過期,過期則會從數據庫中刪除,反之則不做任何處理。
3)定期刪除
每隔一段時間檢查一次數據庫,隨機刪除一些過期鍵。
Redis 默認每秒進行 10 次過期掃描,此配置可通過 Redis 的配置文件 redis.conf 進行配置,配置鍵為 hz 它的默認值是 hz 10 。
需要注意的是:Redis 每次掃描并不是遍歷過期字典中的所有鍵,而是采用隨機抽取判斷并刪除過期鍵的形式執行的。
定期刪除的執行流程:
① 優點
通過限制刪除操作的時長和頻率,來減少刪除操作對 Redis 主業務的影響,同時也能刪除一部分過期的數據減少了過期鍵對空間的無效占用。
② 缺點
內存清理方面沒有定時刪除效果好,同時沒有惰性刪除使用的系統資源少。
③ 源碼解析
定期刪除的核心源碼在 src/expire.c 文件下的 activeExpireCycle 方法中,源碼如下:
void activeExpireCycle(int type) {static unsigned int current_db = 0; /* 上次定期刪除遍歷到的數據庫ID */static int timelimit_exit = 0; /* Time limit hit in previous call? */static long long last_fast_cycle = 0; /* 上一次執行快速定期刪除的時間點 */int j, iteration = 0;int dbs_per_call = CRON_DBS_PER_CALL; // 每次定期刪除,遍歷的數據庫的數量long long start = ustime(), timelimit, elapsed;if (clientsArePaused()) return;if (type == ACTIVE_EXPIRE_CYCLE_FAST) {if (!timelimit_exit) return;// ACTIVE_EXPIRE_CYCLE_FAST_DURATION 是快速定期刪除的執行時長if (start < last_fast_cycle + ACTIVE_EXPIRE_CYCLE_FAST_DURATION*2) return;last_fast_cycle = start;}if (dbs_per_call > server.dbnum || timelimit_exit)dbs_per_call = server.dbnum;// 慢速定期刪除的執行時長timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100;timelimit_exit = 0;if (timelimit <= 0) timelimit = 1;if (type == ACTIVE_EXPIRE_CYCLE_FAST)timelimit = ACTIVE_EXPIRE_CYCLE_FAST_DURATION; /* 刪除操作的執行時長 */long total_sampled = 0;long total_expired = 0;for (j = 0; j < dbs_per_call && timelimit_exit == 0; j++) {int expired;redisDb *db = server.db+(current_db % server.dbnum);current_db++;do {// .......expired = 0;ttl_sum = 0;ttl_samples = 0;// 每個數據庫中檢查的鍵的數量if (num > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP)num = ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP;// 從數據庫中隨機選取 num 個鍵進行檢查while (num--) {dictEntry *de;long long ttl;if ((de = dictGetRandomKey(db->expires)) == NULL) break;ttl = dictGetSignedInteger// 過期檢查,并對過期鍵進行刪除if (activeExpireCycleTryExpire(db,de,now)) expired++;if (ttl > 0) {/* We want the average TTL of keys yet not expired. */ttl_sum += ttl;ttl_samples++;}total_sampled++;}total_expired += expired;if (ttl_samples) {long long avg_ttl = ttl_sum/ttl_samples;if (db->avg_ttl == 0) db->avg_ttl = avg_ttl;db->avg_ttl = (db->avg_ttl/50)*49 + (avg_ttl/50);}if ((iteration & 0xf) == 0) { /* check once every 16 iterations. */elapsed = ustime()-start;if (elapsed > timelimit) {timelimit_exit = 1;server.stat_expired_time_cap_reached_count++;break;}}/* 每次檢查只刪除 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4 個過期鍵 */} while (expired > ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP/4);}// ....... }activeExpireCycle 方法在規定的時間,分多次遍歷各個數據庫,從過期字典中隨機檢查一部分過期鍵的過期時間,刪除其中的過期鍵。
這個函數有兩種執行模式,一個是快速模式一個是慢速模式,體現是代碼中的 timelimit 變量,這個變量是用來約束此函數的運行時間的。快速模式下 timelimit 的值是固定的,等于預定義常量 ACTIVE_EXPIRE_CYCLE_FAST_DURATION,慢速模式下,這個變量的值是通過 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100 計算的。
總結
本文講了常見的過期刪除策略:
- 定時刪除
- 惰性刪除
- 定期刪除
Redis 采用的是惰性刪除 + 定期刪除的組合策略,更多內容,詳見視頻部分。
關注下面二維碼,訂閱更多精彩內容。
總結
以上是生活随笔為你收集整理的Redis 中的过期元素是如何被处理的?「视频版」——面试突击 002 期的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2018年终总结—努力做一个有趣的人
- 下一篇: IDEA 正式版终于支持中文版和 JDK