轉(zhuǎn)自：?https://juejin.cn/post/6844903902991630349?

?

Redis AOF 持久化詳解

Redis 是一種內(nèi)存數(shù)據(jù)庫，將數(shù)據(jù)保存在內(nèi)存中，讀寫效率要比傳統(tǒng)的將數(shù)據(jù)保存在磁盤上的數(shù)據(jù)庫要快很多。但是一旦進(jìn)程退出，Redis 的數(shù)據(jù)就會丟失。

為了解決這個問題，Redis 提供了 RDB 和 AOF 兩種持久化方案，將內(nèi)存中的數(shù)據(jù)保存到磁盤中，避免數(shù)據(jù)丟失。RDB的介紹在這篇文章中《Redis RDB 持久化詳解》，今天我們來看一下 AOF 相關(guān)的原理。

AOF( append only file )持久化以獨(dú)立日志的方式記錄每次寫命令，并在 Redis 重啟時在重新執(zhí)行 AOF 文件中的命令以達(dá)到恢復(fù)數(shù)據(jù)的目的。AOF 的主要作用是解決數(shù)據(jù)持久化的實(shí)時性。

RDB 和 AOF

antirez 在《Redis 持久化解密》一文中講述了 RDB 和 AOF 各自的優(yōu)缺點(diǎn)：

• RDB 是一個緊湊壓縮的二進(jìn)制文件，代表 Redis 在某個時間點(diǎn)上的數(shù)據(jù)備份。非常適合備份，全量復(fù)制等場景。比如每6小時執(zhí)行 bgsave 備份，并把 RDB 文件拷貝到遠(yuǎn)程機(jī)器或者文件系統(tǒng)中，用于災(zāi)難恢復(fù)。
• Redis 加載 RDB 恢復(fù)數(shù)據(jù)遠(yuǎn)遠(yuǎn)快于 AOF 的方式
• RDB 方式數(shù)據(jù)沒辦法做到實(shí)時持久化，而 AOF 方式可以做到。

下面，我們就來了解一下 AOF 是如何做到實(shí)時持久化的。

AOF 持久化的實(shí)現(xiàn)

?

?

?

如上圖所示，AOF 持久化功能的實(shí)現(xiàn)可以分為命令追加( append )、文件寫入( write )、文件同步( sync )、文件重寫(rewrite)和重啟加載(load)。其流程如下：

• 所有的寫命令會追加到 AOF 緩沖中。
• AOF 緩沖區(qū)根據(jù)對應(yīng)的策略向硬盤進(jìn)行同步操作。
• 隨著 AOF 文件越來越大，需要定期對 AOF 文件進(jìn)行重寫，達(dá)到壓縮的目的。
• 當(dāng) Redis 重啟時，可以加載 AOF 文件進(jìn)行數(shù)據(jù)恢復(fù)。

命令追加

當(dāng) AOF 持久化功能處于打開狀態(tài)時，Redis 在執(zhí)行完一個寫命令之后，會以協(xié)議格式(也就是RESP，即 Redis 客戶端和服務(wù)器交互的通信協(xié)議 )將被執(zhí)行的寫命令追加到 Redis 服務(wù)端維護(hù)的 AOF 緩沖區(qū)末尾。

比如說 SET mykey myvalue 這條命令就以如下格式記錄到 AOF 緩沖中。

"*3\r\n$3\r\nSET\r\n$5\r\nmykey\r\n$7\r\nmyvalue\r\n" 復(fù)制代碼

Redis 協(xié)議格式本文不再贅述，AOF之所以直接采用文本協(xié)議格式，是因?yàn)樗袑懭朊疃家M(jìn)行追加操作，直接采用協(xié)議格式，避免了二次處理開銷。

文件寫入和同步

Redis 每次結(jié)束一個事件循環(huán)之前，它都會調(diào)用?flushAppendOnlyFile?函數(shù)，判斷是否需要將 AOF 緩存區(qū)中的內(nèi)容寫入和同步到 AOF 文件中。

flushAppendOnlyFile?函數(shù)的行為由 redis.conf 配置中的?appendfsync?選項(xiàng)的值來決定。該選項(xiàng)有三個可選值，分別是?always、everysec?和?no：

• always：Redis 在每個事件循環(huán)都要將 AOF 緩沖區(qū)中的所有內(nèi)容寫入到 AOF 文件，并且同步 AOF 文件，所以?always?的效率是?appendfsync?選項(xiàng)三個值當(dāng)中最差的一個，但從安全性來說，也是最安全的。當(dāng)發(fā)生故障停機(jī)時，AOF 持久化也只會丟失一個事件循環(huán)中所產(chǎn)生的命令數(shù)據(jù)。
• everysec：Redis 在每個事件循環(huán)都要將 AOF 緩沖區(qū)中的所有內(nèi)容寫入到 AOF 文件中，并且每隔一秒就要在子線程中對 AOF 文件進(jìn)行一次同步。從效率上看，該模式足夠快。當(dāng)發(fā)生故障停機(jī)時，只會丟失一秒鐘的命令數(shù)據(jù)。
• no：Redis 在每一個事件循環(huán)都要將 AOF 緩沖區(qū)中的所有內(nèi)容寫入到 AOF 文件。而 AOF 文件的同步由操作系統(tǒng)控制。這種模式下速度最快，但是同步的時間間隔較長，出現(xiàn)故障時可能會丟失較多數(shù)據(jù)。

Linux 系統(tǒng)下?write?操作會觸發(fā)延遲寫( delayed write )機(jī)制。Linux 在內(nèi)核提供頁緩存區(qū)用來提供硬盤 IO 性能。write?操作在寫入系統(tǒng)緩沖區(qū)之后直接返回。同步硬盤操作依賴于系統(tǒng)調(diào)度機(jī)制，例如：緩沖區(qū)頁空間寫滿或者達(dá)到特定時間周期。同步文件之前，如果此時系統(tǒng)故障宕機(jī)，緩沖區(qū)內(nèi)數(shù)據(jù)將丟失。

而?fsync?針對單個文件操作，對其進(jìn)行強(qiáng)制硬盤同步，fsync?將阻塞直到寫入磁盤完成后返回，保證了數(shù)據(jù)持久化。

appendfsync的三個值代表著三種不同的調(diào)用?fsync的策略。調(diào)用fsync周期越頻繁，讀寫效率就越差，但是相應(yīng)的安全性越高，發(fā)生宕機(jī)時丟失的數(shù)據(jù)越少。

有關(guān) Linux 的I/O和各個系統(tǒng)調(diào)用的作用如下圖所示。具體內(nèi)容可以查看《聊聊 Linux I/O》一文。

?

?

?

AOF 數(shù)據(jù)恢復(fù)

AOF 文件里邊包含了重建 Redis 數(shù)據(jù)所需的所有寫命令，所以 Redis 只要讀入并重新執(zhí)行一遍 AOF 文件里邊保存的寫命令，就可以還原 Redis 關(guān)閉之前的狀態(tài)。

?

?

?

Redis 讀取 AOF 文件并且還原數(shù)據(jù)庫狀態(tài)的詳細(xì)步驟如下：

• 創(chuàng)建一個不帶網(wǎng)絡(luò)連接的的偽客戶端( fake client)，因?yàn)?Redis 的命令只能在客戶端上下文中執(zhí)行，而載入 AOF 文件時所使用的的命令直接來源于 AOF 文件而不是網(wǎng)絡(luò)連接，所以服務(wù)器使用了一個沒有網(wǎng)絡(luò)連接的偽客戶端來執(zhí)行 AOF 文件保存的寫命令，偽客戶端執(zhí)行命令的效果和帶網(wǎng)絡(luò)連接的客戶端執(zhí)行命令的效果完全一樣的。
• 從 AOF 文件中分析并取出一條寫命令。
• 使用偽客戶端執(zhí)行被讀出的寫命令。
• 一直執(zhí)行步驟 2 和步驟3，直到 AOF 文件中的所有寫命令都被處理完畢為止。

當(dāng)完成以上步驟之后，AOF 文件所保存的數(shù)據(jù)庫狀態(tài)就會被完整還原出來。

AOF 重寫

因?yàn)?AOF 持久化是通過保存被執(zhí)行的寫命令來記錄 Redis 狀態(tài)的，所以隨著 Redis 長時間運(yùn)行，AOF 文件中的內(nèi)容會越來越多，文件的體積也會越來越大，如果不加以控制的話，體積過大的 AOF 文件很可能對 Redis 甚至宿主計算機(jī)造成影響。

為了解決 AOF 文件體積膨脹的問題，Redis 提供了 AOF 文件重寫( rewrite) 功能。通過該功能，Redis 可以創(chuàng)建一個新的 AOF 文件來替代現(xiàn)有的 AOF 文件。新舊兩個 AOF 文件所保存的 Redis 狀態(tài)相同，但是新的 AOF 文件不會包含任何浪費(fèi)空間的榮譽(yù)命令，所以新 AOF 文件的體積通常比舊 AOF 文件的體積要小得很多。

?

?

?

如上圖所示，重寫前要記錄名為list的鍵的狀態(tài)，AOF 文件要保存五條命令，而重寫后，則只需要保存一條命令。

AOF 文件重寫并不需要對現(xiàn)有的 AOF 文件進(jìn)行任何讀取、分析或者寫入操作，而是通過讀取服務(wù)器當(dāng)前的數(shù)據(jù)庫狀態(tài)來實(shí)現(xiàn)的。首先從數(shù)據(jù)庫中讀取鍵現(xiàn)在的值，然后用一條命令去記錄鍵值對，代替之前記錄這個鍵值對的多條命令，這就是 AOF 重寫功能的實(shí)現(xiàn)原理。

在實(shí)際過程中，為了避免在執(zhí)行命令時造成客戶端輸入緩沖區(qū)溢出，AOF 重寫在處理列表、哈希表、集合和有序集合這四種可能會帶有多個元素的鍵時，會先檢查鍵所包含的元素數(shù)量，如果數(shù)量超過 REDIS_AOF_REWRITE_ITEMS_PER_CMD ( 一般為64 )常量，則使用多條命令記錄該鍵的值，而不是一條命令。

rewrite的觸發(fā)機(jī)制主要有一下三個：

• 手動調(diào)用 bgrewriteaof 命令，如果當(dāng)前有正在運(yùn)行的 rewrite 子進(jìn)程，則本次rewrite 會推遲執(zhí)行，否則，直接觸發(fā)一次 rewrite。
• 通過配置指令手動開啟 AOF 功能，如果沒有 RDB 子進(jìn)程的情況下，會觸發(fā)一次 rewrite，將當(dāng)前數(shù)據(jù)庫中的數(shù)據(jù)寫入 rewrite 文件。
• 在 Redis 定時器中，如果有需要退出執(zhí)行的 rewrite 并且沒有正在運(yùn)行的 RDB 或者 rewrite 子進(jìn)程時，觸發(fā)一次或者 AOF 文件大小已經(jīng)到達(dá)配置的 rewrite 條件也會自動觸發(fā)一次。

AOF 后臺重寫

AOF 重寫函數(shù)會進(jìn)行大量的寫入操作，調(diào)用該函數(shù)的線程將被長時間阻塞，所以 Redis 在子進(jìn)程中執(zhí)行 AOF 重寫操作。

• 子進(jìn)程進(jìn)行 AOF 重寫期間，Redis 進(jìn)程可以繼續(xù)處理客戶端命令請求。
• 子進(jìn)程帶有父進(jìn)程的內(nèi)存數(shù)據(jù)拷貝副本，在不適用鎖的情況下，也可以保證數(shù)據(jù)的安全性。

但是，在子進(jìn)程進(jìn)行 AOF 重啟期間，Redis接收客戶端命令，會對現(xiàn)有數(shù)據(jù)庫狀態(tài)進(jìn)行修改，從而導(dǎo)致數(shù)據(jù)當(dāng)前狀態(tài)和 重寫后的 AOF 文件所保存的數(shù)據(jù)庫狀態(tài)不一致。

為此，Redis 設(shè)置了一個 AOF 重寫緩沖區(qū)，這個緩沖區(qū)在服務(wù)器創(chuàng)建子進(jìn)程之后開始使用，當(dāng) Redis 執(zhí)行完一個寫命令之后，它會同時將這個寫命令發(fā)送給 AOF 緩沖區(qū)和 AOF 重寫緩沖區(qū)。

?

?

?

當(dāng)子進(jìn)程完成 AOF 重寫工作之后，它會向父進(jìn)程發(fā)送一個信號，父進(jìn)程在接收到該信號之后，會調(diào)用一個信號處理函數(shù)，并執(zhí)行以下工作：

• 將 AOF 重寫緩沖區(qū)中的所有內(nèi)容寫入到新的 AOF 文件中，保證新 AOF 文件保存的數(shù)據(jù)庫狀態(tài)和服務(wù)器當(dāng)前狀態(tài)一致。
• 對新的 AOF 文件進(jìn)行改名，原子地覆蓋現(xiàn)有 AOF 文件，完成新舊文件的替換
• 繼續(xù)處理客戶端請求命令。

在整個 AOF 后臺重寫過程中，只有信號處理函數(shù)執(zhí)行時會對 Redis 主進(jìn)程造成阻塞，在其他時候，AOF 后臺重寫都不會阻塞主進(jìn)程。

?

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的转-Redis AOF 持久化详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。