NoSQL(2)之 Redis配置与优化
文章目錄
- 一、關系數據庫和非關系數據庫
- 1.1 關系型數據庫
- 1.2 非關系型數據庫
- 1.3 非關系型數據庫的產生背景
- 1.4 關系型數據庫和非關系型數據庫區別
- 1.數據存儲方式不同
- 2.擴展方式不同
- 3.對事務性的支持不同
- 二、Redis介紹
- 三、Redis安裝部署
- 3.1 Redis安裝部署具體操作步驟(實操)
- 1 . 關閉防火墻和SElinux
- 2 . 安裝gcc gcc-c++ 編譯器
- 3 . 將redis-5.0.7.tar.gz 壓縮包上傳到/opt目錄中然后解壓
- 4 . 進入目錄然后直接make
- 5 . 指定redis的目錄
- 6 . 執行install_server.sh腳本
- 7 . 優化路徑并查端口是否打開
- 8 . 測試服務控制命令
- 9 . 修改配置文件,添加監聽的主機地址,其他默認已經開啟
- 10 . 重啟redis查看監聽的地址
- 3.2 Redis命令工具
- 3.3 redis-cli命令行工具(遠程登錄)
- 3.4 redis-benchmark 測試工具
- 示例1:向IP地址為192.168.80.40、 端口為6379 的Redis 服務器發送100個并發連接與100000 個請求測試性能。
- 示例2:測試存取大小為100字節的數據包的性能。
- 示例3:測試本機上Redis 服務在進行set與lpush操作時的性能。
- 四、Redis數據庫常用命令
- 4.1 常用命令
- 4.3 示例
- 五、Redis多數據庫常用命令
- 六、Redis持久化
- (一)Redis提供兩種方式進行持久化:
- 6.1 觸發條件
- (一)手動觸發
- (二)自動觸發
- (三)其他自動觸發機制
- 6.2 執行流程
- 6.3 啟動時加載
- 七、AOF持久化
- 7.1 開啟AOF
- 7.2 執行流程
- (一)AOF的執行流程包括:
- (1) 命令追加 (append)
- (2) 文件寫入(write) 和文件同步 (sync)
- (3) 文件重寫 (rewrite)
- (二)文件重寫能壓縮AOF文件的原因
- (三)文件重寫的觸發
- (四)文件重寫的流程
- (五)重寫流程注意點
- 7.3 啟動時加載
- 八、RDB和AOF的優缺點
- 8.1 RDB持久化的優缺點
- 8.2 AOF持久化的優缺點
- 九、Redis性能管理
- 1 . 查看Redis內存使用
- 2 . 內存碎片率
- 3 . 跟蹤內存碎片率
- 4 . 內存使用率
- 5 . 內回收key
- 十、總結
- 1)數據庫
- 2)redis測試工具
- 3)redis數據庫命令
- 4)Redis多數據庫常用命令
- 5)Redis 高可用
- 6 ) 高可用中的持久化:RDB與AOF
- (1) 持久化方式:
- (2)redis啟用的優先級
- (3)RDB和AOF中的持久化模式
- 7 ) redis的恢復策略/優勢
一、關系數據庫和非關系數據庫
1.1 關系型數據庫
一個結構化的數據庫,創建在關系模型基礎上
一般面向于記錄
包括:Oracle、MySQL、SQL Server、Microsoft Access、DB2等
1.2 非關系型數據庫
除了主流的關系型數據庫外的數據庫,都認為是非關系型
包括:Redis、MongBD、Hbase、CouhDB等
1.3 非關系型數據庫的產生背景
High performance——對數據庫高并發讀寫需求
Huge Storage——對海量數據高效存儲與訪問需求
High Scalability && High Availability——對數據庫高可擴展性與高可用性需求
1.4 關系型數據庫和非關系型數據庫區別
1.數據存儲方式不同
關系型和非關系型數據庫的主要差異是數據存儲的方式。
關系型數據天然就是表格式的,因此存儲在數據表的行和列中。數據表可以彼此關聯協作存儲,也很容易提取數據。
非關系型與其相反,數據不適合存儲在數據表的行和列中,而是大塊組合在一起。非關系型數據通常存儲在數據集中,就像文檔、鍵值對或者圖結構。你的數據及其特性是選擇數據存儲和提取方式的首要影響因素。
2.擴展方式不同
SQL和NoSQL數據庫最大的差別可能是在擴展方式上,要支持日益增長的需求當然要擴展。
要支持更多并發量,SQL數據庫是縱向擴展,也就是說提高處理能力,使用速度更快速的計算機,這樣處理相同的數據集就更快了。因為數據存儲在關系表中,操作的性能瓶頸可能涉及很多個表,這都需要通過提高計算機性能來客服。雖然SQL數據庫有很大擴展空間,但最終肯定會達到縱向擴展的上限。
而NoSQL數據庫是橫向擴展的。因為非關系型數據存儲天然就是分布式的,NoSQL數據庫的擴展可以通過給資源池添加更多普通的數據庫服務器(節點) 來分擔負載。
3.對事務性的支持不同
如果數據操作需要高事務性或者復雜數據查詢需要控制執行計劃,那么傳統的SQL數據庫從性能和穩定性方面考慮是最佳選擇。SQL數據庫支持對事務原子性細粒度控制,并且易于回滾事務。
雖然NoSQL數據庫也可以使用事務操作,但穩定性方面沒法和關系型數據庫比較,所以它們真正閃亮的價值是在操作的擴展性和大數據量處理方面
二、Redis介紹
官方網址:https://redis.io/
Redis是一個開源的、使用C語言編寫的NoSOL數據庫,Redis服務器程序是單進程模型。
Redis基于內存運行并支持持久化(支持存儲在磁盤),采用key-value(鍵值對)的存儲形式,是目前分布式架構中不可或缺的一環。
Redis服務在一臺服務器上可以同時啟動多個Redis進程,Redis的實際處理速度則是完全依靠于主進程的執行效率。
若在服務器上只運行一個Redis進程, 當多個客戶端同時訪問時, 服務器的處理能力是會有一定程度的下降;
若在同一臺服務器上開啟 多個Redis進程, Redis在提高并發處理能力的同時會給服務器的CPU造成很大壓力。 即在實際生產環境中, 需要根據實際的需求來決定開啟多少個Redis進程。
(一般建議開啟2個,用作備份和抗高并發)
若對高并發要求更高一些, 可能會考慮在同一臺服務器上開啟多個進程。 若CPU資源比較緊張,采用單進程即可。
三、Redis安裝部署
3.1 Redis安裝部署具體操作步驟(實操)
1 . 關閉防火墻和SElinux
2 . 安裝gcc gcc-c++ 編譯器
3 . 將redis-5.0.7.tar.gz 壓縮包上傳到/opt目錄中然后解壓
4 . 進入目錄然后直接make
5 . 指定redis的目錄
6 . 執行install_server.sh腳本
7 . 優化路徑并查端口是否打開
8 . 測試服務控制命令
9 . 修改配置文件,添加監聽的主機地址,其他默認已經開啟
10 . 重啟redis查看監聽的地址
3.2 Redis命令工具
redis-server: 用于啟動Redis 的工具
redis-benchmark: 用于檢測Redis在本機的運行效率
redis-check-aof: 修復AOF持久化文件
redis-check-rdb: 修復RDB 持久化文件
redis-cli: Redis 命令行工具
rdb 和 aof 是redis服務中持久化功能的兩種形式!
3.3 redis-cli命令行工具(遠程登錄)
語法: redis-cli -h host -p port -a password
選項:
-h :指定遠程主機
-p :指定Redis 服務的端口號
-a :指定密碼,未設置數據庫密碼可以省略-a選項
若不添加任何選項表示,則使用127.0.0.1:6379 連接本機上的 Redis 數據庫,
redis-cli -h 192.168.80.40 -p 6379
3.4 redis-benchmark 測試工具
redis-benchmark 是官方自帶的 Redis 性能測試工具,可以有效的測試 Redis 服務的性能。
基本的測試語法: redis-benchmark [選項] [選項值]
-h :指定服務器主機名。
-p :指定服務器端口。
-s :指定服務器socket(套接字)
-c :指定并發連接數。
-n :指定請求數。
-d :以字節的形式指定 SET/GET 值的數據大小。
-k : 1=keep alive 0=reconnect
-r : SET/GET/INCR 使用隨機key, SADD使用隨機值。
-P :通過管道傳輸請求。
-q :強制退出redis。 僅顯示query/sec 值。
–csv :以CSV格式輸出。
-l :生成循環,永久執行測試。
-t :僅運行以逗號分隔的測試命令列表。
-I : Idle模式。僅打開 N 個idle連接并等待。
示例1:向IP地址為192.168.80.40、 端口為6379 的Redis 服務器發送100個并發連接與100000 個請求測試性能。
redis-benchmark -h 192.168.80.40 -p 6379 -c 100 -n 100000
示例2:測試存取大小為100字節的數據包的性能。
redis-benchmark -h 192.168.80.40 -p 6379 -q -d 100
示例3:測試本機上Redis 服務在進行set與lpush操作時的性能。
redis-benchmark -t set,lpush -n 100000 -q
四、Redis數據庫常用命令
4.1 常用命令
set: 存放數據,命令格式為 set key value
get: 獲取數據,命令格式為 get key
命令(紅色命令) 解釋
set 存放數據
get 獲取數據
keys s * 獲取所有的key
keys s* 以s開頭的數據
keys s? 以s開頭后面包含任意一位的數據
exists aaa 判斷aaa 是否存在(存在:1,不存在:0)
del key 刪除當前數據庫的key
type key 獲取key對應的 value 值類型
rename key1 key2 將key1修改為key2
renamenx key1 key2 將key1修改為key2之前判斷key2是否存在,不存在則重命名
dbsize 查看當前數據庫中key的數目
4.3 示例
# rename 命令是對已有key進行重命名。 (覆蓋)
命令格式: rename 源key 目標key
使用rename命令進行重命名時,無論目標key是否存在都進行重命名,且源key的值會覆蓋目標key的值。在實際使用過程中,建議先用 exists命令查看目標key是否存在,然后再決定是否執行rename命令,以避免覆蓋重要數據。
# renamenx 命令的作用是對已有key進行重命名,并檢測新名是否存在,如果目標key存在則不進行重命名。 (不覆蓋)
命令格式: renamenx 源key 目標key
dbsize命令的作用是查看當前數據庫中key的數目。
五、Redis多數據庫常用命令
Redis支持多數據庫,Redis 默認情況下包含16個數據庫,數據庫名稱是用數字0-15 來依次命名的。
多數據庫相互獨立,互不干擾。
#多數據庫間切換
命令格式: select 序號
使用 redis-cli 連接Redis數據庫后,默認使用的是序號為 0 的數據庫。
127.0.0.1:6379> select 10 #切換至序號為10的數據庫
127.0.0.1:6379[10]> select 15 #切換至序號為15的數據庫
127.0.0.1:6379[15]> select 0 #切換至序號為0的數據庫
示例:
#多數據庫間移動數據
格式: move 鍵值 序號
127.0.0.1:6379> set tete1 100
OK
127.0.0.1:6379> get tete1
“100”
127.0.0.1:6379> select 1
OK
127.0.0.1:6379[1]> get tete1
(nil)
127.0.0.1:6379[1]> select 0 #切換至目標數據庫0
OK
127.0.0.1:6379> get tete1 #查看目標數據是否存在
“100”
127.0.0.1:6379> move tete1 1 #將數據庫0中tete1移動到數據庫1中
(integer) 1
127.0.0.1:6379> select 1 #切換至目標數據庫1
OK
127.0.0.1:6379[1]> get tete1 #查看被移動數據
“100”
127.0.0.1:6379[1]> select 0
OK
127.0.0.1:6379> get tete1 #在數據庫0中無法查看到tete1的值
(nil)
#清除數據庫內數據
FLUSHDB :清空當前數據庫數據
FLUSHALL :清空所有數據庫的數據,慎用!
六、Redis 高可用
在web服務器中,高可用是指服務器可以正常訪問的時間,衡量的標準是在多長時間內可以提供正常服務(99.9%、99.99%、99.999%等等)。但是在Redis語境中,高可用的含義似乎要寬泛一些,除了保證提供正常服務(如主從分離、快速容災技術),還需要考慮數據容量的擴展,數據安全不會丟失等。
在Redis中,實現高可用的技術主要包括持久化、主從復制、哨兵和集群,作用如下:
持久化 :持久化是最簡單的高可用方法(有時甚至不被歸為高可用的手段),主要作用是數據備份,即將數據存儲在硬盤,保證數據不會因進程退出而丟失。
主從復制 :主從復制是高可用Redis的基礎,哨兵和集群都是在主從復制基礎上實現高可用的。主從復制主要實現了數據的多機備份,以及對于讀操作的負載均衡和簡單的故障恢復。缺陷:故障恢復無法自動化;寫操作無法負載均衡;存儲能力受到單機的限制。
哨兵 :在主從復制的基礎上,哨兵實現了自動化的故障恢復。缺陷 :寫操作無法負載均衡;存儲能力受到單機的限制。
集群 : 通過集群, Redis解決了寫操作無法負載均衡,以及存儲能力受到單機限制的問題,實現了較為完善 的高可用方案。
六、Redis持久化
持久化的功能 :
Redis是內存數據庫,數據都是存儲在內存中,為了避免服務器斷電等原因導致Redis進程異常退出后數據的永久丟失,需要定期將Redis中的數據以某種形式(數據或命令)從內存保存到硬盤;當下次Redis重啟時,利用持久化文件實現數據恢復。除此之外,為了進行災難備份,可以將持久化文件拷貝到一個遠程位置。
(一)Redis提供兩種方式進行持久化:
RDB持久化(Redis DataBase) :原理是將Reids在內存中的數據庫記錄定時保存到磁盤上。
AOF持久化(append only file) :原理是將Reids的操作日志以追加的方式寫入文件,類似于MySQL的binlog。
由于AOF持久化的實時性更好,即當進程意外退出時丟失的數據更少,因此AOF是目前主流的持久化方式,不過RDB持久化仍然有其用武之地。
八、RDB持久化
RDB持久化是指在指定的時間間隔內將內存中當前進程中的數據生成快照保存到硬盤(因此也稱作快照持久化),用二進制壓縮存儲,保存的文件后綴是rdb;當Redis重新啟動時,可以讀取快照文件恢復數據。
6.1 觸發條件
RDB持久化的觸發分為:手動觸發和自動觸發兩種。
(一)手動觸發
save命令和bgsave命令都可以生成RDB文件。
save命令會阻塞Redis服務器進程,直到RDB文件創建完畢為止,在Redis服務器阻塞期間,服務器不能處理任何命令請求。
bgsave命令會創建一個子進程,由子進程來負責創建RDB文件,父進程 (即Redis主進程) 則繼續處理請求。
bgsave命令執行過程中,只有fork 子進程時會阻塞服務器,而對于save命令,整個過程都會阻塞服務器,因此save已基本被廢棄,線上環境要杜絕save的使用!!!
(二)自動觸發
在自動觸發RDB持久化時,Redis也 會選擇bgsave而不是save來進行持久化。
save m n #通過配置設置觸發
自動觸發最常見的情況是在配置文件中通過save m n,指定當m秒內發生n次變化時,會觸發bgsave。
vim /etc/redis/6379.conf
-----219行–以下三個save條件滿足任意一個時,都會引起bgsave的調用
save 900 1 :當時間到900秒時,如果redis數據發生了至少1次變化,則執行bgsave
save 300 10 :當時間到300秒時, 如果redis數據發生了至少10次變化,則執行bgsave
save 60 10000 :當時間到60秒時,如果redis數據發生了至少10000次變化, 則執行bgsave
-----242行–是否開啟RDB文件壓縮
rdbcompression yes
-----254行–指定RDB文件名
dbfilename dump.rdb
-----264行–指定RDB文件和AOF文件所在目錄
dir /var/lib/redis/6379
(三)其他自動觸發機制
除了 savemn 以外,還有一些其他情況會觸發bgsave:
在主從復制場景下,如果從節點執行全量復制操作,則主節點會執行bgsave命令,并將rdb文件發送給從節點。
執行shutdown命令時,自動執行rdb持久化。
6.2 執行流程
Redis父進程首先判斷 :當前是否在執行save,或bgsave/bgrewriteaof的子進程,如果在執行則bgsave命令直接返回。bgsave/bgrewriteaof 的子進程不能同時執行,主要是基于性能方面的考慮:兩個并發的子進程同時執行大量的磁盤寫操作,可能引起嚴重的性能問題。
父進程執行fork操作創建子進程,這個過程中父進程是阻塞的,Redis不能執行來自客戶端的任何命令
父進程fork后,bgsave 命令返回”Background saving started" 信息并不再阻塞父進程,并可以響應其他命令
子進程創建RDB文件,根據父進程內存快照生成臨時快照文件,完成后對原有文件進行原子替換
子進程發送信號給父進程表示完成,父進程更新統計信息
6.3 啟動時加載
RDB文件的載入工作是在服務器啟動時自動執行的,并沒有專門的命令。但是由于A0F的優先級更高,因此當AOF開啟時,Redis會優先載入AOF文件來恢復數據;只有當A0F關閉時,才會在Redis服務器啟動時檢測RDB文件,并自動載入。服務器載入RDB文件期間處于阻塞狀態,直到載入完成為止。
Redis載入RDB文件時,會對RDB文件進行校驗,如果文件損壞,則日志中會打印錯誤,Redis啟動失敗。
七、AOF持久化
? RDB持久化是將進程數據寫入文件,而AOF持久化,則是將Redis執行的每次寫、刪除命令記錄到單獨的日志文件中,查詢操作不會記錄; 當Redis重啟時再次執行AOF文件中的命令來恢復數據。
? 與RDB相比,AOF的實時性更好,因此已成為主流的持久化方案。
7.1 開啟AOF
Redis服務器默認開啟RDB,關閉AOF的, 要開啟AOF,需要在/etc/ redis/6379.conf配置文件中配置。
vim /etc/redis/6379.conf
-----700行–修改, 開啟AOF
appendonly yes
-----704行–指定A0F文件名稱
appendfilename “appendonly.aof”
-----796行–是否忽略最后一條可能存在問題的指令
aof-load-truncated yes
/etc/init.d/redis_6379 restart #重啟redis
7.2 執行流程
由于需要記錄Redis的每條寫命令,因此A0F不需要觸發,AOF的執行流程如下:
(一)AOF的執行流程包括:
● 命令追加(append): 將Redis的寫命令追加到緩沖區aof_ buf;
● 文件寫入(write)和文件同步(sync):根據不同的同步策略將aof_buf中的內容同步到硬盤;
● 文件重寫(rewrite): 定期重寫AOF文件,達到壓縮的目的。
(1) 命令追加 (append)
Redis先將寫命令追加到緩沖區,而不是直接寫入文件,主要是為了避免每次有寫命令都直接寫入硬盤,導致硬盤IO成為Redis負載的瓶頸。
命令追加的格式是Redis命令請求的協議格式,它是一種純文本格式,具有兼容性好、可讀性強、容易處理、操作簡單避免二次開銷等優點。在A0F文件中,除了用于指定數據庫的select命令 (如select0為選中0號數據庫) 是由Redis添加的,其他都是客戶端發送來的寫命令。
(2) 文件寫入(write) 和文件同步 (sync)
Redis 提供了多種AOF緩存區的同步文件策略,策略涉及到操作系統的write函數和fsync函數,說明如下:
為了提高文件寫入效率,在現代操作系統中,當用戶調用write函數將數據寫入文件時,操作系統通常會將數據暫存到一個內存緩沖區里,當緩沖區被填滿或超過了指定時限后,才真正將緩沖區的數據寫入到硬盤里。這樣的操作雖然提高了效率,但也帶來了安全問題:如果計算機停機,內存緩沖區中的數據會丟失;因此系統同時提供了fsync、fdatasync等同步函數,可以強制操作系統立刻將緩沖區中的數據寫入到硬盤里,從而確保數據的安全性。
AOF緩存區的同步文件策略存在三種同步方式,它們分別是:
vim /etc/redis/6379.conf
—729—
● appendfsync always:
解釋:命令寫入aof_ buf后立即調用系統fsync操作同步到AOF文件,fsync完成后線程返回。
這種情況下,每次有寫命令都要同步到AOF文件,硬盤IO成為性能瓶頸,Redis只能支持大約幾百TPS寫入,
嚴重降低了Redis的性能;即便是使用固態硬盤(SSD),每秒大約也只能處理幾萬個命令,而且會大大降低SSD的壽命。
● appendfsync no:
解釋:命令寫入aof_ buf后調用系統write操作,不對AOF文件做fsync同步;
同步由操作系統負責,通常同步周期為30秒。這種情況下,文件同步的時間不可控,
且緩沖區中堆積的數據會很多,數據安全性無法保證。
● appendfsynceverysec:
解釋:命令寫入aof_ buf后調用系統write操作,write完成后線程返回;
fsync同步文件操作由專門的線程每秒調用一次。
everysec是前述兩種策略的折中,是性能和數據安全性的平衡,
因此是Redis的默認配置,也是我們推薦的配置。
(3) 文件重寫 (rewrite)
隨著時間流逝,Redis服務器執行的寫命令越來越多,AOF文件也會越來越大:過大的AOF文件不僅會影響服務器的正常運行,也會導致數據恢復需要的時間過長。
文件重寫是指定期重寫AOF文件,減小AOF文件的體積。需要注意的是,AOF重寫是把Redis進程內的數據轉化為寫命令,同步到新的AOF文件;不會對舊的AOF文件進行任何讀取、寫入操作!
關于文件重寫需要注意的另一點是:對于AOF持久化來說,文件重寫雖然是強烈推薦的,但并不是必須的;即使沒有文件重寫,數據也可以被持久化并在Redis啟動的時候導入:因此在一些實現中,會關閉自動的文件重寫,然后通過定時任務在每天的某一時刻定時執行。
(二)文件重寫能壓縮AOF文件的原因
過期的數據不再寫入文件;
無效的命令不再寫入文件:如有些數據被重復設值(set mykey test1, set mykey test2)、有些數據被刪除了(sadd myset vtest, del myset) 等。
多條命令可以合并為一個:如sadd myset test1, sadd myset test2, sadd myset test3可以合并為sadd myset test1 test2 test3
通過上述內容可以看出,由于重寫后AOF執行的命令減少了,文件重寫既可以減少文件占用的空間,也可以加快恢復速度。
(三)文件重寫的觸發
文件重寫的觸發,分為手動觸發和自動觸發
手動觸發:直接調用bgrewriteaof命令,該命令的執行與bgsave有些類似:都是fork子進程進行具體的工作,且都只有在fork時阻塞。
自動觸發:通過設置auto-aof - rewrite-min-size選項和auto- aof - rewrite- percentage選項來自動執行BGREWRITEAOF
只有當auto-aof- rewrite- -min-size和auto-aof -rewrite-percentage兩個選項同時滿足時,才會自動觸發AOF重寫,即bgrewriteaof操作。
vim /etc/redis/ 6379. conf
----729----
● auto-aof- rewrite-percentage 100
當前AOF文件大小(即aof_current_size)是上次日志重寫時AOF文件大小(aof_base_size)兩倍時,
發生BGREWRITEAOF操作
● auto-aof - rewrite-min-size 64mb
當前A0F文件執行BGREWRITEAOF命令的最小值,避免剛開始啟動Reids時由于文件尺寸較小導致頻繁的BGREWRITEAOF
(四)文件重寫的流程
Redis父進程首先判斷當前是否存在正在執行bgsave/bgrewriteaof的子進程,如果存在則bgrewriteaof命令直接返回,如果存在bgsave命令則等bgsave執行完成后再執行。
父進程執行fork操作創建子進程,這個過程中父進程是阻塞的。
父進程fork后,bgrewriteaof 命令返回"Background append only file rewrite started" 信息并不再阻塞父進程,并可以響應其他命令。Redis的所有寫命令依然寫入AOF緩沖區,并根據appendfsync策略同步到硬盤,保證原有A0F機制的正確。
由于fork操作使用寫時復制技術,子進程只能共享fork操作時的內存數據。由于父進程依然在響應命令,因此Redis使用AOF重寫緩沖區(aof_ rewrite_buf) 保存這部分數據,防止新AOF文件生成期間丟失這部分數據。也就是說,bgrewriteaof執行 期間,Redis的寫 命令同時追加到aof_ buf和aof_ rewirte_ buf兩個緩沖區。
子進程根據內存快照,按照命令合并規則寫入到新的AOF文件。
子進程寫完新的AOF文件后,向父進程發信號,父進程更新統計信息,具體可以通過info persistence查看。
父進程把AOF重寫緩沖區的數據寫入到新的AOF文件,這樣就保證了新AOF文件所保存的數據庫狀態和服務器當前狀態一致。
使用新的AOF文件替換老文件,完成AOF重寫。
(五)重寫流程注意點
(1) 重寫由父進程fork子進程進行;
(2) 重寫期間Redis執行的寫命令,需要追加到新的AOF文件中,為此Redis引入了aof_ rewrite_buf緩存。
7.3 啟動時加載
當AOF開啟時,Redis啟 動時會優先載入AOF文件來恢復數據;只有當AOF關閉時,才會載入RDB文件恢復數據。
當AOF開啟,但AOF文 件不存在時,即使RDB文件存在也不會加載。
Redis載入AOF文件時,會對AOF文件進行校驗,如果文件損壞,則日志中會打印錯誤,Redis啟動失敗。但如果是AOF文件結尾不完整 (機器突然宕機等容易導致文件尾部不完整),且aof-load- truncated參數開啟,則日志中會輸出警告,Redis 忽略掉AOF文件的尾部,啟動成功。
aof-load-truncated參數默認是開啟的。
八、RDB和AOF的優缺點
8.1 RDB持久化的優缺點
優點:RDB文件緊湊,體積小,網絡傳輸快,適合全量復制;恢復速度比AOF快很多。當然,與AOF相比, RDB最 重要的優點之一是對性能的影響相對較小。
缺點:RDB文件的致命缺點在于其數據快照的持久化方式決定了必然做不到實時持久化,而在數據越來越重要的今天,數據的大量丟失很多時候是無法接受的,因此AOF持久化成為主流。此外,RDB文件需要滿足特定格式,兼容性差(如老版本的Redis不兼容新版本的RDB文件)。
對于RDB持久化,一方面是bgsave在進行fork操作時Redis主進程會阻塞,另一方面,子進程向硬盤寫數據也會帶來IO壓力。
8.2 AOF持久化的優缺點
與RDB持久化相對應,AOF的優點在于支持秒級持久化、兼容性好,缺點是文件大、恢復速度慢、對性能影響大。
對于AOF持久化,向硬盤寫數據的頻率大大提高(everysec策略下為秒級),IO壓力更大,甚至可能造成AOF追加阻塞問題。
AOF文件的重寫與RDB的bgsave類似,會有fork時的阻塞和子進程的I0壓力問題。相對來說,由于AOF向硬盤中寫數據的頻率更高,因此對Redis主進程性能的影響會更大。
九、Redis性能管理
1 . 查看Redis內存使用
192.168.9.236: 7001> info memory
2 . 內存碎片率
操作系統分配的內存值used_ memory_ rss除以Redis使用的內存值used_ memory計算得出內存碎片是由操作系統低效的分配/回收物理內存導致的 (不連續的物理內存分配)
3 . 跟蹤內存碎片率
跟蹤內存碎片率對理解Redis實例的資源性能是非常重要的:
內存碎片率稍大于1是合理的,這個值表示內存碎片率比較低
內存碎片率超過1.5,說明Redis消耗了實際需要物理內存的150號, 其中50號是內存碎片率。需要在redis-cli工具.上輸入shutdown save命令,并重啟Redis 服務器。
內存碎片率低于1的,說明Redis內存分配超出了物理內存,操作系統正在進行內存交換。需要增加可用物理內存或減少Redis內存占用。
4 . 內存使用率
redis實例的內存使用率超過可用最大內存,操作系統將開始進行內存與swap空間交換。
避免內存交換發生的方法:
● 針對緩存數據大小選擇安裝Redis 實例
● 盡可能的使用Hash數據結構存儲
● 設置key的過期時間
5 . 內回收key
保證合理分配redis有限的內存資源。
當達到設置的最大閥值時,需選擇一種key的回收策略,默認情況下回收策略是禁止刪除。
配置文件中修改maxmemory- policy屬性值:
vim /etc/redis/6379.conf
–598–
maxmemory-policy noenviction
●volatile-lru :使用LRU算法從已設置過期時間的數據集合中淘汰數據
●volatile-ttl :從已設置過期時間的數據集合中挑選即將過期的數據淘汰
●volatile-random :從已設置過期時間的數據集合中隨機挑選數據淘汰
●allkeys-lru :使用LRU算法從所有數據集合中淘汰數據
●allkeys-random :從數據集合中任意選擇數據淘汰
●noenviction :禁止淘汰數據
十、總結
1)數據庫
關系型數據庫:實例–>數據庫–>表(table)–>記錄行(row)、數據字段(column)
非關系型數據庫:實例–>數據庫–>集合(collection) -->鍵值對(key-value)
非關系型數據庫不需要手動建數據庫和集合(表)
2)redis測試工具
Redis命令工具中的 rdb 和 aof 是redis服務中持久化功能的兩種形式!
redis-cli命令行工具(遠程登錄);
redis-benchmark 測試工具(有效的測試 Redis 服務的性能)
3)redis數據庫命令
set 、get和del :存放、獲取和刪除數據
keys:獲取key,可以結合通配符 * 和 ?
exists和type:判斷key是否存在和判斷類型
rename和renamenx:重命名的兩種,后者會進行判斷,存在則不改
dbsize:查看當前數據庫中key的數目
4)Redis多數據庫常用命令
select 序號 :切換庫名(16個數據庫,數據庫名稱是用數字0-15)
move 鍵值 序號:多數據庫間移動數據
FLUSHDB :清空當前數據庫數據
FLUSHALL :清空所有數據庫的數據,慎用!
5)Redis 高可用
含義:高可用是指服務器可以正常訪問的時間,衡量的標準是在多長時間內可以提供正常服務。
組成:實現高可用的技術主要包括持久化、主從復制、哨兵和集群。
6 ) 高可用中的持久化:RDB與AOF
(1) 持久化方式:
①RDB:周期性的快照
②AOF:接近實時的持久化(以everysec方式)
(2)redis啟用的優先級
AOF > RDB 同時僅當AOF功能關閉的情況下,redis才會再重新啟動時使用RDB的方式進行恢復
(3)RDB和AOF中的持久化模式
①RDB:由redis主進程(周期性)fork派生出子進程對redis內存中的數據進行持久化,生成到.rdb文件中.
②AOF:根據持久化策略(alawys、no、everysec(默認)),先將redis中的語句保存在緩存區中,再從緩沖區同步到.aof文件中.
7 ) redis的恢復策略/優勢
redis與其他常用非關數據庫類似,都是將數據保存在內存中
而保存在內存中時,當redis重啟,內存數據丟失,但redis通過RDB或AOF的持久化功能可以在redis進行重啟之后,優先讀取AOF文件,基于AOF文件進行數據恢復這種方式來“持久化保存”數據。
總結
以上是生活随笔為你收集整理的NoSQL(2)之 Redis配置与优化的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: NoSQL(1)之 Redis的五大数据
- 下一篇: LNMP平台对接redis服务