sysbench测试mysql性能(TPS、QPS、IOPS)(重要)
掌握數(shù)據(jù)庫的性能情況是非常必要的。本文介紹了MySQL基準(zhǔn)測(cè)試的基本概念,以及使用sysbench對(duì)MySQL進(jìn)行基準(zhǔn)測(cè)試的詳細(xì)方法,本文主要針對(duì)金山的單版RDS數(shù)據(jù)庫測(cè)試。
一、基準(zhǔn)測(cè)試簡介
1、什么是基準(zhǔn)測(cè)試
數(shù)據(jù)庫的基準(zhǔn)測(cè)試是對(duì)數(shù)據(jù)庫的性能指標(biāo)進(jìn)行定量的、可復(fù)現(xiàn)的、可對(duì)比的測(cè)試。
基準(zhǔn)測(cè)試與壓力測(cè)試
基準(zhǔn)測(cè)試可以理解為針對(duì)系統(tǒng)的一種壓力測(cè)試。但基準(zhǔn)測(cè)試不關(guān)心業(yè)務(wù)邏輯,更加簡單、直接、易于測(cè)試,數(shù)據(jù)可以由工具生成,不要求真實(shí);而壓力測(cè)試一般考慮業(yè)務(wù)邏輯(如購物車業(yè)務(wù)),要求真實(shí)的數(shù)據(jù)。
2、基準(zhǔn)測(cè)試的作用
對(duì)于多數(shù)Web應(yīng)用,整個(gè)系統(tǒng)的瓶頸在于數(shù)據(jù)庫;原因很簡單:Web應(yīng)用中的其他因素,例如網(wǎng)絡(luò)帶寬、負(fù)載均衡節(jié)點(diǎn)、應(yīng)用服務(wù)器(包括CPU、內(nèi)存、硬盤燈、連接數(shù)等)、緩存,都很容易通過水平的擴(kuò)展(俗稱加機(jī)器)來實(shí)現(xiàn)性能的提高。而對(duì)于MySQL,由于數(shù)據(jù)一致性的要求,無法通過增加機(jī)器來分散向數(shù)據(jù)庫寫數(shù)據(jù)帶來的壓力;雖然可以通過前置緩存(Redis等)、讀寫分離、分庫分表來減輕壓力,但是與系統(tǒng)其它組件的水平擴(kuò)展相比,受到了太多的限制。
而對(duì)數(shù)據(jù)庫的基準(zhǔn)測(cè)試的作用,就是分析在當(dāng)前的配置下(包括硬件配置、OS、數(shù)據(jù)庫設(shè)置等),數(shù)據(jù)庫的性能表現(xiàn),從而找出MySQL的性能閾值,并根據(jù)實(shí)際系統(tǒng)的要求調(diào)整配置。
3、基準(zhǔn)測(cè)試的指標(biāo)
常見的數(shù)據(jù)庫指標(biāo)包括:
TPS/QPS:衡量吞吐量。(TPS:每秒事務(wù)處理量(TransactionPerSecond)、每秒查詢率QPS是對(duì)一個(gè)特定的查詢服務(wù)器在規(guī)定時(shí)間內(nèi)所處理流量多少的衡量標(biāo)準(zhǔn))
響應(yīng)時(shí)間:包括平均響應(yīng)時(shí)間、最小響應(yīng)時(shí)間、最大響應(yīng)時(shí)間、時(shí)間百分比等,其中時(shí)間百分比參考意義較大,如前95%的請(qǐng)求的最大響應(yīng)時(shí)間。。
并發(fā)量:同時(shí)處理的查詢請(qǐng)求的數(shù)量。
1
2
3
4、基準(zhǔn)測(cè)試的分類
對(duì)MySQL的基準(zhǔn)測(cè)試,有如下兩種思路:
(1)針對(duì)整個(gè)系統(tǒng)的基準(zhǔn)測(cè)試:通過http請(qǐng)求進(jìn)行測(cè)試,如通過瀏覽器、APP或postman等測(cè)試工具。該方案的優(yōu)點(diǎn)是能夠更好的針對(duì)整個(gè)系統(tǒng),測(cè)試結(jié)果更加準(zhǔn)確;缺點(diǎn)是設(shè)計(jì)復(fù)雜實(shí)現(xiàn)困難。
(2)只針對(duì)MySQL的基準(zhǔn)測(cè)試:優(yōu)點(diǎn)和缺點(diǎn)與針對(duì)整個(gè)系統(tǒng)的測(cè)試恰好相反。
在針對(duì)MySQL進(jìn)行基準(zhǔn)測(cè)試時(shí),一般使用專門的工具進(jìn)行,例如mysqlslap、sysbench等。其中,sysbench比mysqlslap更通用、更強(qiáng)大,且更適合Innodb(因?yàn)槟M了許多Innodb的IO特性),下面介紹使用sysbench進(jìn)行基準(zhǔn)測(cè)試的方法。
二、部署環(huán)境
首先創(chuàng)建一臺(tái)云主機(jī)?
創(chuàng)建RDS實(shí)例并將云主機(jī)添加到RDS實(shí)例
在云主機(jī)終端上可以用命令行連接到RDS數(shù)據(jù)庫,如下:
[root@vm192-168-80-2 sysbench-1.0]# mysql -h 192.168.89.18 -u admin -p
1
三、sysbench
1、sysbench簡介
sysbench是跨平臺(tái)的基準(zhǔn)測(cè)試工具,支持多線程,支持多種數(shù)據(jù)庫;主要包括以下幾種測(cè)試:
cpu性能
磁盤io性能
調(diào)度程序性能
內(nèi)存分配及傳輸速度
POSIX線程性能
數(shù)據(jù)庫性能(OLTP基準(zhǔn)測(cè)試)
1
2
3
4
5
6
本文主要介紹對(duì)數(shù)據(jù)庫性能的測(cè)試。
2、sysbench安裝
本文使用的環(huán)境時(shí)CentOS 6.8;在其他Linux系統(tǒng)上的安裝方法大同小異。MySQL版本是5.6。
下載解壓
wget https://github.com/akopytov/sysbench/archive/1.0.zip -O "sysbench-1.0.zip"
unzip sysbench-1.0.zip
cd sysbench-1.0
1
2
3
安裝依賴
yum install automake libtool –y
1
安裝
./autogen.sh
./configure
make
make install
1
2
3
4
安裝成功
sysbench --version
sysbench 1.0.9
1
2
3、sysbench語法
執(zhí)行sysbench –help,可以看到sysbench的詳細(xì)使用方法。
sysbench的基本語法如下:
sysbench [options]… [testname] [command]
下面說明實(shí)際使用中,常用的參數(shù)和命令。
(1)command
command是sysbench要執(zhí)行的命令,包括prepare、run和cleanup,顧名思義,prepare是為測(cè)試提前準(zhǔn)備數(shù)據(jù),run是執(zhí)行正式的測(cè)試,cleanup是在測(cè)試完成后對(duì)數(shù)據(jù)庫進(jìn)行清理。
(2)testname
testname指定了要進(jìn)行的測(cè)試,在老版本的sysbench中,可以通過–test參數(shù)指定測(cè)試的腳本;而在新版本中,–test參數(shù)已經(jīng)聲明為廢棄,可以不使用–test,而是直接指定腳本。
例如,如下兩種方法效果是一樣的:
sysbench --test=./tests/include/oltp_legacy/oltp.lua
sysbench ./tests/include/oltp_legacy/oltp.lua
1
2
測(cè)試時(shí)使用的腳本為lua腳本,可以使用sysbench自帶腳本,也可以自己開發(fā)。對(duì)于大多數(shù)應(yīng)用,使用sysbench自帶的腳本就足夠了。不同版本的sysbench中,lua腳本的位置可能不同,可以自己在sysbench路徑下使用find命令搜索oltp.lua。P.S.:大多數(shù)數(shù)據(jù)服務(wù)都是oltp類型的,如果你不了解什么是oltp,那么大概率你的數(shù)據(jù)服務(wù)就是oltp類型的。
(3)options
sysbench的參數(shù)有很多,其中比較常用的包括:
MySQL連接信息參數(shù)
--mysql-host:MySQL服務(wù)器主機(jī)名,默認(rèn)localhost;如果在本機(jī)上使用localhost報(bào)錯(cuò),提示無法連接MySQL服務(wù)器,改成本機(jī)的IP地址應(yīng)該就可以了。
--mysql-port:MySQL服務(wù)器端口,默認(rèn)3306
--mysql-user:用戶名
--mysql-password:密碼
1
2
3
4
MySQL執(zhí)行參數(shù)
--oltp-test-mode:執(zhí)行模式,包括simple、nontrx和complex,默認(rèn)是complex。simple模式下只測(cè)試簡單的查詢;nontrx不僅測(cè)試查詢,還測(cè)試插入更新等,但是不使用事務(wù);complex模式下測(cè)試最全面,會(huì)測(cè)試增刪改查,而且會(huì)使用事務(wù)。可以根據(jù)自己的需要選擇測(cè)試模式。
--oltp-tables-count:測(cè)試的表數(shù)量,根據(jù)實(shí)際情況選擇
--oltp-table-size:測(cè)試的表的大小,根據(jù)實(shí)際情況選擇
--threads:客戶端的并發(fā)連接數(shù)
--time:測(cè)試執(zhí)行的時(shí)間,單位是秒,該值不要太短,可以選擇120
--report-interval:生成報(bào)告的時(shí)間間隔,單位是秒,如10
1
2
3
4
5
6
4、sysbench使用舉例
在執(zhí)行sysbench時(shí),應(yīng)該注意:
(1)盡量不要在MySQL服務(wù)器運(yùn)行的機(jī)器上進(jìn)行測(cè)試,一方面可能無法體現(xiàn)網(wǎng)絡(luò)(哪怕是局域網(wǎng))的影響,另一方面,sysbench的運(yùn)行(尤其是設(shè)置的并發(fā)數(shù)較高時(shí))會(huì)影響MySQL服務(wù)器的表現(xiàn)。
(2)可以逐步增加客戶端的并發(fā)連接數(shù)(–thread參數(shù)),觀察在連接數(shù)不同情況下,MySQL服務(wù)器的表現(xiàn);如分別設(shè)置為10,20,50,100等。
(3)一般執(zhí)行模式選擇complex即可,如果需要特別測(cè)試服務(wù)器只讀性能,或不使用事務(wù)時(shí)的性能,可以選擇simple模式或nontrx模式。
(4)如果連續(xù)進(jìn)行多次測(cè)試,注意確保之前測(cè)試的數(shù)據(jù)已經(jīng)被清理干凈。
下面是sysbench使用的一個(gè)例子:
(1)準(zhǔn)備數(shù)據(jù)
?sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.89.18 --mysql-port=3306 --mysql-user=admin --mysql-password=Aa123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 prepare ? ? ? ??
1
使用了10個(gè)表,每個(gè)表有10萬條數(shù)據(jù),客戶端的并發(fā)線程數(shù)為10,執(zhí)行時(shí)間為120秒,每10秒生成一次報(bào)告。
(2)執(zhí)行測(cè)試
將測(cè)試結(jié)果導(dǎo)出到文件中,便于后續(xù)分析。
sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.89.18 --mysql-port=3306 --mysql-user=admin --mysql-password=Aa123456 --oltp-test-mode=complex --oltp-tables-count=10 --oltp-table-size=100000 --threads=10 --time=120 --report-interval=10 run >> /root/test/mysysbench.log
1
(3)清理數(shù)據(jù)
執(zhí)行完測(cè)試后,清理數(shù)據(jù),否則后面的測(cè)試會(huì)受到影響。
[root@vm192-168-80-2 sysbench-1.0]# sysbench ./tests/include/oltp_legacy/oltp.lua --mysql-host=192.168.89.18 --mysql-port=3306 --mysql-user=admin --mysql-password=Aa123456 cleanup
sysbench 1.0.14 (using bundled LuaJIT 2.1.0-beta2)
Dropping table 'sbtest1'...
1
2
3
4
5、測(cè)試結(jié)果
測(cè)試結(jié)束后,查看輸出文件,如下所示:
sysbench 1.0.14 (using bundled LuaJIT 2.1.0-beta2)
Running the test with following options:
Number of threads: 10
Report intermediate results every 10 second(s)
Initializing random number generator from current time
Initializing worker threads...
--線程啟動(dòng)
Threads started!
-- 每10秒鐘報(bào)告一次測(cè)試結(jié)果,tps、每秒讀、每秒寫、99%以上的響應(yīng)時(shí)長統(tǒng)計(jì)
[ 10s ] thds: 10 tps: 956.45 qps: 19139.38 (r/w/o: 13399.56/3825.92/1913.91) lat (ms,95%): 29.72 err/s: 0.00 reconn/s: 0.00
[ 20s ] thds: 10 tps: 989.71 qps: 19804.24 (r/w/o: 13862.17/3962.55/1979.52) lat (ms,95%): 28.67 err/s: 0.10 reconn/s: 0.00
[ 30s ] thds: 10 tps: 995.44 qps: 19909.03 (r/w/o: 13936.11/3982.05/1990.87) lat (ms,95%): 27.66 err/s: 0.00 reconn/s: 0.00
[ 40s ] thds: 10 tps: 983.30 qps: 19660.90 (r/w/o: 13764.23/3930.08/1966.59) lat (ms,95%): 27.66 err/s: 0.00 reconn/s: 0.00
[ 50s ] thds: 10 tps: 994.20 qps: 19882.58 (r/w/o: 13918.26/3975.92/1988.41) lat (ms,95%): 29.19 err/s: 0.00 reconn/s: 0.00
[ 60s ] thds: 10 tps: 982.50 qps: 19648.18 (r/w/o: 13752.56/3930.82/1964.81) lat (ms,95%): 28.16 err/s: 0.00 reconn/s: 0.00
[ 70s ] thds: 10 tps: 981.10 qps: 19624.20 (r/w/o: 13737.80/3924.00/1962.40) lat (ms,95%): 29.19 err/s: 0.00 reconn/s: 0.00
[ 80s ] thds: 10 tps: 991.69 qps: 19837.87 (r/w/o: 13885.81/3968.67/1983.39) lat (ms,95%): 27.17 err/s: 0.00 reconn/s: 0.00
[ 90s ] thds: 10 tps: 1007.34 qps: 20142.36 (r/w/o: 14100.50/4027.27/2014.59) lat (ms,95%): 26.68 err/s: 0.00 reconn/s: 0.00
[ 100s ] thds: 10 tps: 1009.76 qps: 20195.17 (r/w/o: 14135.79/4039.75/2019.63) lat (ms,95%): 26.20 err/s: 0.00 reconn/s: 0.00
[ 110s ] thds: 10 tps: 1003.80 qps: 20077.42 (r/w/o: 14053.54/4016.28/2007.59) lat (ms,95%): 25.74 err/s: 0.00 reconn/s: 0.00
[ 120s ] thds: 10 tps: 984.30 qps: 19685.77 (r/w/o: 13781.75/3935.41/1968.61) lat (ms,95%): 28.67 err/s: 0.00 reconn/s: 0.00
SQL statistics:
? ? queries performed:
? ? ? ? read: ? ? ? ? ? ? ? ? ? ? ? ? ? ?1663326 --讀總數(shù)
? ? ? ? write: ? ? ? ? ? ? ? ? ? ? ? ? ? 475233 -- 寫總數(shù) ?
? ? ? ? other: ? ? ? ? ? ? ? ? ? ? ? ? ? 237617 -- 其他操作總數(shù)(SELECT、INSERT、UPDATE、DELETE之外的操作,例如COMMIT等) ?
? ? ? ? total: ? ? ? ? ? ? ? ? ? ? ? ? ? 2376176 -- 全部總數(shù)
? ? transactions: ? ? ? ? ? ? ? ? ? ? ? ?118808 (989.85 per sec.) -- 總事務(wù)數(shù)(每秒事務(wù)數(shù))
? ? queries: ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2376176 (19797.13 per sec.)
? ? ignored errors: ? ? ? ? ? ? ? ? ? ? ?1 ? ? ?(0.01 per sec.) --總忽略錯(cuò)誤總數(shù)(每秒忽略錯(cuò)誤次數(shù))
? ? reconnects: ? ? ? ? ? ? ? ? ? ? ? ? ?0 ? ? ?(0.00 per sec.) --重連總數(shù)(每秒重連次數(shù))
General statistics: --常規(guī)統(tǒng)計(jì)
? ? total time: ? ? ? ? ? ? ? ? ? ? ? ? ?120.0244s --總耗時(shí)
? ? total number of events: ? ? ? ? ? ? ?118808 --共發(fā)生多少事務(wù)數(shù)
Latency (ms):
? ? ? ? ?min: ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?6.08 --最小耗時(shí)
? ? ? ? ?avg: ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 10.10 --平均耗時(shí)
? ? ? ? ?max: ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 87.65 --最長耗時(shí)
? ? ? ? ?95th percentile: ? ? ? ? ? ? ? ? ? ? ? 28.16 --超過95%平均耗時(shí)
? ? ? ? ?sum: ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1199522.76
Threads fairness: --并發(fā)統(tǒng)計(jì)
? ? events (avg/stddev): ? ? ? ? ? 11880.8000/273.15 --總處理事件數(shù)/標(biāo)準(zhǔn)偏差
? ? execution time (avg/stddev): ? 119.9523/0.00 --總執(zhí)行時(shí)間/標(biāo)準(zhǔn)偏差
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
其中,對(duì)于我們比較重要的信息包括:
queries:查詢總數(shù)及qps
transactions:事務(wù)總數(shù)及tps
Latency-95th percentile:前95%的請(qǐng)求的最大響應(yīng)時(shí)間,本例中是28.16毫秒。
查看mysql連接數(shù)?
6、建議
下面是使用sysbench的一些建議。
1、在開始測(cè)試之前,應(yīng)該首先明確:應(yīng)采用針對(duì)整個(gè)系統(tǒng)的基準(zhǔn)測(cè)試,還是針對(duì)MySQL的基準(zhǔn)測(cè)試,還是二者都需要。
2、如果需要針對(duì)MySQL的基準(zhǔn)測(cè)試,那么還需要明確精度方面的要求:是否需要使用生產(chǎn)環(huán)境的真實(shí)數(shù)據(jù),還是使用工具生成也可以;前者實(shí)施起來更加繁瑣。如果要使用真實(shí)數(shù)據(jù),盡量使用全部數(shù)據(jù),而不是部分?jǐn)?shù)據(jù)。
3、基準(zhǔn)測(cè)試要進(jìn)行多次才有意義。
4、測(cè)試時(shí)需要注意主從同步的狀態(tài)。
5、測(cè)試必須模擬多線程的情況,單線程情況不但無法模擬真實(shí)的效率,也無法模擬阻塞甚至死鎖情況
參考文獻(xiàn):https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html
————————————————
版權(quán)聲明:本文為CSDN博主「三支煙」的原創(chuàng)文章,遵循 CC 4.0 BY-SA 版權(quán)協(xié)議,轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/qq_36357820/article/details/80079012
總結(jié)
以上是生活随笔為你收集整理的sysbench测试mysql性能(TPS、QPS、IOPS)(重要)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 庆聊聊天室(新碧聊聊天室)
- 下一篇: 运行pythonp 提示:please