java 多线程 异步日志_精彩技巧(1)-- 异步打印日志的一点事
一、前言
最近剛剛結(jié)束轉(zhuǎn)崗以來的第一次雙11壓測(cè),收獲頗多,難言言表, 本文就先談?wù)劗惒饺罩景?#xff0c;在高并發(fā)高流量響應(yīng)延遲要求比較小的系統(tǒng)中同步打日志已經(jīng)滿足不了需求了,同步打日志會(huì)阻塞調(diào)用打日志的線程,而打日志本身是需要寫磁盤的,所以會(huì)造成rt增加。異步日志就是為了解決這個(gè)問題。
二、日志打印模型
同步日志模型
如上圖,多個(gè)業(yè)務(wù)線程打印日志時(shí)候要等把內(nèi)容寫入磁盤后才會(huì)返回,所以打日志的rt就是寫入磁盤的耗時(shí)。
異步日志模型
如上圖多個(gè)業(yè)務(wù)線程打印日志時(shí)候是把打印任務(wù)放入內(nèi)存隊(duì)列后就直接返回了,而具體打印日志是有日志系統(tǒng)的一個(gè)日志線程去隊(duì)列里面獲取然后執(zhí)行,可見這種打印rt就是寫入內(nèi)存隊(duì)列的耗時(shí)。
三、關(guān)于異步日志的一些事
異步日志設(shè)置
對(duì)于logback來說異步日志里面的隊(duì)列是一個(gè)有界ArrayBlockingQueue,其中queueSize是隊(duì)列大小,taskLogAppender是引用的普通同步日志
discardingThreshold是一個(gè)閾值,通過下面代碼看他的作用:
當(dāng)隊(duì)列的剩余容量小于這個(gè)閾值并且當(dāng)前日志level TRACE, DEBUG or INFO ,則丟棄這些日志。
在壓測(cè)時(shí)候代碼配置如上,也就是配置了異步日志,但是還是出現(xiàn)了線程阻塞在打日志的地方了,經(jīng)查看是阻塞到了日志隊(duì)列ArrayBlockingQueue的put方法:
可知put方法在隊(duì)列滿時(shí)候會(huì)掛起當(dāng)前線程。那么如何解那?
上面介紹了discardingThreshold,可知本文設(shè)置為0說明永遠(yuǎn)不會(huì)丟棄日志level TRACE, DEBUG or INFO的日志,只要discardingThreshold>0則當(dāng)隊(duì)列快滿時(shí)候level TRACE, DEBUG or INFO的日志就會(huì)丟棄掉,這個(gè)貌似可以解決問題。但是如果打印的是warn級(jí)別的日志那?還是會(huì)在put的時(shí)候阻塞。
通過看代碼發(fā)現(xiàn)最終寫日志時(shí)候有個(gè)判斷:
如果設(shè)置了neverBlock=true則寫日志隊(duì)列時(shí)候會(huì)調(diào)用ArrayBlockingQueue對(duì)的offer方法而不是put,而offer是非阻塞的:
可知如果隊(duì)列滿則直接返回,而不是被掛起當(dāng)前線程。 所以配置異步appender時(shí)候如下:
四 、總結(jié)
在高并發(fā)低延遲要求的系統(tǒng)里面不重要的日志可以設(shè)置為異步并且要注意設(shè)置隊(duì)列滿則丟棄策略,防止業(yè)務(wù)線程被掛起從而影響rt。
總結(jié)
以上是生活随笔為你收集整理的java 多线程 异步日志_精彩技巧(1)-- 异步打印日志的一点事的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java 常量折叠_V8 使用“常量折叠
- 下一篇: java cursor_使用3.0驱动程