這篇文章主要講解了“怎么用Fluentd進(jìn)行簡(jiǎn)單流處理”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“怎么用Fluentd進(jìn)行簡(jiǎn)單流處理”吧！

在某些日志采集場(chǎng)景中，我們需要對(duì)數(shù)據(jù)流進(jìn)行一些轉(zhuǎn)換。比如，我們可能需要從日志記錄中提取某些字段以進(jìn)行錯(cuò)誤告警，或向日志記錄中插入新的字段用以后續(xù)的分析。

本文簡(jiǎn)單介紹一下使用Fluentd進(jìn)行數(shù)據(jù)操作的技術(shù)細(xì)節(jié)。

1. 根據(jù)日志字段取值來(lái)過(guò)濾事件
   談到過(guò)濾，我們通常會(huì)想到正則表達(dá)式，在linux中通常使用grep來(lái)進(jìn)行文本查找和過(guò)濾。Fluentd內(nèi)置了filter_grep過(guò)濾插件，可對(duì)數(shù)據(jù)流進(jìn)行正則過(guò)濾。
   
   
   假設(shè)我們正在使用一個(gè)web服務(wù)，比如Apache，我們需要對(duì)其訪問(wèn)日志進(jìn)行監(jiān)控。由輸入插件產(chǎn)生的事件類似如下結(jié)構(gòu)：
   
   

   {"host":"192.168.1.1","method":"GET","path":"/index.html","code":200,"size":2344,"referer":null}

   這其中的code字段表示用戶請(qǐng)求狀態(tài)，我們可能對(duì)狀態(tài)為2xx的請(qǐng)求不太關(guān)心，這樣就可以將這類事件過(guò)濾掉，專門(mén)處理用戶請(qǐng)求可能發(fā)生的異常情況。

   我們可以通過(guò)在Fluentd中增加如下<filter>配置來(lái)實(shí)現(xiàn)事件過(guò)濾。

   <filterapache.**>@typegrep<exclude>keycodepattern^2\d\d$</exclude></filter>

   使用grep過(guò)濾插件，通過(guò)key指定code字段為過(guò)濾字段，通過(guò)pattern匹配code值為2xx的事件，將這些事件排除（exclude）掉。

   filter_grep還可以對(duì)多個(gè)字段進(jìn)行過(guò)濾。比如，保留狀態(tài)碼為5xx的事件，但過(guò)濾掉url中以/test/開(kāi)頭的請(qǐng)求。如下所示：

   <filterapache.**>@typegrep<regexp>keycodepattern^5\d\d$</regexp><exclude>keypathpattern^/test/</exclude></filter>

2. 向事件中插入定制字段
   我們可以在某個(gè)處理階段向日志記錄中插入一些字段，供后續(xù)使用。這可以通過(guò)Fluentd內(nèi)置的filter_record_transformer過(guò)濾器插件來(lái)實(shí)現(xiàn)。
   假設(shè)我們是以集群的方式來(lái)部署web服務(wù)的，我們可能需要標(biāo)記用戶請(qǐng)求是由哪臺(tái)服務(wù)器來(lái)處理的。
   在Fluentd中進(jìn)行如下配置即可實(shí)現(xiàn)此類需求：

   <filterapache.**>@typerecord_transformer<record>server"${hostname}"</record></filter>

   這里，record_transformer插件向事件record中插入了一個(gè)server字段，其值為web服務(wù)器的主機(jī)名。新的日志record就更新為如下格式：

   {"host":"192.168.1.1","method":"GET","path":"/index.html","code":200,"size":2344,"referer":null,"server":"app1"}

   filter_record_transformer除了可以直接插入預(yù)定義的一些變量，如${hostname}，還可以插入其他變量或者使用ruby表達(dá)式來(lái)計(jì)算字段值。具體可參考此插件的使用說(shuō)明，我們也會(huì)在后續(xù)的插件系列中進(jìn)行介紹。

總結(jié)

以上是生活随笔為你收集整理的怎么用Fluentd进行简单流处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。