ELK-日志收集工具nxlog

文章目錄

• • ELK-日志收集工具nxlog
• 前言
• 安裝
• 語(yǔ)法
• • 宏變量
  • 通用模塊指令格式
  • • Module 模塊名
    • FlowControl
    • InputType:指定輸入類(lèi)型
    • OutputType：指定輸出類(lèi)型
    • Exec: 執(zhí)行命令
    • Schedule：定時(shí)器
    • • Every
      • First
      • Exec
      • When
  • Route模塊
  • Extension模塊
  • • Input
    • output
    • • on_tcp/om_udp
      • on_file
      • on_ssl
  • 修改輸出內(nèi)容
• 例子
• • 讀取/var/log/message傳給logstash
  • 讀取windows事件發(fā)送給logstash

前言

nxlog配置有6個(gè)可配置的部分，Extension，Processor，Input，Output，Route。其中Route是路由，不需要指定模塊，其它都有各自的模塊可指定。
官方文檔地址-英文
一些內(nèi)置函數(shù),左側(cè)的3.6章節(jié)

安裝

官網(wǎng)下載地址,下載nxlog-ce-2.10.2150.msi，點(diǎn)擊安裝。
64位默認(rèn)安裝路徑：C:\Program Files (x86)\nxlog，
32位默認(rèn)安裝路徑：C:\Program Files\nxlog，
日志文件默認(rèn)路徑：C:\Program Files (x86)\nxlog\data\nxlog.log。
配置文件路徑：C:\Program Files (x86)\nxlog\conf\nxlog.conf。

語(yǔ)法

默認(rèn)配置文件：

Panic Soft #NoFreeOnExit TRUEdefine ROOT C:\Program Files (x86)\nxlog define CERTDIR %ROOT%\cert define CONFDIR %ROOT%\conf define LOGDIR %ROOT%\data define LOGFILE %LOGDIR%\nxlog.log LogFile %LOGFILE%Moduledir %ROOT%\modules CacheDir %ROOT%\data Pidfile %ROOT%\data\nxlog.pid SpoolDir %ROOT%\data<Extension _syslog>Module xm_syslog </Extension> <Extension _charconv>Module xm_charconvAutodetectCharsets iso8859-2, utf-8, utf-16, utf-32 </Extension><Extension _exec>Module xm_exec </Extension><Extension _fileop>Module xm_fileop# Check the size of our log file hourly, rotate if larger than 5MB<Schedule>Every 1 hourExec if (file_exists('%LOGFILE%') and \(file_size('%LOGFILE%') >= 5M)) \file_cycle('%LOGFILE%', 8);</Schedule># Rotate our log file every week on Sunday at midnight<Schedule>When @weeklyExec if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);</Schedule> </Extension>

宏變量

宏可以理解為定義一個(gè)變量并賦值。比如

define ROOT C:\Program Files (x86)\nxlog

define指令可以定義宏變量，使用時(shí)用兩個(gè)%號(hào)包裹，比如%ROOT %
例子

define BASEDIR /var/log <Input messages>Module im_fileFile '%BASEDIR%/messages' </Input>

配置文件默認(rèn)定義了很多宏，了解即可。

通用模塊指令格式

Module 模塊名

模塊名在C:\Program Files (x86)\nxlog\modules下以.dll后綴結(jié)尾(linux以.so格式結(jié)尾)，前綴分別是im_, pm_, om_, or xm_。

im:input module縮寫(xiě)，pm：processor module,om:output module,xm:extension module

FlowControl

是否啟用流程控制，建議在使用im_uds模塊從/dev/log采集本地syslog 的時(shí)候禁用掉，不然syslog會(huì)阻塞所有寫(xiě)入的動(dòng)作，假如輸出隊(duì)列還滿(mǎn)掉了，系統(tǒng)可能就不響應(yīng)了

InputType:指定輸入類(lèi)型

只對(duì)im_exec, im_ssl, im_tcp, im_udp, and im_uds模塊有效，一般不會(huì)特意設(shè)置
有效值如下
1. LineBased：一行為一個(gè)日志，用\n或者\(yùn)r\n區(qū)分

2. Dgram：一旦Buffer用完了，考慮合成一份日志，im_udp模塊的時(shí)候是默認(rèn)選項(xiàng)，因?yàn)閁DP syslog 是分批到達(dá)的3. Binary：轉(zhuǎn)成Nxlog二進(jìn)制格式

例如

<Input tcp>Module im_tcpPort 2345InputType Binary </Input>

OutputType：指定輸出類(lèi)型

只能用于 om_file, om_exec, om_ssl, om_tcp, om_udp, and om_uds模塊
有效值如下：
1. LineBased：一行為一個(gè)日志
2. Dgram：一旦緩沖滿(mǎn)了就把緩沖數(shù)據(jù)作為一行日志，om_udp輸出默認(rèn)是開(kāi)著的
3. Binary：用nxlog binary格式化輸出

Exec: 執(zhí)行命令

每接收到一條日志信息都會(huì)執(zhí)行一次。在input, processor, and output模塊里完全支持，大部分extension模塊都不支持（除了 xm_multiline 和 xm_rewrite模塊）。每行是一條Exec指令，多行指令使用</kbd>換行,使用分號(hào)結(jié)尾，放在模塊的最后面。

比如單行指令：

Exec $Hostname = 'myhost';

在每行記錄里定義了一個(gè)變量$Hostname
比如多行指令：

Exec log_info("first"); \log_info("second");

多行指令也可抱成塊形勢(shì)，上面和下面語(yǔ)句意思一樣

<Exec>log_info("first");log_info("second"); </Exec>

Schedule：定時(shí)器

Every

比如Every 1 sec表示每秒執(zhí)行。一個(gè)整型數(shù)字加上單位組成值，缺省單位是秒，有sec, min, hour, day, or week單位可選

First

設(shè)置首次執(zhí)行時(shí)間，使用datetime類(lèi)型的值，比如First 2010-12-17 00:19:06

Exec

執(zhí)行的指令

When

@yearly Run once a year, "0 0 1 1 *". @annually (same as @yearly) @monthly Run once a month, "0 0 1 * *". @weekly Run once a week, "0 0 * * 0". @daily Run once a day, "0 0 * * *". @midnight (same as @daily) @hourly Run once an hour, "0 * * * *".

這些都是語(yǔ)法，例子

<Input in>Module im_tcpPort 2345<Schedule>Every 1 secFirst 2010-12-17 00:19:06Exec log_info("scheduled execution at " + now());</Schedule><Schedule>When 1 */2 2-4 * *Exec log_info("scheduled execution at " + now());</Schedule> </Input>

Route模塊

這個(gè)是最簡(jiǎn)單模塊。指定路由方式。
語(yǔ)法

<Route ROUTE_NAME>Path IN_NAME => PRO_NAME => OUT_NAME</Route>

比如

<Input in_file>Module im_fileFile "D:\\jar\\dongli\\logs\\spring-boot.log"SavePos TRUEExec convert_fields("auto", "utf-8"); </Input><Output out_file>Module om_fileFile 'D:\666.log' </Output><Route 1>Path in_file => out_file </Route>

Extension模塊

一些前期引入的操作
這個(gè)模塊一般我們不用動(dòng)它，默認(rèn)配置了幾個(gè)

<Extension _syslog>Module xm_syslog #收集事件日志，所有的事件日志默認(rèn)都被收集 </Extension>

將 xm_syslog換成xm_json表示系統(tǒng)日志格式為json。

<Extension charconv>Module xm_charconv</Extension>

解決文件內(nèi)容中解析失敗問(wèn)題

Input

參考
數(shù)據(jù)輸入，可選模塊如下圖：

常用的是im_msvistalog和im_file

<Input in_win_system>#im_msvistalog支持的是2003之后的版本Module im_msvistalog#im_mseventlog支持的是2003之前版本# Module im_mseventlog</Input> <Input in_win_system>Module im_msvistalog </Input>

具體例子
im_file模塊：獲取springboot.log日志
注意文件使用\

<Input test11>Module im_fileFile "D:\\jar\\dongli\\logs\\spring-boot.log"SavePos TRUEExec convert_fields("auto", "utf-8"); Exec $name="chenyuan"; </Input>

比如文件存在多個(gè)，使用,如：File "D:\jar\dongli\logs\.log"
支持的配置：

SavePos：保存上次讀取位置，默認(rèn)true

Recursive：是否遞歸子目錄文件，例如目錄設(shè)置為/var/log/*.log，那么/var/log/apache2/access.log也會(huì)被匹配，默認(rèn)是true

ReadFromLast:從最新文件去讀，默認(rèn)true,和SavePos配合使用，一般不設(shè)置。具體可參考英文描述

This optional boolean directive instructs the module to only read logs which arrived after NXLog was started if the saved position could not be read (for example on first start). When SavePos is TRUE and a previously saved position value could be read, the module will resume reading from this saved position. If ReadFromLast is FALSE, the module will read all logs from the file. This can result in quite a lot of messages, and is usually not the expected behavior. If this directive is not specified, it defaults to TRUE.

PollInterval：多久檢查文件變化，默認(rèn)是1秒(1 second),如果設(shè)置為2秒，就是2 second

DirCheckInterval:檢查目錄下文件變化，比如增加新文件，如果PollInterval設(shè)置了就以PollInterval時(shí)間為準(zhǔn)，默認(rèn)是2秒（2 seconds）
im_exec執(zhí)行命令：使用tail命令讀取文件

CloseWhenIdle:空閑時(shí)是否關(guān)閉輸入流，默認(rèn)是FALSE

<Input messages>Module im_execCommand /usr/bin/tailArg -fArg /var/log/messages </Input>

output

數(shù)據(jù)輸入，可選模塊如下圖：

模塊指定發(fā)送方式
om_tcp/om_udp：以tcp、udp方式發(fā)送
om_http：http方式發(fā)送
on_ssl:加密方式發(fā)送
on_file:輸出到文本

on_tcp/om_udp

<Output out_tcp>Module om_tcpHost 192.168.1.238Port 514 </Output>

on_file

<Output out_file>Module om_fileFile 'D:\666.log' </Output>

on_ssl

語(yǔ)法

<Output out>Module om_sslHost DST_IPPort DST_PORTCAFile CA_CERTCertFile CLIENT_CERTCertKeyFile CLENT_KETKeyPass PASSWORDAllowUntrusted TRUEExec $raw_event = to_json();</Output>

說(shuō)明：

DST_IP：為發(fā)送的目的主機(jī)IP地址，或者也可以是域名

DST_PORT: 為發(fā)送目的主機(jī)端口

CA_CERT：為CA證書(shū)路徑

CLIENT_CERT：為在服務(wù)端為客戶(hù)機(jī)生成的證書(shū)

CLIENT_KEY：為在服務(wù)端為客戶(hù)主機(jī)生成的key

PASSWORD：證書(shū)密碼，默認(rèn)設(shè)置為“123456”可修改，根據(jù)證書(shū)生成時(shí)的密碼決定

<Output out>Module om_sslHost 192.168.161.96Port 1514CAFile %CERTDIR%\ca-cert.pemCertFile %CERTDIR%\client-cert.pemCertKeyFile %CERTDIR%\client-key.pemKeyPass 123456AllowUntrusted TRUEExec $raw_event = to_json();</Output>

修改輸出內(nèi)容

使用$raw_event變量
比如，下面在輸出的日志狀況添加一個(gè)ip

<Output out_file>Module om_fileFile 'D:\666.log'Exec $raw_event = "192.168.161.63 " + $raw_event; </Output>

例子

讀取/var/log/message傳給logstash

<Input messages>Module im_fileFile "/var/log/messages" </Input><Output tcp>Module om_tcpHost 192.168.1.238Port 514 </Output><Route messages_to_tcp>Path messages => tcp </Route>

讀取windows事件發(fā)送給logstash

<Extension _syslog>Module xm_syslog </Extension><Input in>Module im_msvistalog # For windows 2003 and earlier use the following: # Module im_mseventlogReadFromLast FALSESavePos FALSEQuery <QueryList>\<Query Id="0">\<Select Path="Security">*</Select>\ #配置為只發(fā)送Security Log</Query>\</QueryList></Input><Output out>Module om_tcpHost 192.168.1.238Port 514Exec to_syslog_snare(); </Output><Route 1>Path in => out </Route>

配置為同時(shí)接收多個(gè)事件日志

<Input in>Module im_msvistalog # For windows 2003 and earlier use the following: # Module im_mseventlogReadFromLast FALSESavePos FALSEQuery <QueryList>\<Query Id="0">\<Select Path="Application">*</Select>\<Select Path="System">*</Select>\<Select Path="Security">*</Select>\</Query>\</QueryList></Input>

總結(jié)

以上是生活随笔為你收集整理的ELK-日志收集工具nxlog的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。