十分鐘搭建和使用ELK日志分析系統(tǒng)

? ? 為滿足研發(fā)可視化查看測試環(huán)境日志的目的，準(zhǔn)備采用EK+filebeat實(shí)現(xiàn)日志可視化（ElasticSearch+Kibana+Filebeat）。題目為“十分鐘搭建和使用ELK日志分析系統(tǒng)”聽起來有點(diǎn)唬人，其實(shí)如果單純滿足可視化要求，并且各軟件都已經(jīng)下載到本地，十分鐘是可以搭建一個ELK系統(tǒng)的。本文介紹如何快速安裝、配置、使用EK+FILEBEAT去實(shí)現(xiàn)日志搜集。本文中沒有使用LOGSTASH做日志搜集過濾,但為了后期需要先進(jìn)行了安裝。

工作原理

ElasticSearch：是一個開源的分布式搜索引擎，其特點(diǎn)有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機(jī)制，Rest風(fēng)格接口，多數(shù)據(jù)源，自動搜索負(fù)載等。
Logstash：是一個開源的日志收集和分析工具，能夠?qū)⑷罩具M(jìn)行分析后，提供給ElasticSearch進(jìn)行使用。
Kibana：可以為ElasticSearch和Logstash提供一個進(jìn)行日志分析的友好Web界面，幫助匯總、分析、搜索重要日志。
Filebeat：是一個開源的文件收集器，最初是基于Logstash-forward源碼的日志數(shù)據(jù)shipper，適合用于日志文件的收集。把Filebeat安裝在服務(wù)器上，作為代理來監(jiān)視日志目錄或特定的日志文件，然后把日志數(shù)據(jù)轉(zhuǎn)發(fā)到Logstash中進(jìn)行分析，或者是直接轉(zhuǎn)發(fā)到ElasticSearch中進(jìn)行搜索。

?

?

環(huán)境信息

IP	功能	軟件	安裝路徑	操作系統(tǒng)
192.168.9.11	ELK	openjdk1.8.0_171,elk6.3.2	rpm安裝缺省路徑	centos7.5
192.168.9.12	Filebeat	sonarqube-scanner3.2.0	rpm安裝缺省路徑	centos6.8

?

ELK下載地址：https://www.elastic.co/downloads/

搭建步驟

?1.系統(tǒng)基礎(chǔ)環(huán)境的準(zhǔn)備

?

#修改vm限制 vi?/etc/sysctl.conf? vm.max_map_count=655360!wq???保存退出 sysctl?-p#修改文件和線程限制 vi?/etc/security/limits.conf*?hard?nofile?65536*?soft?nofile?65536*?soft?nproc?2048*?hard?nproc?4096#修改非root用戶線程限制 vi?/etc/security/limits.d/20-nproc.conf???#(修改soft行，新增hard行）*?soft?nproc?65535

?

2.JDK及ELK的安裝

?

#安裝jdk yum?install?java-1.8.0-openjdk?-y?? #進(jìn)入rpm包所在路徑，進(jìn)行安裝 cd?/usr/local/src rpm?-ivh?elasticsearch-6.3.2.rpm rpm?-ivh?logstash-6.3.2.rpm rpm?-ivh?kibana-6.3.2-x86_64.rpm

?

3.配置文件配置（注意以上ELK安裝完后現(xiàn)不要重啟，先進(jìn)行基本配置）

?

#elasticsearch配置 vim?/etc/elasticsearch/elasticsearch.yml network.host:?0.0.0.0?#修改為0.0.0.0?允許外部所有主機(jī)訪問#kib vim?/etc/kibana/kibana.yml? server.host:?"192.168.9.11"?#修改為本機(jī)IP，否則外部用戶將無法訪問

?

4.服務(wù)啟動及驗(yàn)證

#啟動?elasticsearch service?elasticsearch?start#啟動kibana service?kibana?start

在瀏覽器中打開http://192.168.9.11:9200 驗(yàn)證elasticsearch是否啟動，當(dāng)看到如下信息，說明已正常啟動。

打開http://192.168.9.26:5601驗(yàn)證已kibana啟動情況，當(dāng)看到如下界面說明已啟動（啟動后要等待10秒左右至完全啟動完成）

?

5.filebeat的安裝及配置及啟動（在日志被搜集服務(wù)器上進(jìn)行）

?

/usr/local/-ivh?filebeat-.---?/usr/local/tomcat/logs/catalina.--?/usr/local/nodejs/workspace/saas_web/logs/saas-web*]#filebeat啟動 service?filebeat?start

?

?

以上ELK+Filebeat安裝完成后，就可以在Kinaba上進(jìn)行配置使用了，首次使用先在“discover”處進(jìn)行采集器添加，添加關(guān)鍵字為filebeat-*,(若是logstash則默認(rèn)為logstash*)，添加完成后就可以看到搜集到的日志。如下圖：

?

如上日志已經(jīng)被搜集到elasticsearch中，并通過kibana呈現(xiàn)，另外還可以通過點(diǎn)擊tags,分類查看Tomcat或node的日志，如上filebeat中已經(jīng)通過tags進(jìn)行了分類，至此在十分鐘內(nèi)日志系統(tǒng)已經(jīng)搭建完畢。這僅僅是一個滿足可視化的簡單應(yīng)用，若日志量大、需要權(quán)限認(rèn)證、需要過濾等插件的復(fù)雜功能，就需要建立集群、增加緩沖、采用X-PACK,安裝對應(yīng)插件等。

可參考博客：https://www.cnblogs.com/frankdeng/p/9139035.html#4028638 和官方文檔。

總結(jié)

以上是生活随笔為你收集整理的十分钟搭建和使用ELK日志分析系统的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。