當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch

發布時間：2024/9/27 编程问答 20 豆豆

生活随笔收集整理的這篇文章主要介紹了搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

- - - - 一、前置準備
      - 1. 部署總覽
        2. 技術選型
        3. 全局配置
        4. 軟件下載
        5. 操作聲明
      - 二、jdk安裝
      - 2.1. 上傳
        2.2. 解壓
        2.3. 設置環境變量
      - 三、zk集群
      - 3.1. 上傳
        3.2. 解壓
        3.3. 創建目錄
        3.4. 編輯配置
        3.5. 添加配置
        3.6. myid
        3.8. 關閉防火墻
        3.9. 啟動zk
        3.10. 監控狀態
        3.11. 效果圖
      - 四、kafka集群
      - 4.1. 上傳
        4.2. 解壓
        4.3. 數據目錄
        4.4. 修改kafka的配置文件
        4.5. 依次啟動kafka
      - 五、驗證集群
      - 5.1. 創建topic
        5.2. 啟動生產者
        5.3. 啟動消費者
        5.4. 生產消息
        5.5. 消費消息
      - 六、filebeat
      - 6.1.上傳
        6.2. 解壓
        6.3. 修改配置
        6.5. 啟動filebeat
      - 七、logstash
      - 7.1. 上傳
        7.2. 解壓
        7.3. 新建配置
        7.4. 啟動logstash
        7.5. 參數說明
      - 八、es集群
      - 8.1. 上傳
        8.2. 解壓
        8.3. 編輯配置
        8.4. 修改系統參數
        8.5. 啟動es
        8.6. 監控日志
        8.7. 效果圖
      - 九、node.js+鏡像
      - 9.1. 下載node.js
        9.2. 解壓
        9.3. 重命名
        9.4. 創建軟連接
        9.5. 驗證
        9.6. cnpm鏡像
        9.7. cnpm軟連接
      - 十、安裝es-head插件
      - 10.1. 下載插件
        10.2. 解壓
        10.3. 安裝依賴
        10.4. 配置
        10.5. 啟動插件
      - 十一、安裝kibana
      - 11.1. 上傳到app目錄并解壓
        11.2. 修改配置
        11.3. 啟動kibana
        11.4. 驗證elk是否安裝成功
        11.5. 防火墻配置

一、前置準備

1. 部署總覽

服務器部署組件開放端口

192.168.159.136	filebeat es kafka zookeeper kibana	zookeeper：2181、2888、3888 kafka：9092 es：9200、9300、9100 kibana：5601
192.168.159.137	es kafka zookeeper logstash	zookeeper：2181、2888、3888 kafka：9092 es：9200、9300、9100 kibana：5601
192.168.159.138	es kafka zookeeper nodejs	zookeeper：2181、2888、3888 kafka：9092 es：9200、9300、9100 kibana：5601

2. 技術選型

軟件版本

jdk	1.8.0_301
zookeeper	3.4.10
kafka	2.12-2.1.1
filebeat	6.7.2
logstash	6.7.2
elasticsearch	6.7.2
kibana	6.7.2
filebeat	6.7.2

3. 全局配置

# 136節點、137節點、138節點同時操作：# 1. 使用root用戶進行登錄 # 創建 /app目錄 mkdir /app 如果/app已經存在忽略次操作# 2. 創建用戶 useradd app passwd app# 密碼：Elk123456 # 如果用戶已經存在忽略次操作直接使用app用戶登錄即可跳過3的第一個命令# 賦予權限: chown app.app /app -R# 調整家目錄： vim /etc/passwd# 切換app用戶 su - app

4. 軟件下載

zookeeper-3.4.10.tar.gz

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

kafka_2.12-2.1.1.tgz

wget https://archive.apache.org/dist/kafka/2.1.1/kafka_2.12-2.1.1.tgz

filebeat-6.7.2-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.7.2-linux-x86_64.tar.gz

logstash-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.7.2.tar.gz

elasticsearch-6.7.2.tar.gz

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.2.tar.gz

kibana-6.7.2-linux-x86_64.tar.gz

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.2-linux-x86_64.tar.gz

5. 操作聲明

默認使用app用戶，如果使用root用戶操作會進行說明。

二、jdk安裝

136節點、137節點、138節點同時操作

2.1. 上傳

上傳jdk壓縮包jdk-8u301-linux-x64.tar.gz到/app 目錄下

2.2. 解壓

cd /app tar -zxvf jdk-8u301-linux-x64.tar.gz

2.3. 設置環境變量

切換到root用戶執行命令

su - root

編輯文件

vi /etc/profile

修改環境變量

export JAVA_HOME=/app/jdk1.8.0_301 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

刷新環境變量

source /etc/profile

切換app用戶

su - app

驗證版本

java -version

------------------------------以下均使用app用戶操作------------------------------

三、zk集群

136節點、137節點、138節點同時操作

3.1. 上傳

上傳Zookeeper安裝包到/app目錄

3.2. 解壓

cd /app tar -zxvf zookeeper-3.4.10.tar.gz

3.3. 創建目錄

cd /app/zookeeper-3.4.10 mkdir dataDir mkdir dataLogDir

3.4. 編輯配置

cd /app/zookeeper-3.4.10/conf cp zoo_sample.cfg zoo.cfg vi zoo.cfg

3.5. 添加配置

修改內容為：（此處三臺服務器配置相同）,建議同時操作

tickTime=2000 initLimit=10 syncLimit=5 dataDir=/app/zookeeper-3.4.10/data dataLogDir=/app/zookeeper-3.4.10/data clientPort=2181 server.1=192.168.159.136:2888:3888 server.2=192.168.159.137:2888:3888 server.3=192.168.159.138:2888:3888

3.6. myid

第一臺服務器中添加myid文件

echo "1" > /app/zookeeper-3.4.10/dataDir/ myid

第二臺服務器中添加myid文件

echo "2" > /app/zookeeper-3.4.10/dataDir/myid

第三臺服務器中添加myid文件

echo "3" > /app/zookeeper-3.4.10/dataDir/myid

3.8. 關閉防火墻

systemctl stop firewalld

3.9. 啟動zk

3個節點依次啟動

cd /app/zookeeper-3.4.10/ bin/zkServer.sh start

3.10. 監控狀態

bin/zkServer.sh status

zookeeper啟動成功圖片（圖3.1）如下：無報錯，Mode為leader或者follower都可以

3.11. 效果圖

四、kafka集群

4.1. 上傳

上傳kafka安裝包kafka_2.12-2.1.1.tgz到/app 目錄下`

4.2. 解壓

tar -zxvf kafka_2.12-2.1.1.tgz

4.3. 數據目錄

進入到kafka安裝目錄下，創建data文件夾

cd kafka_2.12-2.1.1/ mkdir data

4.4. 修改kafka的配置文件

vim config/server.properties

136節點

#broker的id broker.id=1 #綁定服務器ip host.name=192.168.159.136 listeners=PLAINTEXT://192.168.159.136:9092 advertised.listeners=PLAINTEXT://192.168.159.136:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 #保存數據的目錄路徑 log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 #設置日志留存策略 log.retention.hours=168 log.retention.bytes=10737420000 #日志段大小 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 #配置zookeeper，ip表示zookeeper集群中各個節點ip zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=52428880 group.initial.rebalance.delay.ms=0 #設置刪除topic auto.create.topics.enable = false delete.topic.enable=truelog.cleanup.policy=delete log.segment.delete.delay.ms=0

137節點

#broker的id broker.id=2 #綁定服務器ip host.name=192.168.159.137 listeners=PLAINTEXT://192.168.159.137:9092 advertised.listeners=PLAINTEXT://192.168.159.137:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 #保存數據的目錄路徑 log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 #設置日志留存策略 log.retention.hours=168 log.retention.bytes=10737420000 #日志段大小 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 #配置zookeeper，ip表示zookeeper集群中各個節點ip zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=52428880 group.initial.rebalance.delay.ms=0 #設置刪除topic auto.create.topics.enable = false delete.topic.enable=truelog.cleanup.policy=delete log.segment.delete.delay.ms=0

138節點

#broker的id broker.id=3 #綁定服務器ip host.name=192.168.159.138 listeners=PLAINTEXT://192.168.159.138:9092 advertised.listeners=PLAINTEXT://192.168.159.138:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 #保存數據的目錄路徑 log.dirs=/app/kafka_2.12-2.1.1/data/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 #設置日志留存策略 log.retention.hours=168 log.retention.bytes=10737420000 #日志段大小 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 #配置zookeeper，ip表示zookeeper集群中各個節點ip zookeeper.connect=192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181 zookeeper.connection.timeout.ms=6000 message.max.byte=52428880 group.initial.rebalance.delay.ms=0 #設置刪除topic auto.create.topics.enable = false delete.topic.enable=truelog.cleanup.policy=delete log.segment.delete.delay.ms=0

4.5. 依次啟動kafka

136/137/138節點依次啟動

cd /app/kafka_2.12-2.1.1/ nohup bin/kafka-server-start.sh config/server.properties &

五、驗證集群

驗證集群是否安裝成功

5.1. 創建topic

在其中一個節點上創建一個topic：

這里演示采用136節點,創建一個topic：

cd /app/kafka_2.12-2.1.1/ bin/kafka-topics.sh --zookeeper 192.168.159.136:2181,192.168.159.137:2181,192.168.159.138:2181 --create --topic test2 --partitions 3 --replication-factor 1

5.2. 啟動生產者

在其中一個節點上啟動kafka生產者
這里演示采用136節點：

cd /app/kafka_2.12-2.1.1/ bin/kafka-console-producer.sh --broker-list 192.168.159.136:9092 --topic test2

5.3. 啟動消費者

在集群其他的節點上啟動消費者,這里演示采用137和138節點：

137節點：

cd /app/kafka_2.12-2.1.1/ bin/kafka-console-consumer.sh --bootstrap-server 192.168.159.137:9092 --topic test2

138節點：

cd /app/kafka_2.12-2.1.1/ bin/kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic test2

5.4. 生產消息

Kafka生產者發送一條消息，看能否在消費端能夠接收到消息，如果都能接收到消息表示kafka集群可用。
這里演示場景：136節點作為生產者發送消息 137節點和138節點作為消費者消費消息

5.5. 消費消息

137節點作為消費者消費消息

138節點作為消費者消費消息

從以上截圖中，可以看出136節點作為消費者發送消息“send msg 123456”，137節點和138節點作為消費者可以正常接收消息。

六、filebeat

登錄136節點，使用app用戶操作

6.1.上傳

filebeat-6.7.2-linux-x86_64.tar.gz文件，并上傳app

6.2. 解壓

cd /app tar -zxvf filebeat-6.7.2-linux-x86_64.tar.gz

6.3. 修改配置

修改filebeat.yml配置文件如下

vim /app/filebeat-6.7.2-linux-x86_64/filebeat.yml

修改path路徑

/app/test.log

Elasticsearch output這里的配置需要修改
修改前：

修改后：

6.5. 啟動filebeat

nohup /app/filebeat-6.7.2-linux-x86_64/filebeat -e -c /app/filebeat-6.7.2-linux-x86_64/filebeat.yml &

七、logstash

7.1. 上傳

下載logstash-6.7.2.tar.gz文件，并上傳app目錄

7.2. 解壓

tar -zxvf logstash-6.7.2.tar.gz

7.3. 新建配置

新建config目錄下配置文件kafkaInput_esOutPut.conf

vim /app/logstash-6.7.2/config/kafkaInput_esOutPut.conf

內容如下：

input {kafka {bootstrap_servers => "192.168.159.136:9092,192.168.159.137:9092,192.168.159.138:9092"group_id => ["elk"]topics => ["app-log"]auto_offset_reset => "latest"consumer_threads => 5decorate_events => true} } output {stdout {codec => rubydebug}elasticsearch {hosts => ["192.168.159.136:9200,192.168.159.137:9200,192.168.159.138:9200"]index => "kafka-logs-%{+YYYY-MM-dd}"flush_size => 20000idle_flush_time => 10sniffing => truetemplate_overwrite => true } }

7.4. 啟動logstash

cd /app/logstash-6.7.2 nohup bin/logstash -f /config/kafkaInput_esOutPut.conf --config.reload.automatic &

7.5. 參數說明

--config.reload.automatic 選項的意思是啟用自動配置加載，以至于每次修改完配置文件以后無需停止然后重啟Logstash
查看進程是否啟動成功

ps -ps |grep logstash

八、es集群

8.1. 上傳

上傳到/app目錄

8.2. 解壓

cd /app tar -zxvf elasticsearch-6.7.2.tar.gz

8.3. 編輯配置

vim /app/elasticsearch-6.7.2/config/elasticsearch.yml

修改配置文件config/elasticsearch.yml
136節點

# ======================== Elasticsearch Configuration ========================= cluster.name: es-application node.name: node-1 path.data: /app/elasticsearch-6.7.2/data path.logs: /app/elasticsearch-6.7.2/logs network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"] discovery.zen.minimum_master_nodes: 2 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

137節點

# ======================== Elasticsearch Configuration ========================= cluster.name: es-application node.name: node-2 path.data: /app/elasticsearch-6.7.2/data path.logs: /app/elasticsearch-6.7.2/logs network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"] discovery.zen.minimum_master_nodes: 2 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

138節點

# ======================== Elasticsearch Configuration ========================= cluster.name: es-application node.name: node-3 path.data: /app/elasticsearch-6.7.2/data path.logs: /app/elasticsearch-6.7.2/logs network.host: 0.0.0.0 http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.159.136:9300", "192.168.159.137:9300","192.168.159.138:9300"] discovery.zen.minimum_master_nodes: 2 http.cors.enabled: true http.cors.allow-origin: "*" http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

8.4. 修改系統參數

3個節點同時操作，切換root用戶修改系統參數，執行如下命令

su - root

第一處

echo "vm.max_map_count=655360" >> /etc/sysctl.conf && /sbin/sysctl -p

第二處

vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096

8.5. 啟動es

3給節點依次啟動es

su - app cd /app/elasticsearch-6.7.2 bin/elasticsearch -d

8.6. 監控日志

tail -f logs/es-application.log

8.7. 效果圖

http://192.168.159.136:9200/
http://192.168.159.137:9200/
http://192.168.159.138:9200/

http://192.168.159.136:9200/_cat/health

九、node.js+鏡像

登錄138節點，使用root用戶操作，官網下載node.js

9.1. 下載node.js

https://nodejs.org/en/download/

下載

wget https://nodejs.org/dist/v16.13.1/node-v16.13.1-linux-x64.tar.xz

9.2. 解壓

tar -xvf node-v16.13.1-linux-x64.tar.xz

9.3. 重命名

mv node-v16.13.1-linux-x64 nodejs

9.4. 創建軟連接

ln -s /app/nodejs/bin/node /usr/bin/nodeln -s /app/nodejs/bin/npm /usr/bin/npm

9.5. 驗證

驗證node.js是否安裝成功

node -v

9.6. cnpm鏡像

使用cnpm操作

npm install -g cnpm --register=https://register.npm.taobao.org

9.7. cnpm軟連接

ln -s /app/nodejs/bin/cnpm /usr/bin/cnpm

十、安裝es-head插件

10.1. 下載插件

10.2. 解壓

unzip elasticsearch-head-master.zip

10.3. 安裝依賴

cd elasticsearch-head-master cnpm install

10.4. 配置

現在head插件還無法連接到es，需要修改以下配置文件

vim /app/elasticsearch-head-master/Gruntfile.js

10.5. 啟動插件

cd /app/elasticsearch-head-master目錄下 npm run start

安裝完成，輸入對應地址顯示如下結果：

http://192.168.159.138:9100/
http://192.168.159.138:9200/

十一、安裝kibana

登錄136節點，使用app用戶操作

11.1. 上傳到app目錄并解壓

tar -zxvf kibana-6.7.2-linux-x86_64.tar.gz

11.2. 修改配置

修改config/kibana.yml配置文件

cd /appvim kibana-6.7.2-linux-x86_64/config/kibana.yml

末尾添加如下配置：
server.host為當前機器ip

server.port: 5601 server.host: "192.168.159.136" elasticsearch.hosts: ["http://192.168.159.136:9200","http://192.168.159.137:9200","http://192.168.159.138:9200"]

11.3. 啟動kibana

切換到bin目錄啟動nohup ./kibana &

cd /app/kibana-6.7.2-linux-x86_64/ nohup bin/kibana &

http://192.168.159.136:5601/app/kibana

11.4. 驗證elk是否安裝成功

咱們在logstash的配置文件中配置的topic是app-log

創建topic

cd /app/kafka_2.12-2.1.1/bin/ ./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log

創建消費組
137節點：

cd /app/kafka_2.12-2.1.1/bin/ ./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log --consumer-property group.id=elk

138節點：

cd /app/kafka_2.12-2.1.1/bin/ ./kafka-console-consumer.sh --bootstrap-server 192.168.159.138:9092 --topic app-log --consumer-property group.id=elk

測試
1.往136節點/app/test.log文件寫入一行數字，之后查看es中是否可以查詢到

cd /app echo "123456789033333" >> test.log cat test.log

/app/kafka_2.12-2.1.1/bin/kafka-consumer-groups.sh --bootstrap-server 192.168.159.138:9092 --group elk --describe

2.es查詢到了
3.kibana也成功抓取到了

11.5. 防火墻配置

136/137/138節點：

firewall-cmd --zone=public --add-port=2181/tcp --permanent firewall-cmd --zone=public --add-port=2888/tcp --permanent firewall-cmd --zone=public --add-port=3888/tcp --permanent firewall-cmd --zone=public --add-port=9092/tcp --permanent firewall-cmd --zone=public --add-port=9100/tcp --permanent firewall-cmd --zone=public --add-port=9200/tcp --permanent firewall-cmd --zone=public --add-port=9300/tcp --permanent firewall-cmd --zone=public --add-port=5601/tcp --permanent firewall-cmd --reload 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： elasticsearch-7.15.2
下一篇： layui 表单动态添加、删除input

3atv精品不卡视频,97人人超碰国产精品最新,中文字幕av一区二区三区人妻少妇,久久久精品波多野结衣,日韩一区二区三区精品

编程问答

搭建 ELK 集群 kafka filebeat kibana logstash zookeeper elasticsearch

文章目錄

一、前置準備

1. 部署總覽

2. 技術選型

3. 全局配置

4. 軟件下載

5. 操作聲明

二、jdk安裝

2.1. 上傳

2.2. 解壓

2.3. 設置環境變量

三、zk集群

3.1. 上傳

3.2. 解壓

3.3. 創建目錄

3.4. 編輯配置

3.5. 添加配置

3.6. myid

3.8. 關閉防火墻

3.9. 啟動zk

3.10. 監控狀態

3.11. 效果圖

四、kafka集群

4.1. 上傳

4.2. 解壓

4.3. 數據目錄

4.4. 修改kafka的配置文件

4.5. 依次啟動kafka

五、 驗證集群

5.1. 創建topic

5.2. 啟動生產者

5.3. 啟動消費者

5.4. 生產消息

5.5. 消費消息

六、filebeat

6.1.上傳

6.2. 解壓

6.3. 修改配置

6.5. 啟動filebeat

七、logstash

7.1. 上傳

7.2. 解壓

7.3. 新建配置

7.4. 啟動logstash

7.5. 參數說明

八、es集群

8.1. 上傳

8.2. 解壓

8.3. 編輯配置

8.4. 修改系統參數

8.5. 啟動es

8.6. 監控日志

8.7. 效果圖

九、node.js+鏡像

9.1. 下載node.js

9.2. 解壓

9.3. 重命名

9.4. 創建軟連接

9.5. 驗證

9.6. cnpm鏡像

9.7. cnpm軟連接

十、安裝es-head插件

10.1. 下載插件

10.2. 解壓

10.3. 安裝依賴

10.4. 配置

10.5. 啟動插件

十一、安裝kibana

11.1. 上傳到app目錄并解壓

11.2. 修改配置

11.3. 啟動kibana

11.4. 驗證elk是否安裝成功

11.5. 防火墻配置

總結

五、驗證集群