zookeeper和kafka安裝在同3臺機器上，組成一個集群，對外提供服務(wù)

因為種種原因，需要將kafka和zookeeper?做整體遷移

首先?申請3臺機器部署好zookeeper服務(wù)，加到原來的集群中，方法見上篇Zookeeper遷移(擴容/縮容)

將kafka也加入到現(xiàn)有的集群中，將數(shù)據(jù)遷移到新的broker中

將老的3臺zookeeper?和kafka下線，發(fā)現(xiàn)kafka的就無法消費數(shù)據(jù)，logstash啟動報錯

解決方法

進入zookeeper?運行zkCli.sh?

運行l(wèi)s?/brokers/topics?查看主題

然后運行?rmr?/brokers/topics/__consumer_offsets?

然后重啟kafka集群就好了

nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

__consumer_offsets數(shù)據(jù)沒有遷移，所有偏移量還是連接老的borker，所以才會出現(xiàn)客戶端無法消費的現(xiàn)象

轉(zhuǎn)載于:https://blog.51cto.com/536410/2407568

總結(jié)

以上是生活随笔為你收集整理的zookeeper kafka迁移后logstash消费不了Kafka消息的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。