轉載：

https://blog.csdn.net/xiaoyu_bd/article/details/52319302

我們在使用consumer消費數(shù)據(jù)時，有些情況下我們需要對已經消費過的數(shù)據(jù)進行重新消費，這里介紹kafka中兩種重新消費數(shù)據(jù)的方法。

1. 修改offset

我們在使用consumer消費的時候，每個topic會產生一個偏移量，這個偏移量保證我們消費的消息順序且不重復。Offest是在zookeeper中存儲的，我們可以設置consumer實時或定時的注冊offest到zookeeper中。我們修改這個offest到我們想重新消費的位置，就可以做到重新消費了。具體修改offest的方法這里就不詳細介紹了，點擊：https://blog.csdn.net/xiaoyu_bd/article/details/52390175

2. 通過使用不同的group來消費

通過不同的group來重新消費數(shù)據(jù)方法簡單，但我們無法指定我們要重復消費哪些數(shù)據(jù)，它會從這個groupid在zookeeper注冊之后所產生的數(shù)據(jù)開始消費。這里需要注意的是新的group是重新消費所有數(shù)據(jù)，但也并非是topic中所有數(shù)據(jù)，它只會消費它在zookeeper注冊過之后產生的數(shù)據(jù)。我們可以再zookeeper客戶端中? /consumer/? 目錄下查看我們已經注冊過的groupid。我們在使用consumer消費數(shù)據(jù)時如果指定一個新的groupid，那么當這個consumer被執(zhí)行的時候會自動注冊到zookeeper中。而這個group中的consumer之后消費到注冊之后產生的數(shù)據(jù)。

關于如何刪除在zookeeper中注冊的groupid，點擊這里。
?

總結

以上是生活随笔為你收集整理的如何手动更新Kafka中某个Topic的偏移量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。