文章目錄

• • 生產(chǎn)者問題
  • 消費者問題
  • 問題總結(jié)
  • 解決方案

生產(chǎn)者問題

Producer發(fā)送消息到隊列，分區(qū)Leader收到消息后返回ACK給Producer，表示接收成功，此時可以繼續(xù)發(fā)送下一筆消息。

Kafka提供了3種不同級別的ACK機制：

• 0：Leader收到消息后立刻返回給Producer，消息可能還沒刷盤，也還沒有同步給Follower。此時如果Leader掛掉，消息就丟失了。
• 1：Leader將消息寫入磁盤后，立刻返回ACK給Producer，消息可能還沒同步Follower。此時如果Leader掛掉，選舉新的Follower成為主分區(qū)，因為剛才沒同步成功，所以消息丟失。
• -1：Leader將消息寫入磁盤，并且同步給所有Follower，此時再返回ACK。這個方案也存在一個問題，如果在Leader準備返回ACK的時候掛掉，Producer沒收到ACK認定為發(fā)送失敗。此時又有2種情況
  （1）開啟重試：會導(dǎo)致隊列收到2條重復(fù)的消息，此時需要Consumer端保證消費冪等，后面會介紹
  （2）不開啟重試(不推薦

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的Kafka消息丢失、重复消费的解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。