微服务 消息中间件kafka消息丢失问题
微服務 消息中間件kafka消息丟失問題
- 1. kafka消息丟失概述
- 1.1 kafka概述
- 1.2 kafka架構
- 1.3 kafka問題
- 2. kafka消息傳遞語義
- 3. kafka消息丟失問題分析
- 4. Producer端消息丟失分析
- 4.1 Producer消息發送流程
- 4.2 Producer 端消息丟失場景
- 4.3 Producer消息確認機制
- 4.4 Producer端消息丟失解決方案
- 5. Broker端消息丟失分析
- 5.1 broker端持久化流程
- 5.2 Broker 端消息丟失場景
- 5.3 Broker 端消息丟失解決方案
- 6. Consumer端消息丟失分析
- 6.1 Consumer消費流程
- 6.2 Consumer 端消息丟失場景
- 6.3 Consumer 端消息丟失解決方案
1. kafka消息丟失概述
1.1 kafka概述
kafka是一個分布式的基于發布訂閱模式的消息中間件，主要應用于實時數據處理領域。
目前隨著分布式微服務架構盛行，對系統高性能，高可用，高并發提出了更高的要求，消息中間件作為分布式微服務中異步，解耦，削峰的重要組件，變得越來越重要。
kafka官方文檔總共九章，分別從入門，API，配置，設計，實施，運維，安全，連接，流九個方面詳細闡述了卡夫卡應用設計架構。
kafka官方文檔說明：https://kafka.apache.org/documentation/#semantics
1.2 kafka架構
Kafka 的整個架構非常簡潔，是分布式的架構，主要由 Producer、Broker、Consumer 三部分組成，整個消息的流程也是根據此三個模塊進行的。這里多說一句新版本kafka不依賴與zk了，但是目前大部分使用的仍然是老版本，zk主要就是配置信息以及選舉的作用，zk有個很不友好的設計就是通過原子廣播協議選舉的時候不對外提供服務，這樣就不能提供高可用特性。
1.3 kafka問題
消息中間件通用問題，消息丟失，消息堆積，重復消費，順序消費問題。
消息丟失一般圍繞生產者，消息組件，消費者三個環節展開，本文也是根據這三個維度進行分析探討，不足之處還敬請指正。
消費堆積問題一般通過增加消費者擴容，或者異步消費解決。
重復消費需要消費者做冪等性，根據全局流水或者業務主鍵進行判斷。
順序消費問題這個kafka暫不支持，kafka同一個partation才是順序的，但是實際生產環境中同時存在多個partation導致無法順序消費，同步消費性能又很差，所以后續在研究。
2. kafka消息傳遞語義
所謂的消息傳遞語義是 Kafka 提供的 Producer 和 Consumer 之間的消息傳遞過程中消息傳遞的保證性。主要分為三種。詳見kafka官方文檔4.6章節詳細說明。
at most once：最多一次。消息可能會丟失，但是不會重復。
at least once：最少一次。消息不會丟失，但是可能會重復，
exactly once：精確一次。消息只會被精確處理一次，不會丟失重復。
分析總結：默認 Kafka 提供 「at least once」語義的消息傳遞，允許用戶通過在處理消息之前保存 Offset 的方式提供 「at most once」 語義。如果我們可以自己實現消費冪等，理想情況下這個系統的消息傳遞就是嚴格的「exactly once」, 也就是保證不丟失、且只會被精確的處理一次，但是這樣是很難做到的。
3. kafka消息丟失問題分析
從 Kafka 整體架構圖我們可以得出消息傳遞過程中涉及到三個環節可能存在消息丟失的情況。
1.Producer 端發送消息給 Kafka Broker 端。
2.Kafka Broker 將消息進行同步并持久化數據。
3.Consumer 端從 Kafka Broker 將消息拉取并進行消費。
以上三個環節每一個步驟都可能出現丟失數據的情況，那么kafka怎么才能保證消息不丟失呢。
Kafka 只對已提交的消息做最大限度的持久化保證不丟失。
首先Producer 將消息提交到kafka中的Broker，只有當ISR中所有flower都確認收到消息后反饋給Leader，此時Leader才會給Producer確認收到消息，避免了Leader收到后，在同步到副本之前掛掉，消息丟失的場景。這也就是kafka對已經提交的消息做最大限度的持久化保證不丟失。
這里還有個誤區需要注意，Leader收到消息會同步ISR中的flower并不是所有flower，這樣既保證了時效性又保證了數據的可靠性，也算是一個這種的處理設計方式吧。
4. Producer端消息丟失分析
4.1 Producer消息發送流程
1）首先我們要知道一點就是 Producer 端是直接與 Broker 中的 Leader Partition 交互的，所以在 Producer 端初始化中就需要通過 Partitioner 分區器從 Kafka 集群中獲取到相關 Topic 對應的 Leader Partition 的元數據 。2）待獲取到 Leader Partition 的元數據后直接將消息發送過去。3）Kafka Broker 對應的 Leader Partition 收到消息會先寫入 Page Cache，定時刷盤進行持久化（順序寫入磁盤）。4) Follower Partition 拉取 Leader Partition 的消息并保持同 Leader Partition 數據一致，待消息拉取完畢后需要給 Leader Partition 回復 ACK 確認消息。5）待 Kafka Leader 與 Follower Partition 同步完數據并收到所有 ISR 中的 Replica 副本的 ACK 后，Leader Partition 會給 Producer 回復 ACK 確認消息。根據以及消息發送流程可以得出：Producer 端為了提升發送效率，減少IO操作，發送數據的時候是將多個請求合并成一個個 RecordBatch，并將其封裝轉換成 Request 請求「異步」將數據發送出去（也可以按時間間隔方式，達到時間間隔自動發送），所以 Producer 端消息丟失更多是因為消息根本就沒有發送到 Kafka Broker 端。
4.2 Producer 端消息丟失場景
網絡原因：由于網絡抖動導致數據根本就沒發送到 Broker 端。 數據原因：消息體太大超出 Broker 承受范圍而導致 Broker 拒收消息。4.3 Producer消息確認機制
Kafka Producer 端也可以通過配置來確認消息是否生產成功，配置參數：request.required.acks。
request.required.acks=0
他表示只要發送就認為成功，并不進行消息結合搜是否成功的ACK確認，不能保證消息是否發送成功，實際生產環境無法使用，不能保證數據可靠性。
request.required.acks=1
他表示當Leader接收成功時就進行ack確認，只要leader存活就可以保證消息不丟失，也能保證吞吐量，但是可用性不高，一旦leader收到消息，確認ack接收成功，同步flower之前掛掉就會導致數據丟失，實際生產環境根據業務場景慎用。
request.required.acks=-1或者all
他表示leader和ISR列表中的所有flower接收完成后，進行ack確認，可以最大限度的保證消息不丟失，同時也保證了系統的高可用性，因為有同步flower的操作所以性能稍遜于等于1的情況，但是提高了可用性，比較推薦的配置方式。
4.4 Producer端消息丟失解決方案
1.更換調用方式
棄用調用發后即焚的方式，使用帶回調通知函數的方法進行發送消息，即 Producer.send(msg, callback), 這樣一旦發現發送失敗， 就可以做針對性處理。
（1）網絡抖動導致消息丟失，Producer 端可以進行重試。
（2）消息大小不合格，可以進行適當調整，符合 Broker 承受范圍再發送。
通過以上方式可以保證最大限度消息可以發送成功。
2 ACK 確認機制
需要將 request.required.acks 設置為 -1/ all，-1/all 表示有多少個副本 Broker 全部收到消息，才認為是消息提交成功的標識。
針對 acks = -1/ all , 這里有兩種非常典型的情況：
（1）數據發送到 Leader Partition， 且所有的 ISR 成員全部同步完數據， 此時，Leader Partition 異常 Crash 掉，那么會選舉新的 Leader Partition，數據不會丟失。
（2）數據發送到 Leader Partition，部分 ISR 成員同步完成，此時 Leader Partition 異常 Crash， 剩下的 Follower Partition 都可能被選舉成新的 Leader Partition，會給 Producer 端發送失敗標識， 后續會重新發送數據，數據可能會重復。
因此通過上面分析，我們還需要通過其他參數配置來進行保證：
replication.factor >= 2
min.insync.replicas > 1
3 重試次數 retries
該參數表示 Producer 端發送消息的重試次數。
需要將 retries 設置為大于0的數， 在 Kafka 2.4 版本中默認設置為Integer.MAX_VALUE。另外如果需要保證發送消息的順序性，配置如下：
retries = Integer.MAX_VALUE
max.in.flight.requests.per.connection = 1
4 重試時間 retry.backoff.ms
該參數表示消息發送超時后兩次重試之間的間隔時間，避免無效的頻繁重試，默認值為100ms, 推薦設置為300ms。
5. Broker端消息丟失分析
5.1 broker端持久化流程
生產者發送消息到kafka broker端持久化流程。
#mermaid-svg-KpyPr3nKfGWTXQeX .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .label text{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .node rect,#mermaid-svg-KpyPr3nKfGWTXQeX .node circle,#mermaid-svg-KpyPr3nKfGWTXQeX .node ellipse,#mermaid-svg-KpyPr3nKfGWTXQeX .node polygon,#mermaid-svg-KpyPr3nKfGWTXQeX .node path{fill:#ECECFF;stroke:#9370db;stroke-width:1px}#mermaid-svg-KpyPr3nKfGWTXQeX .node .label{text-align:center;fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .node.clickable{cursor:pointer}#mermaid-svg-KpyPr3nKfGWTXQeX .arrowheadPath{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .edgePath .path{stroke:#333;stroke-width:1.5px}#mermaid-svg-KpyPr3nKfGWTXQeX .flowchart-link{stroke:#333;fill:none}#mermaid-svg-KpyPr3nKfGWTXQeX .edgeLabel{background-color:#e8e8e8;text-align:center}#mermaid-svg-KpyPr3nKfGWTXQeX .edgeLabel rect{opacity:0.9}#mermaid-svg-KpyPr3nKfGWTXQeX .edgeLabel span{color:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .cluster rect{fill:#ffffde;stroke:#aa3;stroke-width:1px}#mermaid-svg-KpyPr3nKfGWTXQeX .cluster text{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);font-size:12px;background:#ffffde;border:1px solid #aa3;border-radius:2px;pointer-events:none;z-index:100}#mermaid-svg-KpyPr3nKfGWTXQeX .actor{stroke:#ccf;fill:#ECECFF}#mermaid-svg-KpyPr3nKfGWTXQeX text.actor>tspan{fill:#000;stroke:none}#mermaid-svg-KpyPr3nKfGWTXQeX .actor-line{stroke:grey}#mermaid-svg-KpyPr3nKfGWTXQeX .messageLine0{stroke-width:1.5;stroke-dasharray:none;stroke:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .messageLine1{stroke-width:1.5;stroke-dasharray:2, 2;stroke:#333}#mermaid-svg-KpyPr3nKfGWTXQeX #arrowhead path{fill:#333;stroke:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .sequenceNumber{fill:#fff}#mermaid-svg-KpyPr3nKfGWTXQeX #sequencenumber{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX #crosshead path{fill:#333;stroke:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .messageText{fill:#333;stroke:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .labelBox{stroke:#ccf;fill:#ECECFF}#mermaid-svg-KpyPr3nKfGWTXQeX .labelText,#mermaid-svg-KpyPr3nKfGWTXQeX .labelText>tspan{fill:#000;stroke:none}#mermaid-svg-KpyPr3nKfGWTXQeX .loopText,#mermaid-svg-KpyPr3nKfGWTXQeX .loopText>tspan{fill:#000;stroke:none}#mermaid-svg-KpyPr3nKfGWTXQeX .loopLine{stroke-width:2px;stroke-dasharray:2, 2;stroke:#ccf;fill:#ccf}#mermaid-svg-KpyPr3nKfGWTXQeX .note{stroke:#aa3;fill:#fff5ad}#mermaid-svg-KpyPr3nKfGWTXQeX .noteText,#mermaid-svg-KpyPr3nKfGWTXQeX .noteText>tspan{fill:#000;stroke:none}#mermaid-svg-KpyPr3nKfGWTXQeX .activation0{fill:#f4f4f4;stroke:#666}#mermaid-svg-KpyPr3nKfGWTXQeX .activation1{fill:#f4f4f4;stroke:#666}#mermaid-svg-KpyPr3nKfGWTXQeX .activation2{fill:#f4f4f4;stroke:#666}#mermaid-svg-KpyPr3nKfGWTXQeX .mermaid-main-font{font-family:"trebuchet ms", verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .section{stroke:none;opacity:0.2}#mermaid-svg-KpyPr3nKfGWTXQeX .section0{fill:rgba(102,102,255,0.49)}#mermaid-svg-KpyPr3nKfGWTXQeX .section2{fill:#fff400}#mermaid-svg-KpyPr3nKfGWTXQeX .section1,#mermaid-svg-KpyPr3nKfGWTXQeX .section3{fill:#fff;opacity:0.2}#mermaid-svg-KpyPr3nKfGWTXQeX .sectionTitle0{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .sectionTitle1{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .sectionTitle2{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .sectionTitle3{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .sectionTitle{text-anchor:start;font-size:11px;text-height:14px;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .grid .tick{stroke:#d3d3d3;opacity:0.8;shape-rendering:crispEdges}#mermaid-svg-KpyPr3nKfGWTXQeX .grid .tick text{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .grid path{stroke-width:0}#mermaid-svg-KpyPr3nKfGWTXQeX .today{fill:none;stroke:red;stroke-width:2px}#mermaid-svg-KpyPr3nKfGWTXQeX .task{stroke-width:2}#mermaid-svg-KpyPr3nKfGWTXQeX .taskText{text-anchor:middle;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .taskText:not([font-size]){font-size:11px}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutsideRight{fill:#000;text-anchor:start;font-size:11px;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutsideLeft{fill:#000;text-anchor:end;font-size:11px}#mermaid-svg-KpyPr3nKfGWTXQeX .task.clickable{cursor:pointer}#mermaid-svg-KpyPr3nKfGWTXQeX .taskText.clickable{cursor:pointer;fill:#003163 !important;font-weight:bold}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutsideLeft.clickable{cursor:pointer;fill:#003163 !important;font-weight:bold}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutsideRight.clickable{cursor:pointer;fill:#003163 !important;font-weight:bold}#mermaid-svg-KpyPr3nKfGWTXQeX .taskText0,#mermaid-svg-KpyPr3nKfGWTXQeX .taskText1,#mermaid-svg-KpyPr3nKfGWTXQeX .taskText2,#mermaid-svg-KpyPr3nKfGWTXQeX .taskText3{fill:#fff}#mermaid-svg-KpyPr3nKfGWTXQeX .task0,#mermaid-svg-KpyPr3nKfGWTXQeX .task1,#mermaid-svg-KpyPr3nKfGWTXQeX .task2,#mermaid-svg-KpyPr3nKfGWTXQeX .task3{fill:#8a90dd;stroke:#534fbc}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutside0,#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutside2{fill:#000}#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutside1,#mermaid-svg-KpyPr3nKfGWTXQeX .taskTextOutside3{fill:#000}#mermaid-svg-KpyPr3nKfGWTXQeX .active0,#mermaid-svg-KpyPr3nKfGWTXQeX .active1,#mermaid-svg-KpyPr3nKfGWTXQeX .active2,#mermaid-svg-KpyPr3nKfGWTXQeX .active3{fill:#bfc7ff;stroke:#534fbc}#mermaid-svg-KpyPr3nKfGWTXQeX .activeText0,#mermaid-svg-KpyPr3nKfGWTXQeX .activeText1,#mermaid-svg-KpyPr3nKfGWTXQeX .activeText2,#mermaid-svg-KpyPr3nKfGWTXQeX .activeText3{fill:#000 !important}#mermaid-svg-KpyPr3nKfGWTXQeX .done0,#mermaid-svg-KpyPr3nKfGWTXQeX .done1,#mermaid-svg-KpyPr3nKfGWTXQeX .done2,#mermaid-svg-KpyPr3nKfGWTXQeX .done3{stroke:grey;fill:#d3d3d3;stroke-width:2}#mermaid-svg-KpyPr3nKfGWTXQeX .doneText0,#mermaid-svg-KpyPr3nKfGWTXQeX .doneText1,#mermaid-svg-KpyPr3nKfGWTXQeX .doneText2,#mermaid-svg-KpyPr3nKfGWTXQeX .doneText3{fill:#000 !important}#mermaid-svg-KpyPr3nKfGWTXQeX .crit0,#mermaid-svg-KpyPr3nKfGWTXQeX .crit1,#mermaid-svg-KpyPr3nKfGWTXQeX .crit2,#mermaid-svg-KpyPr3nKfGWTXQeX .crit3{stroke:#f88;fill:red;stroke-width:2}#mermaid-svg-KpyPr3nKfGWTXQeX .activeCrit0,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCrit1,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCrit2,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCrit3{stroke:#f88;fill:#bfc7ff;stroke-width:2}#mermaid-svg-KpyPr3nKfGWTXQeX .doneCrit0,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCrit1,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCrit2,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCrit3{stroke:#f88;fill:#d3d3d3;stroke-width:2;cursor:pointer;shape-rendering:crispEdges}#mermaid-svg-KpyPr3nKfGWTXQeX .milestone{transform:rotate(45deg) scale(0.8, 0.8)}#mermaid-svg-KpyPr3nKfGWTXQeX .milestoneText{font-style:italic}#mermaid-svg-KpyPr3nKfGWTXQeX .doneCritText0,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCritText1,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCritText2,#mermaid-svg-KpyPr3nKfGWTXQeX .doneCritText3{fill:#000 !important}#mermaid-svg-KpyPr3nKfGWTXQeX .activeCritText0,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCritText1,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCritText2,#mermaid-svg-KpyPr3nKfGWTXQeX .activeCritText3{fill:#000 !important}#mermaid-svg-KpyPr3nKfGWTXQeX .titleText{text-anchor:middle;font-size:18px;fill:#000;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX g.classGroup text{fill:#9370db;stroke:none;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);font-size:10px}#mermaid-svg-KpyPr3nKfGWTXQeX g.classGroup text .title{font-weight:bolder}#mermaid-svg-KpyPr3nKfGWTXQeX g.clickable{cursor:pointer}#mermaid-svg-KpyPr3nKfGWTXQeX g.classGroup rect{fill:#ECECFF;stroke:#9370db}#mermaid-svg-KpyPr3nKfGWTXQeX g.classGroup line{stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX .classLabel .box{stroke:none;stroke-width:0;fill:#ECECFF;opacity:0.5}#mermaid-svg-KpyPr3nKfGWTXQeX .classLabel .label{fill:#9370db;font-size:10px}#mermaid-svg-KpyPr3nKfGWTXQeX .relation{stroke:#9370db;stroke-width:1;fill:none}#mermaid-svg-KpyPr3nKfGWTXQeX .dashed-line{stroke-dasharray:3}#mermaid-svg-KpyPr3nKfGWTXQeX #compositionStart{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #compositionEnd{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #aggregationStart{fill:#ECECFF;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #aggregationEnd{fill:#ECECFF;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #dependencyStart{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #dependencyEnd{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #extensionStart{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX #extensionEnd{fill:#9370db;stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX .commit-id,#mermaid-svg-KpyPr3nKfGWTXQeX .commit-msg,#mermaid-svg-KpyPr3nKfGWTXQeX .branch-label{fill:lightgrey;color:lightgrey;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .pieTitleText{text-anchor:middle;font-size:25px;fill:#000;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .slice{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX g.stateGroup text{fill:#9370db;stroke:none;font-size:10px;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX g.stateGroup text{fill:#9370db;fill:#333;stroke:none;font-size:10px}#mermaid-svg-KpyPr3nKfGWTXQeX g.statediagram-cluster .cluster-label text{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX g.stateGroup .state-title{font-weight:bolder;fill:#000}#mermaid-svg-KpyPr3nKfGWTXQeX g.stateGroup rect{fill:#ECECFF;stroke:#9370db}#mermaid-svg-KpyPr3nKfGWTXQeX g.stateGroup line{stroke:#9370db;stroke-width:1}#mermaid-svg-KpyPr3nKfGWTXQeX .transition{stroke:#9370db;stroke-width:1;fill:none}#mermaid-svg-KpyPr3nKfGWTXQeX .stateGroup .composit{fill:white;border-bottom:1px}#mermaid-svg-KpyPr3nKfGWTXQeX .stateGroup .alt-composit{fill:#e0e0e0;border-bottom:1px}#mermaid-svg-KpyPr3nKfGWTXQeX .state-note{stroke:#aa3;fill:#fff5ad}#mermaid-svg-KpyPr3nKfGWTXQeX .state-note text{fill:black;stroke:none;font-size:10px}#mermaid-svg-KpyPr3nKfGWTXQeX .stateLabel .box{stroke:none;stroke-width:0;fill:#ECECFF;opacity:0.7}#mermaid-svg-KpyPr3nKfGWTXQeX .edgeLabel text{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .stateLabel text{fill:#000;font-size:10px;font-weight:bold;font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family)}#mermaid-svg-KpyPr3nKfGWTXQeX .node circle.state-start{fill:black;stroke:black}#mermaid-svg-KpyPr3nKfGWTXQeX .node circle.state-end{fill:black;stroke:white;stroke-width:1.5}#mermaid-svg-KpyPr3nKfGWTXQeX #statediagram-barbEnd{fill:#9370db}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-cluster rect{fill:#ECECFF;stroke:#9370db;stroke-width:1px}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-cluster rect.outer{rx:5px;ry:5px}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-state .divider{stroke:#9370db}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-state .title-state{rx:5px;ry:5px}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-cluster.statediagram-cluster .inner{fill:white}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-cluster.statediagram-cluster-alt .inner{fill:#e0e0e0}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-cluster .inner{rx:0;ry:0}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-state rect.basic{rx:5px;ry:5px}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-state rect.divider{stroke-dasharray:10,10;fill:#efefef}#mermaid-svg-KpyPr3nKfGWTXQeX .note-edge{stroke-dasharray:5}#mermaid-svg-KpyPr3nKfGWTXQeX .statediagram-note rect{fill:#fff5ad;stroke:#aa3;stroke-width:1px;rx:0;ry:0}:root{--mermaid-font-family: '"trebuchet ms", verdana, arial';--mermaid-font-family: "Comic Sans MS", "Comic Sans", cursive}#mermaid-svg-KpyPr3nKfGWTXQeX .error-icon{fill:#522}#mermaid-svg-KpyPr3nKfGWTXQeX .error-text{fill:#522;stroke:#522}#mermaid-svg-KpyPr3nKfGWTXQeX .edge-thickness-normal{stroke-width:2px}#mermaid-svg-KpyPr3nKfGWTXQeX .edge-thickness-thick{stroke-width:3.5px}#mermaid-svg-KpyPr3nKfGWTXQeX .edge-pattern-solid{stroke-dasharray:0}#mermaid-svg-KpyPr3nKfGWTXQeX .edge-pattern-dashed{stroke-dasharray:3}#mermaid-svg-KpyPr3nKfGWTXQeX .edge-pattern-dotted{stroke-dasharray:2}#mermaid-svg-KpyPr3nKfGWTXQeX .marker{fill:#333}#mermaid-svg-KpyPr3nKfGWTXQeX .marker.cross{stroke:#333}:root { --mermaid-font-family: "trebuchet ms", verdana, arial;}#mermaid-svg-KpyPr3nKfGWTXQeX {color: rgba(0, 0, 0, 0.75);font: ;}Producerkafka BrokerOS Cache磁盤Kafka Broker 集群接收到數據后會將數據進行持久化存儲到磁盤，為了提高吞吐量和性能，采用的是「異步批量刷盤的策略」，也就是說按照一定的消息量和間隔時間進行刷盤。首先會將數據存儲到 「PageCache」 中，至于什么時候將 Cache 中的數據刷盤是由「操作系統」根據自己的策略決定或者調用 fsync 命令進行強制刷盤，如果此時 Broker 宕機 Crash 掉，且選舉了一個落后 Leader Partition 很多的 Follower Partition 成為新的 Leader Partition，那么落后的消息數據就會丟失。
既然 Broker 端消息存儲是通過異步批量刷盤的，那么這里就可能會丟數據的!!!
5.2 Broker 端消息丟失場景
1.由于Kafka中并沒有提供同步刷盤的方式，所以說從單個 Broker 來看還是很有可能丟失數據的。
2.kafka 通過「多 Partition （分區）多 Replica（副本）機制」已經可以最大限度的保證數據不丟失，如果數據已經寫入 PageCache 中但是還沒來得及刷寫到磁盤，此時如果所在 Broker 突然宕機掛掉或者停電，極端情況還是會造成數據丟失。
5.3 Broker 端消息丟失解決方案
1.unclean.leader.election.enable
該參數表示有哪些 Follower 可以有資格被選舉為 Leader , 如果一個 Follower 的數據落后 Leader 太多，那么一旦它被選舉為新的 Leader， 數據就會丟失，因此我們要將其設置為false，防止此類情況發生。
2.replication.factor
該參數表示分區副本的個數。建議設置 replication.factor >=3, 這樣如果 Leader 副本異常 Crash 掉，Follower 副本會被選舉為新的 Leader 副本繼續提供服務。
3 min.insync.replicas
該參數表示消息至少要被寫入成功到 ISR 多少個副本才算"已提交"，建議設置min.insync.replicas > 1, 這樣才可以提升消息持久性，保證數據不丟失。
另外我們還需要確保一下 replication.factor > min.insync.replicas, 如果相等，只要有一個副本異常 Crash 掉，整個分區就無法正常工作了，因此推薦設置成： replication.factor = min.insync.replicas +1, 最大限度保證系統可用性。
6. Consumer端消息丟失分析
6.1 Consumer消費流程
1）Consumer 拉取數據之前跟 Producer 發送數據一樣, 需要通過訂閱關系獲取到集群元數據, 找到相關 Topic 對應的 Leader Partition 的元數據。2）然后 Consumer 通過 Pull 模式主動的去 Kafka 集群中拉取消息。3）在這個過程中，有個消費者組的概念（不了解的可以看上面鏈接文章），多個 Consumer 可以組成一個消費者組即 Consumer Group，每個消費者組都有一個Group-Id。同一個 Consumer Group 中的 Consumer 可以消費同一個 Topic 下不同分區的數據，但是不會出現多個 Consumer 去消費同一個分區的數據。4）拉取到消息后進行業務邏輯處理，待處理完成后，會進行 ACK 確認，即提交 Offset 消費位移進度記錄。5）最后 Offset 會被保存到 Kafka Broker 集群中的 __consumer_offsets 這個 Topic 中，且每個 Consumer 保存自己的 Offset 進度。根據上圖以及消息消費流程可以得出消費主要分為兩個階段：
獲取元數據并從 Kafka Broker 集群拉取數據。 處理消息，并標記消息已經被消費，提交 Offset 記錄。既然 Consumer 拉取后消息最終是要提交 Offset， 那么這里就可能會丟數據的!!!
6.2 Consumer 端消息丟失場景
1.可能使用的「自動提交 Offset 方式」。
2.拉取消息后「先提交 Offset，后處理消息」，如果此時處理消息的時候異常宕機，由于 Offset 已經提交了, 待 Consumer 重啟后，會從之前已提交的 Offset 下一個位置重新開始消費， 之前未處理完成的消息不會被再次處理，對于該 Consumer 來說消息就丟失了。
3.拉取消息后「先處理消息，在進行提交 Offset」， 如果此時在提交之前發生異常宕機，由于沒有提交成功 Offset， 待下次 Consumer 重啟后還會從上次的 Offset 重新拉取消息，不會出現消息丟失的情況， 但是會出現重復消費的情況，這里只能業務自己保證冪等性。
6.3 Consumer 端消息丟失解決方案
在剖析 Consumer 端丟失場景的時候，我們得出其拉取完消息后是需要提交 Offset 位移信息的，因此為了不丟數據，正確的做法是：拉取數據、業務邏輯處理、提交消費 Offset 位移信息。
我們還需要設置參數 enable.auto.commit = false, 采用手動提交位移的方式。
另外對于消費消息重復的情況，業務自己保證冪等性, 保證只成功消費一次即可。
參考文檔
微服務 消息中間件Kafka詳解
kafka官網文檔
總結
以上是生活随笔為你收集整理的微服务 消息中间件kafka消息丢失问题的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： sqlmap下载安装
- 下一篇： RPC failed; curl 56