ZAB算法详解
前言
ZAB 協(xié)議,該協(xié)議應(yīng)該是所有一致性協(xié)議中生產(chǎn)環(huán)境中應(yīng)用最多的了。為什么呢?因?yàn)樗菫?Zookeeper 設(shè)計(jì)的分布式一致性協(xié)議!
1. 什么是 ZAB 協(xié)議? ZAB 協(xié)議介紹
ZAB 協(xié)議全稱(chēng):Zookeeper Atomic Broadcast(Zookeeper 原子廣播協(xié)議)。
Zookeeper 是一個(gè)為分布式應(yīng)用提供高效且可靠的分布式協(xié)調(diào)服務(wù)。在解決分布式一致性方面,Zookeeper 并沒(méi)有使用 Paxos ,而是采用了 ZAB 協(xié)議。
ZAB 協(xié)議定義:ZAB 協(xié)議是為分布式協(xié)調(diào)服務(wù) Zookeeper 專(zhuān)門(mén)設(shè)計(jì)的一種支持?崩潰恢復(fù)?和?原子廣播?協(xié)議。下面我們會(huì)重點(diǎn)講這兩個(gè)東西。
基于該協(xié)議,Zookeeper 實(shí)現(xiàn)了一種?主備模式?的系統(tǒng)架構(gòu)來(lái)保持集群中各個(gè)副本之間數(shù)據(jù)一致性。具體如下圖所示:
上圖顯示了 Zookeeper 如何處理集群中的數(shù)據(jù)。所有客戶(hù)端寫(xiě)入數(shù)據(jù)都是寫(xiě)入到 主進(jìn)程(稱(chēng)為 Leader)中,然后,由 Leader 復(fù)制到備份進(jìn)程(稱(chēng)為 Follower)中。從而保證數(shù)據(jù)一致性。從設(shè)計(jì)上看,和 Raft 類(lèi)似。
簡(jiǎn)單介紹完,開(kāi)始重點(diǎn)介紹?消息廣播?和?崩潰恢復(fù)。整個(gè) Zookeeper 就是在這兩個(gè)模式之間切換。?簡(jiǎn)而言之,當(dāng) Leader 服務(wù)可以正常使用,就進(jìn)入消息廣播模式,當(dāng) Leader 不可用時(shí),則進(jìn)入崩潰恢復(fù)模式。
2. 消息廣播
ZAB 協(xié)議的消息廣播過(guò)程使用的是一個(gè)原子廣播協(xié)議,類(lèi)似一個(gè)?二階段提交過(guò)程。對(duì)于客戶(hù)端發(fā)送的寫(xiě)請(qǐng)求,全部由 Leader 接收,Leader 將請(qǐng)求封裝成一個(gè)事務(wù) Proposal,將其發(fā)送給所有 Follwer ,然后,根據(jù)所有 Follwer 的反饋,如果超過(guò)半數(shù)成功響應(yīng),則執(zhí)行 commit 操作(先提交自己,再發(fā)送 commit 給所有 Follwer)。
基本上,整個(gè)廣播流程分為 3 步驟:
1.將數(shù)據(jù)都復(fù)制到 Follwer 中
2.等待 Follwer 回應(yīng) Ack,最低超過(guò)半數(shù)即成功
3.當(dāng)超過(guò)半數(shù)成功回應(yīng),則執(zhí)行 commit ,同時(shí)提交自己
通過(guò)以上 3 個(gè)步驟,就能夠保持集群之間數(shù)據(jù)的一致性。實(shí)際上,在 Leader 和 Follwer 之間還有一個(gè)消息隊(duì)列,用來(lái)解耦他們之間的耦合,避免同步,實(shí)現(xiàn)異步解耦。
還有一些細(xì)節(jié):
Leader 在收到客戶(hù)端請(qǐng)求之后,會(huì)將這個(gè)請(qǐng)求封裝成一個(gè)事務(wù),并給這個(gè)事務(wù)分配一個(gè)全局遞增的唯一 ID,稱(chēng)為事務(wù)ID(ZXID),ZAB 協(xié)議需要保證事務(wù)的順序,因此必須將每一個(gè)事務(wù)按照 ZXID 進(jìn)行先后排序然后處理。
在 Leader 和 Follwer 之間還有一個(gè)消息隊(duì)列,用來(lái)解耦他們之間的耦合,解除同步阻塞。
zookeeper集群中為保證任何所有進(jìn)程能夠有序的順序執(zhí)行,只能是 Leader 服務(wù)器接受寫(xiě)請(qǐng)求,即使是 Follower 服務(wù)器接受到客戶(hù)端的請(qǐng)求,也會(huì)轉(zhuǎn)發(fā)到 Leader 服務(wù)器進(jìn)行處理。
實(shí)際上,這是一種簡(jiǎn)化版本的 2PC,不能解決單點(diǎn)問(wèn)題。等會(huì)我們會(huì)講述 ZAB 如何解決單點(diǎn)問(wèn)題(即 Leader 崩潰問(wèn)題)。
3. 崩潰恢復(fù)
剛剛我們說(shuō)消息廣播過(guò)程中,Leader 崩潰怎么辦?還能保證數(shù)據(jù)一致嗎?如果 Leader 先本地提交了,然后 commit 請(qǐng)求沒(méi)有發(fā)送出去,怎么辦?
實(shí)際上,當(dāng) Leader 崩潰,即進(jìn)入我們開(kāi)頭所說(shuō)的崩潰恢復(fù)模式(崩潰即:Leader 失去與過(guò)半 Follwer 的聯(lián)系)。下面來(lái)詳細(xì)講述。
假設(shè)1:Leader 在復(fù)制數(shù)據(jù)給所有 Follower 之后崩潰,怎么辦?
假設(shè)2:Leader 在收到 Ack 并提交了自己,同時(shí)發(fā)送了部分 commit 出去之后崩潰怎么辦?
針對(duì)這些問(wèn)題,ZAB 定義了 2 個(gè)原則:
所以,ZAB 設(shè)計(jì)了下面這樣一個(gè)選舉算法:
能夠確保提交已經(jīng)被 Leader 提交的事務(wù),同時(shí)丟棄已經(jīng)被跳過(guò)的事務(wù)。
針對(duì)這個(gè)要求,如果讓 Leader 選舉算法能夠保證新選舉出來(lái)的 Leader 服務(wù)器擁有集群中所有機(jī)器編號(hào)(即 ZXID 最大)的事務(wù),那么就能夠保證這個(gè)新選舉出來(lái)的 Leader 一定具有所有已經(jīng)提交的提案。
而且這么做有一個(gè)好處是:可以省去 Leader 服務(wù)器檢查事務(wù)的提交和丟棄工作的這一步操作。
這樣,我們剛剛假設(shè)的兩個(gè)問(wèn)題便能夠解決。假設(shè) 1 最終會(huì)丟棄調(diào)用沒(méi)有提交的數(shù)據(jù),假設(shè) 2 最終會(huì)同步所有服務(wù)器的數(shù)據(jù)。這個(gè)時(shí)候,就引出了一個(gè)問(wèn)題,如何同步?
4. 數(shù)據(jù)同步
當(dāng)崩潰恢復(fù)之后,需要在正式工作之前(接收客戶(hù)端請(qǐng)求),Leader 服務(wù)器首先確認(rèn)事務(wù)是否都已經(jīng)被過(guò)半的 Follwer 提交了,即是否完成了數(shù)據(jù)同步。目的是為了保持?jǐn)?shù)據(jù)一致。
當(dāng)所有的 Follwer 服務(wù)器都成功同步之后,Leader 會(huì)將這些服務(wù)器加入到可用服務(wù)器列表中。
實(shí)際上,Leader 服務(wù)器處理或丟棄事務(wù)都是依賴(lài)著 ZXID 的,那么這個(gè) ZXID 如何生成呢?
答:在 ZAB 協(xié)議的事務(wù)編號(hào) ZXID 設(shè)計(jì)中,ZXID 是一個(gè) 64 位的數(shù)字,其中低 32 位可以看作是一個(gè)簡(jiǎn)單的遞增的計(jì)數(shù)器,針對(duì)客戶(hù)端的每一個(gè)事務(wù)請(qǐng)求,Leader 都會(huì)產(chǎn)生一個(gè)新的事務(wù) Proposal 并對(duì)該計(jì)數(shù)器進(jìn)行 + 1 操作。
而高 32 位則代表了 Leader 服務(wù)器上取出本地日志中最大事務(wù) Proposal 的 ZXID,并從該 ZXID 中解析出對(duì)應(yīng)的 epoch 值,然后再對(duì)這個(gè)值加一。
高 32 位代表了每代 Leader 的唯一性,低 32 代表了每代 Leader 中事務(wù)的唯一性。同時(shí),也能讓 Follwer 通過(guò)高 32 位識(shí)別不同的 Leader。簡(jiǎn)化了數(shù)據(jù)恢復(fù)流程。
基于這樣的策略:當(dāng) Follower 鏈接上 Leader 之后,Leader 服務(wù)器會(huì)根據(jù)自己服務(wù)器上最后被提交的 ZXID 和 Follower 上的 ZXID 進(jìn)行比對(duì),比對(duì)結(jié)果要么回滾,要么和 Leader 同步。
5. 總結(jié)
ZAB 協(xié)議和我們之前看的 Raft 協(xié)議實(shí)際上是有相似之處的,比如都有一個(gè) Leader,用來(lái)保證一致性(Paxos 并沒(méi)有使用 Leader 機(jī)制保證一致性)。再有采取過(guò)半即成功的機(jī)制保證服務(wù)可用(實(shí)際上 Paxos 和 Raft 都是這么做的)。
ZAB 讓整個(gè) Zookeeper 集群在兩個(gè)模式之間轉(zhuǎn)換,消息廣播和崩潰恢復(fù),消息廣播可以說(shuō)是一個(gè)簡(jiǎn)化版本的 2PC,通過(guò)崩潰恢復(fù)解決了 2PC 的單點(diǎn)問(wèn)題,通過(guò)隊(duì)列解決了 2PC 的同步阻塞問(wèn)題。
而支持崩潰恢復(fù)后數(shù)據(jù)準(zhǔn)確性的就是數(shù)據(jù)同步了,數(shù)據(jù)同步基于事務(wù)的 ZXID 的唯一性來(lái)保證。通過(guò) + 1 操作可以辨別事務(wù)的先后順序。
?
選主過(guò)程詳解:https://blog.csdn.net/yizhiniu_xuyw/article/details/114877950
總結(jié)
- 上一篇: Paxos、Raft分布式一致性算法应用
- 下一篇: ZAB协议选主过程详解