文/耿加申

建設(shè)分布式雙活數(shù)據(jù)中心是需要網(wǎng)絡(luò)系統(tǒng)、存儲(chǔ)系統(tǒng)、計(jì)算資源甚至包括應(yīng)用系統(tǒng)等多個(gè)IT系統(tǒng)之間緊密合作才能實(shí)現(xiàn)的。用戶所有的業(yè)務(wù)系統(tǒng)同時(shí)在兩個(gè)數(shù)據(jù)中心運(yùn)行，包括前端的全局負(fù)載均衡、服務(wù)器前端的負(fù)載均衡、服務(wù)器集群HA技術(shù)，后端的數(shù)據(jù)庫系統(tǒng)和存儲(chǔ)系統(tǒng)技術(shù)，同時(shí)為用戶提供服務(wù)。當(dāng)某個(gè)數(shù)據(jù)中心的應(yīng)用系統(tǒng)出現(xiàn)問題時(shí)，由另一個(gè)數(shù)據(jù)中心的應(yīng)用來持續(xù)的提供服務(wù)。本文主要介紹在網(wǎng)絡(luò)雙活已經(jīng)Ready情況下，數(shù)據(jù)庫和存儲(chǔ)雙活部署的最佳實(shí)踐方案。

一、數(shù)據(jù)庫分布式雙活技術(shù)

雙活數(shù)據(jù)庫備份技術(shù)的主、備數(shù)據(jù)庫能夠同時(shí)承擔(dān)生產(chǎn)業(yè)務(wù)并且實(shí)現(xiàn)備份功能，即主-主方式的數(shù)據(jù)庫雙活技術(shù)，極大提高數(shù)據(jù)庫的利用效率。用戶要實(shí)現(xiàn)數(shù)據(jù)庫的雙活，需要在主備數(shù)據(jù)中心同時(shí)安裝兩套數(shù)據(jù)庫系統(tǒng)，并且實(shí)現(xiàn)數(shù)據(jù)庫的同步功能。常見的雙活技術(shù)通常使用集群方式提供，以下以業(yè)界比較成熟的Oracle RAC為例作以介紹。

(如圖1所示)Oracle RAC(Real Application Clusters，實(shí)時(shí)應(yīng)用集群)不僅僅是個(gè)組件，它不是單單由某項(xiàng)特性組成，而是一堆特性應(yīng)用(Oracle Clusterware、RAC、ASM等)的集合，因此應(yīng)該被稱之為一種體系。該體系實(shí)現(xiàn)了多個(gè)實(shí)例同時(shí)訪問和管理同一數(shù)據(jù)庫，多個(gè)實(shí)例可以存在于不同節(jié)點(diǎn)，也可以在相同的節(jié)點(diǎn)上(從提升性能的角度來看，并不推薦這樣)，彼此通過內(nèi)網(wǎng)連接交換數(shù)據(jù)，并且能夠?qū)崿F(xiàn)自動(dòng)負(fù)載均衡，如果其中某個(gè)節(jié)點(diǎn)發(fā)生故障，RAC能夠通過后臺(tái)的監(jiān)控進(jìn)程將連接自動(dòng)切換到另外一個(gè)或多個(gè)節(jié)點(diǎn)上，從而實(shí)現(xiàn)應(yīng)用的無縫切換，對(duì)實(shí)例的高可用提供保護(hù)，使Oracle RAC 同時(shí)具備HA和LB的特性。

遠(yuǎn)距離集群中的 Oracle RAC 提供了一種橫向擴(kuò)展性能以及利用多個(gè)站點(diǎn)的存儲(chǔ)和服務(wù)器資源的方法，而且與單站點(diǎn) Oracle RAC 安裝相比，還提高了整個(gè)站點(diǎn)的可用性和數(shù)據(jù)中心維護(hù)操作的恢復(fù)能力。

圖1 RAC多實(shí)例

l 網(wǎng)絡(luò)部署方式

(如圖2所示)在整個(gè)RAC環(huán)境中，需要在兩個(gè)數(shù)據(jù)中心部署RAC節(jié)點(diǎn)，共存在四個(gè)網(wǎng)絡(luò)環(huán)境(如圖2所示)：

? Public網(wǎng)絡(luò)對(duì)應(yīng)公有IP，用于對(duì)外提供數(shù)據(jù)查詢服務(wù)，服務(wù)器維護(hù)，數(shù)據(jù)庫維護(hù)等；

? Virtual網(wǎng)絡(luò)對(duì)應(yīng)虛擬IP，用于提供應(yīng)用連接，一般應(yīng)用程序使用的是該IP；

? Private網(wǎng)絡(luò)對(duì)應(yīng)私有IP，用于傳輸RAC節(jié)點(diǎn)之間心跳報(bào)文cache fusion數(shù)據(jù)塊傳遞，對(duì)速度要求很高；

? 存儲(chǔ)網(wǎng)絡(luò)由存儲(chǔ)設(shè)備、HBA卡、光纖交換機(jī)等組成。

圖2 RAC雙節(jié)點(diǎn)網(wǎng)絡(luò)

l 業(yè)務(wù)訪問流程

(如圖3所示)在一個(gè)典型的多節(jié)點(diǎn)RAC系統(tǒng)集群環(huán)境中，數(shù)據(jù)是放在共享存儲(chǔ)上的，客戶端通過指定的虛擬IP連接。集群收到應(yīng)用程序訪問數(shù)據(jù)庫的請(qǐng)求后，利用DLM機(jī)制進(jìn)行多個(gè)節(jié)點(diǎn)間并發(fā)訪問的控制，把請(qǐng)求發(fā)送到其中一個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)收到請(qǐng)求后，通過Cache Fusion機(jī)制獲取讀寫權(quán)限，如果節(jié)點(diǎn)有權(quán)限訪問共享存儲(chǔ)，節(jié)點(diǎn)會(huì)對(duì)共享存儲(chǔ)進(jìn)行讀寫，讀寫數(shù)據(jù)完成后返回給客戶端。當(dāng)應(yīng)用訪問數(shù)據(jù)庫RAC集群時(shí)，由下面兩種機(jī)制來保證訪問數(shù)據(jù)的可用性：

? 并發(fā)控制。由于每個(gè)節(jié)點(diǎn)對(duì)數(shù)據(jù)有相同的訪問權(quán)利，這就要求集群對(duì)這種有對(duì)等權(quán)限的并發(fā)訪問有控制機(jī)制，在Oracle RAC中，利用DLM (Distribute Lock Management，分布式鎖管理器)機(jī)制進(jìn)行多個(gè)節(jié)點(diǎn)間并發(fā)訪問的控制，協(xié)調(diào)節(jié)點(diǎn)間資源的競(jìng)爭(zhēng)，保證并發(fā)的有效性，保護(hù)共享數(shù)據(jù)的安全。

? 分布式緩存。使用Cache Fusion模型，是實(shí)現(xiàn)RAC的根本的技術(shù)，它使各實(shí)例可以將它們的數(shù)據(jù)緩存合并為一個(gè)共享的全局緩存，保證緩存的一致性，減少共享磁盤IO的消耗。當(dāng)上層應(yīng)用訪問RAC節(jié)點(diǎn)是，RAC使用 Cache Fusion，優(yōu)先從緩存中讀寫數(shù)據(jù)，僅當(dāng)該數(shù)據(jù)塊不在全局共享的緩存中，才會(huì)執(zhí)行磁盤讀寫操作。

圖3 RAC多節(jié)點(diǎn)訪問

l 主備數(shù)據(jù)中心故障切換

當(dāng)其中一個(gè)數(shù)據(jù)中心的數(shù)據(jù)庫RAC節(jié)點(diǎn)出現(xiàn)故障時(shí)，另外一個(gè)數(shù)據(jù)中心的RAC節(jié)點(diǎn)還可以提供服務(wù)。Oracle RAC 同時(shí)具備HA和LB，而其高可用性的基礎(chǔ)是Failover(故障轉(zhuǎn)移)，通過TAF(Transparent Application Failover)技術(shù)，集群中任何一個(gè)節(jié)點(diǎn)的故障，連接其用戶會(huì)被自動(dòng)轉(zhuǎn)移到健康節(jié)點(diǎn)，用戶感覺不到這種切換。對(duì)于應(yīng)用程序而言，這個(gè)遷移過程是透明的，不需要用戶的介入。遷移過程如下：

(如圖4所示)假設(shè)有一個(gè)兩個(gè)節(jié)點(diǎn)的RAC，正常運(yùn)行時(shí)每個(gè)節(jié)點(diǎn)上都有一個(gè)VIP：VIP1和VIP2。當(dāng)節(jié)點(diǎn)2發(fā)生故障，RAC 會(huì)做如下操作：

? RAC的Failover 機(jī)制會(huì)把節(jié)點(diǎn)2的VIP2轉(zhuǎn)移到節(jié)點(diǎn)1上，這時(shí)節(jié)點(diǎn)1的PUBLIC 網(wǎng)卡上就有3個(gè)IP 地址，即VIP1、VIP2、Public IP1；

? 用戶對(duì)VIP2的連接請(qǐng)求會(huì)被IP層路由轉(zhuǎn)到節(jié)點(diǎn)1；

? 節(jié)點(diǎn)1上只監(jiān)聽VIP1和Public IP1的兩個(gè)IP地址,并沒有監(jiān)聽VIP2，故應(yīng)用層沒有對(duì)應(yīng)的程序接收這個(gè)數(shù)據(jù)包；

? 客戶端能夠立即接收到這個(gè)錯(cuò)誤，然后客戶段會(huì)重新發(fā)起向VIP1的連接請(qǐng)求，完成故障切換。

圖4 RAC故障轉(zhuǎn)移

在集群環(huán)境中，節(jié)點(diǎn)間需要某種心跳了解彼此的健康狀況。這個(gè)心跳是通過兩個(gè)數(shù)據(jù)中心的網(wǎng)絡(luò)來傳輸?shù)?#xff0c;如果心跳出了問題，每個(gè)節(jié)點(diǎn)都會(huì)認(rèn)為其他節(jié)點(diǎn)都不存在了，自己是唯一的幸存者，從而控制整個(gè)集群，由于數(shù)據(jù)是共享的，勢(shì)必會(huì)破壞共享數(shù)據(jù)的完整性和一致性。這時(shí)候Voting Disk表決盤被引入，所有節(jié)點(diǎn)都可以訪問表決盤，通過投票機(jī)制，獲得最高票數(shù)或者最早到達(dá)的獲得投票的幸存，其他節(jié)點(diǎn)被踢出。在Oracle RAC中Voting Disk用來記錄節(jié)點(diǎn)間成員的狀態(tài)，出現(xiàn)腦裂時(shí)，仲裁哪個(gè)分區(qū)獲得控制權(quán)，其他的分區(qū)被剔除。

二、存儲(chǔ)分布式雙活技術(shù)

分布式雙活數(shù)據(jù)庫部署需要共享存儲(chǔ)的支撐，理想的方案是EMC VPLEX，可以實(shí)現(xiàn)不同存儲(chǔ)異構(gòu)的雙活。VPLEX 體系結(jié)構(gòu)將橫向擴(kuò)展集群與分布式緩存一致性相結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)中心內(nèi)、跨數(shù)據(jù)中心的 EMC 和非 EMC 平臺(tái)之間的數(shù)據(jù)移動(dòng)性。其具有以下特點(diǎn)：

? 分布式存儲(chǔ)雙活集群技術(shù)，對(duì)應(yīng)用提供統(tǒng)一的訪問入口；

? VPLEX后端連接存儲(chǔ)類型可以兼容不同廠家；

? EMC VPLEX Metro在多個(gè)數(shù)據(jù)中心實(shí)現(xiàn)同步數(shù)據(jù)復(fù)制技術(shù)；

? VPLEX AccessAnywhere集群技術(shù)可用于對(duì)分布式卷進(jìn)行遠(yuǎn)程讀/寫訪問，可以在同步距離內(nèi)的位置之間訪問和共享數(shù)據(jù)；

? 給遠(yuǎn)距離的兩個(gè)數(shù)據(jù)中心提供一個(gè)共享的存儲(chǔ)，兩邊能同時(shí)讀寫同一份數(shù)據(jù)，簡(jiǎn)化擴(kuò)展 Oracle RAC跨數(shù)據(jù)中心的部署；

VPLEX 產(chǎn)品線包括 VPLEX Local(單站點(diǎn) SAN 聯(lián)合)、VPLEX Metro(支持往返延遲高達(dá) 5 ms 的同步分布式卷，約相距不超過 100 公里)以及 VPLEX Geo(支持往返時(shí)間高達(dá) 50 ms 的異步分布式卷)。將 VPLEX Metro 與遠(yuǎn)距離集群中的 Oracle RAC(擴(kuò)展 Oracle RAC)結(jié)合使用，可以簡(jiǎn)化 SAN 基礎(chǔ)架構(gòu)，同時(shí)減少與擴(kuò)展 RAC 部署模式關(guān)聯(lián)的部分存儲(chǔ)管理復(fù)雜性。

l 網(wǎng)絡(luò)部署方式

(如圖5所示)在VPLEX環(huán)境中，分別需要在兩個(gè)數(shù)據(jù)中心部署VPLEX，同時(shí)在第3個(gè)站點(diǎn)部署Witness，共存在兩個(gè)網(wǎng)絡(luò)環(huán)境(如圖5所示)。

? IP網(wǎng)絡(luò)：三方站點(diǎn)互連使用的IP網(wǎng)絡(luò)，使用Witness提供網(wǎng)絡(luò)管理和防止腦裂發(fā)生。

? 存儲(chǔ)網(wǎng)絡(luò)：由存儲(chǔ)設(shè)備，HBA卡，光纖交換機(jī)等組成，需要專用光纖線路連接。

圖5 VPLEX雙中心組網(wǎng)

l 業(yè)務(wù)訪問流程

存儲(chǔ)對(duì)讀數(shù)據(jù)的處理過程如下：

? 當(dāng)主機(jī)發(fā)出一個(gè)讀請(qǐng)求，VPLEX搜索其本地緩存；

? 如果數(shù)據(jù)被找到，返回到主機(jī)；

? 如果數(shù)據(jù)在本地緩存中沒有找到，VPLEX搜索全局緩存；

? 無論從本地緩存或全局緩存，它如果不能找到讀數(shù)據(jù)，則直接讀取后端存儲(chǔ)。在這些情況下，無論是全局還是本地緩存都進(jìn)行更新。

存儲(chǔ)對(duì)寫數(shù)據(jù)的處理過程如下：

? 對(duì)于VPLEX Local和Metro，所有寫操作都是通過后端存儲(chǔ)的緩存，只有數(shù)據(jù)寫入到后端陣列，主機(jī)的寫操作才算完成；

? 對(duì)于VPLEX metro，每次寫都是在集群中進(jìn)行復(fù)制。其中一個(gè)副本，寫入到本地后端陣列，而另外一個(gè)被寫入到遠(yuǎn)程VPLEX，再把它寫入到遠(yuǎn)程的后端磁盤。主機(jī)只有在這兩個(gè)寫入都完成后才會(huì)得到確認(rèn)。

l 主備數(shù)據(jù)中心故障切換

(如圖6所示)當(dāng)一個(gè)數(shù)據(jù)中心的存儲(chǔ)不能對(duì)外提供訪問時(shí)，VPLEX會(huì)實(shí)時(shí)把IO的請(qǐng)求定向到另外一個(gè)數(shù)據(jù)中心，不會(huì)影響到上層應(yīng)用的訪問。當(dāng)后端存儲(chǔ)失敗,VPLEX集群繼續(xù)服務(wù)所有的IO，因此Oracle RAC不會(huì)知道存儲(chǔ)不可用了。

圖6 VPLEX存儲(chǔ)故障切換

(如圖7所示)當(dāng)后端存儲(chǔ)和VPLEX集群其中之一出現(xiàn)故障，VPLEX Witness會(huì)繼續(xù)讓另外一個(gè)站點(diǎn)的VPLEX提供服務(wù)，Oracle 使用Transparent Application Failover 功能，允許客戶端自動(dòng)的重新連接到健康的VPLEX 集群上。

圖7 VPLEX存儲(chǔ)和集群故障切換

如果兩個(gè) VPLEX 集群中間的網(wǎng)絡(luò)出現(xiàn)故障，可以通過預(yù)先配置分離規(guī)則，優(yōu)先級(jí)高的VPLEX站點(diǎn)如果無法檢測(cè)到對(duì)方節(jié)點(diǎn)，則該節(jié)點(diǎn)繼續(xù)服務(wù)，另外一個(gè)停止服務(wù)。或者通過在第三站點(diǎn)部署VPLEX Witness，當(dāng)出現(xiàn)網(wǎng)絡(luò)故障時(shí)，由Witness判斷哪個(gè)節(jié)點(diǎn)可以提供服務(wù)。VPLEX Witness 通過管理 IP 網(wǎng)絡(luò)連接至兩個(gè) VPLEX 集群。為了讓 VPLEX Witness 能夠正確區(qū)分各種故障情況，需要在在第三個(gè)數(shù)據(jù)中心部署 VPLEX Witness。

三、Oracle RAC和 VPLEX Metro 聯(lián)合部署方式

Oracle RAC系統(tǒng)與EMC VPLEX技術(shù)相結(jié)合，是部署雙活數(shù)據(jù)中心的理想選擇。EMC VPLEX 的功能包括異構(gòu)存儲(chǔ)系統(tǒng)以及分布式雙活的共享存儲(chǔ)，可與 Oracle RAC 的固有功能共同提供高可用性和可擴(kuò)展的數(shù)據(jù)庫訪問。(如圖8所示)Oracle RAC 與 EMC VPLEX結(jié)合部署，簡(jiǎn)化了數(shù)據(jù)庫體系結(jié)構(gòu)，提高基礎(chǔ)架構(gòu)效率。

圖8 Oracle RAC 與 EMC VPLEX綜合組網(wǎng)

通常，擴(kuò)展 Oracle RAC 的部署重點(diǎn)是為其中一個(gè) Oracle集群表決磁盤部署第三個(gè)站點(diǎn)。(如圖9所示)借助 VPLEX，集群表決磁盤本身駐留在 VPLEX 虛擬卷上，僅VPLEX Witness部署在獨(dú)立故障域中，由于 VPLEX Witness 控制表決磁盤的訪問， VPLEX Witness 可提供腦裂檢測(cè)保護(hù)并保證 VPLEX Metro 和 Oracle 集群的行為一致。

由于所有 Oracle集群節(jié)點(diǎn)都需要訪問所有 Oracle集群配置文件和數(shù)據(jù)庫設(shè)備，因此 Oracle 集群配置文件和Oracle 數(shù)據(jù)庫都使用 VPLEX 分布式卷。

圖9 VPLEX腦裂檢測(cè)

l 網(wǎng)絡(luò)部署方式

? RAC集群互連：用于RAC心跳和Cache Fusion，對(duì)速度要求很高。

? IP網(wǎng)絡(luò)：三方站點(diǎn)互連使用的IP網(wǎng)絡(luò)，用于提供網(wǎng)絡(luò)管理和防止腦裂發(fā)生。

? 存儲(chǔ)網(wǎng)絡(luò)：由存儲(chǔ)設(shè)備、HBA卡、光纖交換機(jī)等組成，需要專用光纖線路連接。

l 故障切換

? 后端存儲(chǔ)失敗。當(dāng)站點(diǎn)A的存儲(chǔ)發(fā)生致命故障后，分布式鏡像卷只是少了鏡像的一半，容災(zāi)站點(diǎn)的存儲(chǔ)承擔(dān)起讀寫IO的工作，站點(diǎn)A的主機(jī)通過VPLEX的通訊鏈路從站點(diǎn)B的存儲(chǔ)上讀寫數(shù)據(jù)，使得整個(gè)系統(tǒng)沒有發(fā)生出錯(cuò)崩潰，也沒有業(yè)務(wù)切換到容災(zāi)站點(diǎn)，保證了業(yè)務(wù)高可用性。由于每個(gè)站點(diǎn)都有專門的LOG卷，所以在存儲(chǔ)恢復(fù)正常后不需要進(jìn)行全同步，而只需要傳輸改變量，同步時(shí)間大大縮小。

? VPLEX失敗。當(dāng)站點(diǎn)A的VPLEX故障后，另外一個(gè)站點(diǎn)B的VPLEX繼續(xù)工作，數(shù)據(jù)不會(huì)丟失，業(yè)務(wù)可以連接到另外一個(gè)站點(diǎn)B的RAC節(jié)點(diǎn)正常進(jìn)行工作。當(dāng)站點(diǎn)A的VPLEX恢復(fù)后，按保護(hù)機(jī)制的設(shè)定，可自動(dòng)或者手工確認(rèn)原主站點(diǎn)是否可以工作。

? RAC主機(jī)失敗。當(dāng)站點(diǎn)A的RAC1主機(jī)發(fā)生故障后，VPLEX和存儲(chǔ)都沒故障發(fā)生。因此只發(fā)生應(yīng)用切換事件。

? 站點(diǎn)間的網(wǎng)絡(luò)失敗。VPLEX可以設(shè)置優(yōu)先級(jí)別，當(dāng)兩臺(tái)VPLEX通訊發(fā)生故障時(shí)，根據(jù)定義的優(yōu)先級(jí)別的策略決定其中一臺(tái)VPLEX保持服務(wù)，而另一臺(tái)就要停止工作，或者由Witness來決定哪臺(tái)VPLEX繼續(xù)工作，保證了數(shù)據(jù)的一致性和安全性。

? 站點(diǎn)失敗。站點(diǎn)A的RAC、VPLEX、存儲(chǔ)都出現(xiàn)故障，連接站點(diǎn)A的RAC1的業(yè)務(wù)全斷，而連接站點(diǎn)B的RAC2的應(yīng)用還是可以保持正常工作無中斷，站點(diǎn)A的RAC1上的業(yè)務(wù)重新連接到RAC2后可以繼續(xù)正常工作。

l 該方案帶來的好處

聯(lián)合部署方式使得網(wǎng)絡(luò)、存儲(chǔ)和站點(diǎn)故障期間保證連續(xù)的數(shù)據(jù)庫可用性，橫向擴(kuò)展體系結(jié)構(gòu)以及兩個(gè)站點(diǎn)對(duì)同一數(shù)據(jù)庫的完全讀寫訪問權(quán)限，并且簡(jiǎn)化遠(yuǎn)程 Oracle RAC 部署，主要體現(xiàn)在：

? 集群節(jié)點(diǎn)只需連接至本地 VPLEX 集群，不需要跨站點(diǎn)連接；

? 通過使用分布式卷和 VPLEX Witness 部署 Oracle 表決磁盤，無需在第三站點(diǎn)部署 Oracle voting disk 表決磁盤和集群配置文件，簡(jiǎn)化了基礎(chǔ)架構(gòu)要求；

? 減少對(duì) Oracle 集群節(jié)點(diǎn) CPU 周期的占用以及與基于主機(jī)的鏡像關(guān)聯(lián)的占用，由 VPLEX 提供的硬件 RAID 和底層物理陣列提供這項(xiàng)功能；

? 能夠創(chuàng)建可將多個(gè)數(shù)據(jù)庫或應(yīng)用程序文件作為一個(gè)單元進(jìn)行保護(hù)的一致性組；

? 在存儲(chǔ)硬件更新和遷移期間，VPLEX 卷不要求暫停應(yīng)用程序或進(jìn)行 LUN ID 更改。

四、結(jié)束語

分布式數(shù)據(jù)中心要想實(shí)現(xiàn)對(duì)用戶提供真正的雙活服務(wù)，需要部署應(yīng)用、存儲(chǔ)、網(wǎng)絡(luò)的綜合雙活方案。企業(yè)通過部署ORACLE RAC數(shù)據(jù)庫的雙活技術(shù)和EMC VPLEX存儲(chǔ)的雙活技術(shù)，以及使用H3C的雙活數(shù)據(jù)中心網(wǎng)絡(luò)方案，完美的給用戶提供了一整套的雙活解決方案，避免了以前備份數(shù)據(jù)中心只能備用不能使用的資源浪費(fèi)，有力的保證了企業(yè)的業(yè)務(wù)系統(tǒng)高可靠運(yùn)行。

總結(jié)

以上是生活随笔為你收集整理的oracle asm 分布式存储,分布式数据中心数据库和存储部署解决方案的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。