近日，華為云自研關系型數據庫 Taurus 公開亮相。作為華為云自研的最新一代云原生分布式數據庫，Taurus 完全兼容 MySQL 8.0，采用計算與存儲分離、日志即數據的架構設計，支持 1 寫 15 讀，性能達到原生 MySQL 的 7 倍。

性能達到原生MySQL七倍，華為云Taurus技術解讀 - InfoQ?www.infoq.cn

過去多年，數據庫技術本質上并沒有出現顛覆式發展。作為核心基礎設施，數據庫是一款用戶粘性非常高的產品，一旦核心業務數據落定，企業輕易不會嘗試更換，因此很長一段時間內，大眾習慣于老牌 IT 廠商壟斷數據庫市場的狀況。然而，云廠商涉足數據庫領域的消息近年層出不窮，比如 AWS Aurora、阿里云 PolarDB 以及華為云 Taurus。

在互聯網、移動和物聯網等新場景之下，圖片、音頻、視頻等非結構化數據開始出現爆炸性增長，傳統數據庫不堪重負，企業客戶急切需要新的數據庫產品。在云計算技術不斷成熟的背景之下，云數據庫開始崛起，并因為按需擴展、按需付費等特性獲得大量中小企業及互聯網客戶的擁護。

從云廠商的入局也不難看出，現在做數據庫的門檻并不像從前那么高，并不只有傳統的數據庫廠商可以做，單就這一領域的創業者也不少。在這種情況下，核心競爭力只可能從差異性發展而來，人人都在做且會做的東西很難形成核心競爭力。據此，華為云近日公開亮相的自研關系型數據庫 Taurus 有什么不同？核心競爭力是什么？為什么性能足以達到原生 MySQL 的 7 倍？與云上 MySQL 相比，后者的不足之處有哪些？華為云進行了哪些修補？

云原生數據庫技術趨勢

傳統的數據庫體系結構已有 30 多年的歷史，專為本地部署，本地存儲和單機數據庫實例而設計和優化，此后很長一段時間內，該體系結構未針對公有云環境進行優化。在公有云環境下，計算和存儲通過網絡分離以支持多租戶數據庫實例并 scale out 向兩端擴展；并不要求單個節點的高可靠性。

舉例來說，假設一個本地數據庫的每個數據庫實例都有本地存儲，為了支持高可用性，通常部署一個備實例并使用數據庫內部復制機制將數據庫日志（MySQL binlog）發送到備實例重建數據庫副本。目前，大多數云廠商都采用類似機制來支持云數據庫高可用性。但是，這種內部復制機制并沒有利用云存儲已經通過存儲層復制提供的可靠性，這導致大量存儲和帶寬浪費。實際上，備數據庫實例可以通過云存儲與主實例共享數據，不僅可以節省磁盤空間和帶寬，還可以為云數據庫服務提供快速 RTO。

很明顯，在將傳統數據庫遷移上云時，需要重新設計和優化數據庫系統。過去幾年，主要云供應商，比如 AWS 和阿里云，已經做了部分工作。預計未來幾年，更多云和數據庫供應商將遵循這一趨勢，構建某種形式的云原生數據庫技術。此外，Gartner 預測，到 2019 年，90％的云數據庫架構將支持計算和存儲分離。

值得注意的是，除了基于云環境的數據庫架構重新設計之外，這一領域還存在兩大趨勢：

• 在云原生數據庫中利用新硬件：如新硬件和 RDMA。這些都是活躍的研究領域，然而除了充當緩存和計算機與存儲之間的快速鏈接之外，到目前為止，我們還沒有看到任何其他的突破性。
• 基于即時和歷史收集的數據，使用 ML（機器學習）和統計技術來幫助管理和自我調整云數據庫，包括但不限于數據庫實例自動伸縮和參數設置和自動 調整，異常檢測等。

云上 MySQL 的不足

當前，對于 RDS for MySQL，各大云廠商基本都采用主備高可用模式、主備間使用 Binlog 復制，該架構下每添加一個從庫都需要全棧式資源，這導致了一些問題：

1、資源浪費

備庫往往不承擔流量；復制線程會消耗主庫 / 從庫計算資源，造成計算資源浪費；EVS 的 3 副本冗余機制下，N 個備庫最大需要 3*(N+1) 個副本，造成存儲資源浪費以及多種數據需要走存儲網絡進行刷盤，造成網絡資源浪費等。

2、擴展性不佳

添加只讀時需要拷貝數據，重放 binlog，對于大數據量情況下速度很慢，尤其是采用本地盤方案。主從復制延遲問題會讓主備倒換受影響，難以保證 RTO。此外，采用物理備份、邏輯備份時備份恢復速度很慢， 1T 以上數據量都以小時計，使得數據庫擴展性受限。

華為云 RDS 架構演進

華為云 Taurus 與 Amazon Aurora 數據庫進化的方向是一致的，然而進化路徑各有不同，這是由各自的數據庫云服務實現方式不同所決定的。華為云 RDS MySQL 有如下幾個版本，這些產品形態滿足不同的用戶業務場景，具有不同的特點，可以進行優勢互補。

MySQL 單機版

MySQL 單機版采用數據庫計算節點和存儲節點分離的方式，利用云盤數據本身的可靠性和多副本的特性，同時也利用 ECS 云服務器虛擬化來提升標準化部署、版本和運維管理效率，能夠滿足低端用戶不太注重高可用服務的業務場景。

MySQL 主備版

MySQL 高可用版則是針對企業級用戶提供的高可用數據庫版本，提供 99.95% 的 SLA 保障。采用 Active-Standby 高可用架構，主節點和備節點之間通過 MySQL Binlog 進行數據 Replication。當主節點發生故障，備節點接管服務。同時還支持最多 5 個只讀節點，支持負載均衡的數據讀寫分離的訪問方式。

MySQL 金融版

MySQL 金融版是針對金融行業等高端用戶設計的高可用、高可靠云服務產品。一主兩備三節點架構，可跨 AZ 部署，任意一臺服務器宕機不影響業務可用性；基于 Paxos 協議，實現了分布式下數據的強一致性，擁有更加優異的故障恢復時間，滿足數據容災備份等業務場景的需求。

Taurus 的進化

華為云 RDS 架構演進

華為云 Taurus 與 Amazon Aurora 數據庫進化的方向是一致的，然而進化路徑各有不同，這是由各自的數據庫云服務實現方式不同所決定的。華為云 RDS MySQL 有如下幾個版本，這些產品形態滿足不同的用戶業務場景，具有不同的特點，可以進行優勢互補。

MySQL 單機版

MySQL 單機版采用數據庫計算節點和存儲節點分離的方式，利用云盤數據本身的可靠性和多副本的特性，同時也利用 ECS 云服務器虛擬化來提升標準化部署、版本和運維管理效率，能夠滿足低端用戶不太注重高可用服務的業務場景。

MySQL 主備版

MySQL 高可用版則是針對企業級用戶提供的高可用數據庫版本，提供 99.95% 的 SLA 保障。采用 Active-Standby 高可用架構，主節點和備節點之間通過 MySQL Binlog 進行數據 Replication。當主節點發生故障，備節點接管服務。同時還支持最多 5 個只讀節點，支持負載均衡的數據讀寫分離的訪問方式。

MySQL 金融版

MySQL 金融版是針對金融行業等高端用戶設計的高可用、高可靠云服務產品。一主兩備三節點架構，可跨 AZ 部署，任意一臺服務器宕機不影響業務可用性；基于 Paxos 協議，實現了分布式下數據的強一致性，擁有更加優異的故障恢復時間，滿足數據容災備份等業務場景的需求。

Taurus 的進化

Taurus 采用計算與存儲解耦的技術架構，同時可以最多支持 15 個只讀節點。主節點和只讀節點之間是 Active-Active 的 Failover 方式，計算節點資源得到充分利用，由于使用共享存儲，進一步降低了用戶使用成本。

Taurus 的設計思想有幾個大的革新：

• 將部分計算能力卸載到存儲節點
• 軟硬件深度優化，充分利用 RDMA 網絡、NVME SSD 等硬件優勢
• 日志即數據，與傳統 RDS for MySQL 相比，不再需要刷 page，所有更新操作都記錄日志，不再需要 double write，減少了網絡通信。

另外在 DB Server 設計上，完全擁抱開源生態，完全兼容 MySQL 8.0。

華為云 Taurus 和 Amazon Aurora 的一個共同設計哲學就是，先推出一寫多讀的版本，根據市場需求，適時推出多寫版本，滿足絕大多數 OLTP 應用場景和性能要求。

Taurus 架構設計原則：

• 采用華為下一代云存儲（DFV）作為快速，可擴展，可靠和共享數據庫存儲。不復制存儲層中的已有功能，例如，數據復制，跨 AZ 可靠性，數據清理。
• 單個數據庫集群應該只需要一份足夠可靠的數據庫副本集。所有只讀副本共享存儲在云存儲中，甚至跨 AZ，數據庫層中沒有邏輯復制。一寫多讀，沒有獨立的備用實例。主節點發生故障轉移時，只讀副本可以切換到接管主服務器。
• 記錄為數據庫。僅順序寫入以最小化 SSD 磨損（避免寫入放大）
• 只有數據庫日志通過網絡從數據庫計算機節點寫入 DFV 存儲層。沒有頁面檢查點和刷新跨網絡，沒有雙重寫入。基于 DFV 存儲層內的數據庫日志重建數據面，以避免繁重的網絡流量。
• 基于跨 DFV 存儲節點的切片策略對數據庫進行分區，以支持大型數據庫卷。單個 DFV 存儲節點管理來自不同數據庫集群實例的多個分片，實現存儲容量和處理能力的無限擴展。

Taurus 數據庫關鍵技術點剖析

Taurus 架構

如圖所示，Taurus 是一個分布式集群架構設計，采用計算與存儲分離的設計理念，滿足公有云計算環境下用戶業務彈性擴展的剛性需求。數據庫計算節點和存儲節點之間采用高速網絡互聯，并通過 RDMA 協議進行數據傳輸，使得 I/O 性能不再成為瓶頸。

數據庫節點采用和 MySQL 完全兼容的設計。主節點和只讀節點之間采用 Active-Active 的 Failover 方式，提供 DB 的高可用服務。同時 ，DB Server 之間僅需同步 Redo log 相關的元數據信息。

SQL Nodes

管理客戶端連接、解析 SQL 請求,、分析執行計劃并執行和管理事務隔離級別

一主多讀

主庫和只讀松耦合

主庫和只讀通信少

快速 Failover

引入內核中的一些特性

• Query result cache
• Query plan cache
• Online DDL

SQL Replication

只讀節點在本地 buffer pool 中維護數據頁的多個版本

• 減少從存儲的遠端讀取數據頁

主庫交互

• MVCC: 同步主庫當前活躍事務列表
• 頁失效: 接收主庫頁失效列表

高速網絡下的 RDMA 協議

部署 RoCE RDMA 以減少網絡延遲并增加帶寬。在單個 AZ 中，Taurus 可以利用高速網絡（RDMA）來獲得更新和讀取的低延遲存儲 I/O，這對于低客戶端連接方案非常有用。

存儲抽象層 (SAL)

存儲抽象層 (SAL) 是邏輯層，將數據存儲和 SQL 前端、事務、查詢執行等進行隔離。由一組容量和處理能力按需擴展的分片節點組成，SAL 將所有 SQL 節點需要的數據頁按分片管理和橫向擴展。隨著數據庫規模的增長，可用資源（存儲、內存）隨著分片創建按比例增長。數據處理本地化，數據密集型操作是在存儲節點上按分片服務執行。

Taurus Storage

Taurus 存儲基于華為云存儲 DFV 持久層。DFV 持久層集群包括多個存儲節點。每個存儲節點包含多個 SSD 設備和適應 SSD 介質的 append 存儲服務進程。 DFV 持久層為 SQL 節點提供存儲接口。

Taurus 采用日志化方式處理 SQL 節點數據，即通常表述的“日志即數據”。數據組織采用面向 SSD 重新設計的 Append 模式，顯著減少系統寫放大，減少存儲時延。同時，在 Append 模式下，數據回滾和回檔變得非常快速。

Taurus 核心競爭力

成本更低

與傳統 RDS for MySQL 相比，只有一份存儲。添加只讀節點時，只需添加計算節點，無需額外購買存儲。只讀節點越多，節省的存儲成本越多。

擴展性、可靠性更高

• 橫向擴展更快。Taurus 采用共享存儲，只需添加計算節點，無論多大數據量，只需 5 分鐘左右，并且支持 15 個只讀.
• 縱向擴展更快。容器化部署，規格變更更快。
• 主從倒換時間更快。 消除了復制延遲，RTO 有保證。
• 數據庫 Crash 恢復更快。

性能更強

軟硬結合，基于硬件：Hi1822 卸載，NVMe SSD，RDMA，同時內核進行優化：去掉 double write，Query Cache/Plan Cache 優化，Innodb Lock Management 優化，Audit Plugin 效率優化，性能達到原生 MySQL 的 7 倍。

備份恢復更快

專為 Taurus 引擎定制的分布式存儲系統，極大提升數據備份、恢復性能

• 強大的數據快照處理能力。AppendOnly vs. WriteInPlace，數據天然按多時間點多副本存儲，快照秒級生成，支持海量快照。
• 任意時間點快速回滾。基于底層存儲系統的多時間點特性，不需增量日志回放，可直接實現按時間點回滾。
• 并行高速備份、恢復。備份及恢復邏輯下沉到各存儲節點，本地訪問數據并直接與第三方存儲系統交互，高并發高性能。
• 快速實例恢復。通過異步數據拷貝 + 按需實時數據加載機制， Taurus 實例可在數分鐘內達到完整功能可用。

總結

通過以上介紹不難發現，Taurus 的共享存儲架構將數據持久化放入新一代存儲中，充分保障數據強一致性和 0 丟失；采用軟硬件結合，充分利用 RDMA 網絡、NVME SSD 等硬件優勢，正是這些關鍵技術的整合創新，才使得 Taurus 的性能有了質的飛躍。

總結

以上是生活随笔為你收集整理的华为云大数据存储的冗余方式是三副本_华为TaurusDB技术解读（转载）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。