观点 | 云原生时代来袭 下一代云数据库技术将走向何方?
全面云化的時代已經到來,面對一系列的新技術和挑戰,數據庫市場將面臨怎樣的變革?作為云服務提供商,如何幫助更多的企業級用戶把握“云”潮,提供最高效、最具價值的數據庫解決方案?
日前,在阿里云峰會·北京站的數據庫專場上,阿里巴巴集團副總裁、達摩院首席數據庫科學家、阿?云智能事業群數據庫產品事業部總負責?李飛飛針對下一代云原生數據庫的技術與挑戰進行了精彩分享。
數據庫發展與技術演進之路
根據DB-Engine 2019年1月份的數據庫市場趨勢分析,關系型數據庫依舊占據著最核心的市場份額。與此同時,數據庫市場也在不斷細分,圖數據庫、文檔數據庫以及NoSQL等數據庫細分市場正在崛起。
另一大趨勢則是:以Oracle、DB2和Microsoft SQL Server三大巨頭為代表的傳統商業數據庫所占據的市場份額不斷下降,而開源和第三方數據庫市場持續增長。
數據庫技術誕生至今,雖然已經歷40多年的發展歷程,但仍舊處于蓬勃發展的時期。如今,各大云計算廠商也達成了共識:數據庫是連接IaaS和云上智能化應用的重要組成部分,因此從數據的產生、存儲以及消費等各個環節,云產商都需要提升全鏈路的能力,進而滿足用戶連接IaaS和智能化應用的需求。
隨著數據庫技術的不斷發展,不僅出現了OLTP系統來實現事務的處理,可以實現對交易數據的實時記錄;還出現了OLAP系統,借助OLAP系統可實現對于海量數據的實時分析。除此之外,還需要各類的數據庫服務和管控工具支持核心的OLTP和OLAP系統。在此基礎之上,針對半結構化數據和非結構化數據,NoSQL數據庫解決方案應運而生。
上世紀70年代末到80年代初,誕生了關系型數據庫,產生了SQL查詢語言以及OLTP交易處理系統。隨著數據的爆發式增長以及復雜分析需求的出現,誕生了數據倉庫,以及OLAP在線分析處理系統以及ETL等數據處理技術。
技術發展到今天,圖、文檔以及時空、時序等多元異構數據量持續增長,因此也對應地出現了關系型數據庫之外的NoSQL和NewSQL數據庫系統。
云原生時代 我們需要怎樣的數據庫?
傳統數據庫往往采用單節點架構,而到了如今的云原生時代,云原生數據庫通常會采用共享存儲的架構方式。阿里云POLARDB所采用的就是共享存儲架構,通過高速網絡構建共享存儲,在此之上實現存儲與計算的分離,進而可以快速彈性擴容出多個計算節點。
與此同時,POLARDB還可以根據用戶的具體需求在存儲和計算兩個維度迅速地實現擴縮容。而對于用戶而言,無需修改任何業務邏輯,就可以使用基于共享存儲的POLARDB數據庫,可以實現無侵入式遷移。
除了云原生的共享存儲技術之外,面對高并發、海量數據訪問的挑戰,也需要借助分布式架構來解決,比如為了應對每年的雙11大促,阿里巴巴自身就需要去探索分布式架構。
此外,針對數據的多模多態需求,阿里云也希望在用戶側提供不同查詢接口,比如SQL。在存儲側,阿里云希望能夠支持用戶將數據存儲到不同地方,并通過像SQL這樣的統一接口實現對不同數據類型的統一查詢訪問。目前,阿里云所提供數據湖服務就是針對上述場景所演進來的云原生技術。
正如前面所提到的OLTP和OLAP系統,傳統的解決方案希望將讀寫沖突隔離開,讓OLTP負責事務處理,讓OLAP負責海量數據的分析任務。而在云原生時代,阿里云會借助新硬件所帶來的技術紅利,盡可能降低數據遷移的成本,將事務處理和數據分析整合在同一個引擎中,通過一套系統為用戶無縫解決兩種問題。
阿里云目前已經服務了大量企業級客戶,這些客戶通過虛擬化、存儲與計算分離來使用阿里云所提供的云資源池。因此,我們需要對于云上全部資源進行智能化監控和調配,做到快速響應,并且為用戶提供最高質量的服務。而智能化的背后需要利用機器學習以及人工智能技術,從數據遷移、數據保護、彈性調度等各個維度實現自感知、自決策、自恢復以及自優化。
在云原生時代,另外一個重要技術就是軟硬件一體化設計。新硬件的發展為數據庫系統帶來了許多可不斷利用的技術紅利,比如RDMA網絡、SSD、NVM、GPU、IPG加速等。阿里云的POLARDB共享存儲就利用了RDMA網絡,因此可以做到像本地節點一樣快速訪問遠程數據庫節點。
對于很多云上的客戶而言,可能也有金融級高可用的需求。利用高可用協議,阿里云數據庫可以采用三副本架構,在本地可以實現數據庫之間的無縫實時切換,在異地也可以滿足不同用戶對于災備的需求,借助Binlog技術實現異地數據同步,實現金融級高可用。此外,云上用戶對數據的安全性尤為看重,阿里云數據庫服務從數據落盤開始,就提供了加密技術,確保全鏈路的數據安全。
阿里云數據庫服務:全域布局自主可控 兼具創新與商用價值
阿里云數據庫所提供的工具類產品包括數據備份、數據遷移、數據管理、混合云數據管理以及智能化診斷與優化系統等,可以幫助客戶實現快速上云并且打造混合云解決方案。
我們提供的核心引擎產品中,既有自主可控的自研產品,也有第三方以及開源的產品。希望通過商業數據庫以及開源產品為用戶提供豐富的選擇,同時也希望將云計算的技術紅利整合到自研數據庫產品中去,進一步做深做透,真正地幫助客戶解決應用第三方或者開源數據庫所無法解決的痛點和問題。
在OLTP方向,阿里云數據庫所提供的核心產品是POLARDB以及其分布式版本POLARDB X。除此之外,阿里云也提供主流的MySQL、PostgreSQL、SQLServer以及針對于Oracle兼容的PPAS等一系列服務。
針對OLAP系統,我們的核心產品是AnalyticDB、針對多源異構數據所提供的數據湖服務DLA,以及針對IoT場景的時序時空數據庫TSDB。而在NoSQL領域,阿里云則提供了豐富的第三方數據庫產品供客戶選擇,比如HBase、Redis、MongoDB以及阿里云自研的圖數據庫GDB等。
阿里云數據庫的管控平臺與全鏈路監控服務為用戶提供了智能化的全鏈路檢測與分析,保障阿里云數據庫能夠為用戶提供最高級別的Service Level。
阿里云幫助客戶打造了一條線上線下混合云數據存儲的鏈路,從客戶遷移上云開始,其可以選擇阿里云DTS服務進行實時的數據上傳和同步。數據上云之后,客戶可選擇POLARDB等云原生數據庫產品進行存儲,也可以借助DLA或者AnalyticDB等產品進行數據分析。
而針對特定場景進行數據分析可以選用文檔數據庫、圖數據庫或者時序時空數據庫等解決方案,可以借助DTS系統實現線上線下的數據同步備份,并且還可以借助HDM來進行混合云數據庫管理。此外,阿里云數據庫服務還提供了數據庫管理套件,可以支撐用戶對數據庫進行管理和開發,使得管理和開發流程更為高效。
這里主要為大家介紹兩種云原生數據庫產品,POLARDB和AnalyticDB。
POLARDB
POLARDB利用RDMA網絡實現了高效的共享分布式存儲,借助于共享存儲技術,多個計算節點中可以實現“一寫多讀”,并且可以根據客戶的工作量需求,快速彈出多個只讀節點來滿足客戶在高峰時刻對于計算的需求,同時也可以在存儲節點上實現快速縮擴容。
針對客戶的應用場景以及其業務峰值峰谷的波動情況,POLARDB可以做到按量按需使用和計費,進而大大地提升了客戶的數據庫使用效率,節省了所需要成本。總體而言,POLARDB就是一個超級MySQL,后續POLARDB還會陸續推出兼容PostgreSQL和Oracle的版本。
在一些場景下,用戶需要面對高并發和海量數據訪問的挑戰,因此需要突破共享存儲的容量上限。分布式架構的POLARDB X則利用Sharding Partition解決方案實現了存儲容量的無限水平擴展。POLARDB X分布式版本也會在后續進行公測,歡迎大家試用。
AnalyticDB
對海量數據進行分析的時候,讀寫會產生一定的沖突。如果需要讀取大量數據并進行分析將會極為復雜,因此推薦大家使用阿里云的實時交互式分析數據庫系統AnalyticDB。
AnalyticDB最核心的特點是具有支持高吞吐寫入的能力,并且具有針對于行列存儲所研發的存儲引擎,因此可以實現實時的交互式分析。在海量數據以及高并發場景下,AnalyticDB在響應時間方面的表現都非常優秀。AnalyticDB兼容了MySQL生態,因此可以將MySQL里面的數據直接導入AnalyticDB中,可以實現對上百億級別的數據的毫秒級查詢以及百萬TPS級別的寫入。
數據傳輸云服務DTS
除了核心的云原生數據庫產品,我們還有多款數據庫工具型產品,比如數據傳輸云服務DTS。DTS所解決的痛點是云下客戶上云所需要進行的數據傳輸問題,以及其在上云之后,云上與云下數據庫或者從TP到AP系統之間進行實時的數據同步問題。
利用DTS,用戶可以實現快速、高效地增量數據同步,保證了實時數據一致。DTS還提供了數據訂閱能力,可以通過不同的協議和接口來接入更多不同的數據源。
數據庫家族迎來新成員:圖數據庫GDB
這里為大家介紹一款阿里云新的數據庫產品——阿里云圖數據庫GDB,該產品目前正在阿里云官網進行公測。GDB是一種支持屬性圖模型,用于處理高度連接數據查詢與存儲的實時可靠的在線數據庫,其利用了大量的云原生技術,比如存儲與計算分離等。GDB支持標準的圖查詢語言,兼容Gremlin語法,這一點與市場主流的圖數據庫保持一致。
GDB另外一個最核心的特點就是支持實時更新、支持OLTP級別的數據一致性,能夠幫助大家在對海量的屬性圖進行分析存儲時保證數據的一致性。GDB具有服務高可用、易于維護等云原生數據庫產品的特性。比較典型的應用場景有社交網絡、金融欺詐檢測、實施推薦等,同時GDB還支持知識圖譜等形態以及神經網絡等。
以賦能客戶為本:降本提效 無憂發展
阿里云數據庫團隊的目標是為客戶提供企業級的云原生數據庫服務,利用自身全域布局、自主可控的技術為企業客戶提供快速數據上云、云上云下統一數據管理以及數據安全等服務。
舉例而言,阿里云數據庫服務目前在杭州等城市支撐了像城市大腦這樣復雜的應用,其既需要存儲結構化數據也需要存儲非結構數據,并且對于OLTP、OLAP、工具類產品等都提出了巨大的挑戰,而借助阿里云AnalyticDB、POLARDB、DTS等利用了云原生技術的產品可以無縫地支撐城市大腦這樣的復雜應用場景。
以POLARDB為例,該產品于2018年8月份進行公測,2018年的年底進行商業化,到目前為止實現了在公有云平臺上的快速增長。POLARDB呈現快速增長背后的核心原因就是阿里云真正地幫助客戶解決自身的痛點問題,不是利用新技術來“造完錘子找釘子”,而是真正地“看到釘子再去造錘子”。
POLARDB最為核心的特點就是云原生、分鐘級別的彈性存儲和計算、高性價比、靈活彈性的使用計費方式、高并發能力,可快速擴容多個只讀節點、大容量支持、通過共享分布式存儲做到了類似單機數據庫的體驗,對用戶的業務邏輯無侵入,并且高度兼容MySQL。
AnalyticDB則是一個實時交互式分析系統,無論是自制數據還是從大數據系統中獲取的存儲數據,都可以借助DTS工具將其遷移到AnalyticDB集群上,進行深入的商業分析、可視化以及交互式查詢等。
AnalyticDB能夠支持上百個表的連接查詢,可為客戶提供毫秒級的查詢服務。如今,無數用戶正在阿里云上使用POLARDB和AnalyticDB這樣的云原生數據庫,云原生數據庫也正在真正地改變客戶在應用中所遇到的痛點,為他們帶來更多的業務價值。
總結而言,云原生時代出現了一系列的新技術和新挑戰。面對這些挑戰,需要對于數據庫內核產品、管控平臺以及數據庫工具進行有機整合,才能夠為客戶提供最高效、最具有價值的解決方案。阿里云誠摯地邀請大家體驗自身的產品和技術,希望能夠與更多的客戶一起合作,解決問題,也希望更多的開發者和生態合作伙伴能夠基于阿里云的數據庫服務和產品打造針對特定行業和領域的深度解決方案,使得云原生時代的數據庫市場更加繁榮。
轉載于:https://blog.51cto.com/14031893/2384003
總結
以上是生活随笔為你收集整理的观点 | 云原生时代来袭 下一代云数据库技术将走向何方?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 索引的原理与优化
- 下一篇: scoped原理、不足、弥补或替代