全面云化的時(shí)代已經(jīng)到來，面對一系列的新技術(shù)和挑戰(zhàn)，數(shù)據(jù)庫市場將面臨怎樣的變革？作為云服務(wù)提供商，如何幫助更多的企業(yè)級用戶把握“云”潮，提供最高效、最具價(jià)值的數(shù)據(jù)庫解決方案？

日前，在阿里云峰會·北京站的數(shù)據(jù)庫專場上，阿里巴巴集團(tuán)副總裁、達(dá)摩院首席數(shù)據(jù)庫科學(xué)家、阿?云智能事業(yè)群數(shù)據(jù)庫產(chǎn)品事業(yè)部總負(fù)責(zé)?李飛飛針對下一代云原生數(shù)據(jù)庫的技術(shù)與挑戰(zhàn)進(jìn)行了精彩分享。

數(shù)據(jù)庫發(fā)展與技術(shù)演進(jìn)之路

根據(jù)DB-Engine 2019年1月份的數(shù)據(jù)庫市場趨勢分析，關(guān)系型數(shù)據(jù)庫依舊占據(jù)著最核心的市場份額。與此同時(shí)，數(shù)據(jù)庫市場也在不斷細(xì)分，圖數(shù)據(jù)庫、文檔數(shù)據(jù)庫以及NoSQL等數(shù)據(jù)庫細(xì)分市場正在崛起。

另一大趨勢則是：以O(shè)racle、DB2和Microsoft SQL Server三大巨頭為代表的傳統(tǒng)商業(yè)數(shù)據(jù)庫所占據(jù)的市場份額不斷下降，而開源和第三方數(shù)據(jù)庫市場持續(xù)增長。

數(shù)據(jù)庫技術(shù)誕生至今，雖然已經(jīng)歷40多年的發(fā)展歷程，但仍舊處于蓬勃發(fā)展的時(shí)期。如今，各大云計(jì)算廠商也達(dá)成了共識：數(shù)據(jù)庫是連接IaaS和云上智能化應(yīng)用的重要組成部分，因此從數(shù)據(jù)的產(chǎn)生、存儲以及消費(fèi)等各個(gè)環(huán)節(jié)，云產(chǎn)商都需要提升全鏈路的能力，進(jìn)而滿足用戶連接IaaS和智能化應(yīng)用的需求。

隨著數(shù)據(jù)庫技術(shù)的不斷發(fā)展，不僅出現(xiàn)了OLTP系統(tǒng)來實(shí)現(xiàn)事務(wù)的處理，可以實(shí)現(xiàn)對交易數(shù)據(jù)的實(shí)時(shí)記錄；還出現(xiàn)了OLAP系統(tǒng)，借助OLAP系統(tǒng)可實(shí)現(xiàn)對于海量數(shù)據(jù)的實(shí)時(shí)分析。除此之外，還需要各類的數(shù)據(jù)庫服務(wù)和管控工具支持核心的OLTP和OLAP系統(tǒng)。在此基礎(chǔ)之上，針對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，NoSQL數(shù)據(jù)庫解決方案應(yīng)運(yùn)而生。

上世紀(jì)70年代末到80年代初，誕生了關(guān)系型數(shù)據(jù)庫，產(chǎn)生了SQL查詢語言以及OLTP交易處理系統(tǒng)。隨著數(shù)據(jù)的爆發(fā)式增長以及復(fù)雜分析需求的出現(xiàn)，誕生了數(shù)據(jù)倉庫，以及OLAP在線分析處理系統(tǒng)以及ETL等數(shù)據(jù)處理技術(shù)。

技術(shù)發(fā)展到今天，圖、文檔以及時(shí)空、時(shí)序等多元異構(gòu)數(shù)據(jù)量持續(xù)增長，因此也對應(yīng)地出現(xiàn)了關(guān)系型數(shù)據(jù)庫之外的NoSQL和NewSQL數(shù)據(jù)庫系統(tǒng)。

云原生時(shí)代 我們需要怎樣的數(shù)據(jù)庫？

傳統(tǒng)數(shù)據(jù)庫往往采用單節(jié)點(diǎn)架構(gòu)，而到了如今的云原生時(shí)代，云原生數(shù)據(jù)庫通常會采用共享存儲的架構(gòu)方式。阿里云POLARDB所采用的就是共享存儲架構(gòu)，通過高速網(wǎng)絡(luò)構(gòu)建共享存儲，在此之上實(shí)現(xiàn)存儲與計(jì)算的分離，進(jìn)而可以快速彈性擴(kuò)容出多個(gè)計(jì)算節(jié)點(diǎn)。

與此同時(shí)，POLARDB還可以根據(jù)用戶的具體需求在存儲和計(jì)算兩個(gè)維度迅速地實(shí)現(xiàn)擴(kuò)縮容。而對于用戶而言，無需修改任何業(yè)務(wù)邏輯，就可以使用基于共享存儲的POLARDB數(shù)據(jù)庫，可以實(shí)現(xiàn)無侵入式遷移。

除了云原生的共享存儲技術(shù)之外，面對高并發(fā)、海量數(shù)據(jù)訪問的挑戰(zhàn)，也需要借助分布式架構(gòu)來解決，比如為了應(yīng)對每年的雙11大促，阿里巴巴自身就需要去探索分布式架構(gòu)。

此外，針對數(shù)據(jù)的多模多態(tài)需求，阿里云也希望在用戶側(cè)提供不同查詢接口，比如SQL。在存儲側(cè)，阿里云希望能夠支持用戶將數(shù)據(jù)存儲到不同地方，并通過像SQL這樣的統(tǒng)一接口實(shí)現(xiàn)對不同數(shù)據(jù)類型的統(tǒng)一查詢訪問。目前，阿里云所提供數(shù)據(jù)湖服務(wù)就是針對上述場景所演進(jìn)來的云原生技術(shù)。

正如前面所提到的OLTP和OLAP系統(tǒng)，傳統(tǒng)的解決方案希望將讀寫沖突隔離開，讓OLTP負(fù)責(zé)事務(wù)處理，讓OLAP負(fù)責(zé)海量數(shù)據(jù)的分析任務(wù)。而在云原生時(shí)代，阿里云會借助新硬件所帶來的技術(shù)紅利，盡可能降低數(shù)據(jù)遷移的成本，將事務(wù)處理和數(shù)據(jù)分析整合在同一個(gè)引擎中，通過一套系統(tǒng)為用戶無縫解決兩種問題。

阿里云目前已經(jīng)服務(wù)了大量企業(yè)級客戶，這些客戶通過虛擬化、存儲與計(jì)算分離來使用阿里云所提供的云資源池。因此，我們需要對于云上全部資源進(jìn)行智能化監(jiān)控和調(diào)配，做到快速響應(yīng)，并且為用戶提供最高質(zhì)量的服務(wù)。而智能化的背后需要利用機(jī)器學(xué)習(xí)以及人工智能技術(shù)，從數(shù)據(jù)遷移、數(shù)據(jù)保護(hù)、彈性調(diào)度等各個(gè)維度實(shí)現(xiàn)自感知、自決策、自恢復(fù)以及自優(yōu)化。

在云原生時(shí)代，另外一個(gè)重要技術(shù)就是軟硬件一體化設(shè)計(jì)。新硬件的發(fā)展為數(shù)據(jù)庫系統(tǒng)帶來了許多可不斷利用的技術(shù)紅利，比如RDMA網(wǎng)絡(luò)、SSD、NVM、GPU、IPG加速等。阿里云的POLARDB共享存儲就利用了RDMA網(wǎng)絡(luò)，因此可以做到像本地節(jié)點(diǎn)一樣快速訪問遠(yuǎn)程數(shù)據(jù)庫節(jié)點(diǎn)。

對于很多云上的客戶而言，可能也有金融級高可用的需求。利用高可用協(xié)議，阿里云數(shù)據(jù)庫可以采用三副本架構(gòu)，在本地可以實(shí)現(xiàn)數(shù)據(jù)庫之間的無縫實(shí)時(shí)切換，在異地也可以滿足不同用戶對于災(zāi)備的需求，借助Binlog技術(shù)實(shí)現(xiàn)異地?cái)?shù)據(jù)同步，實(shí)現(xiàn)金融級高可用。此外，云上用戶對數(shù)據(jù)的安全性尤為看重，阿里云數(shù)據(jù)庫服務(wù)從數(shù)據(jù)落盤開始，就提供了加密技術(shù)，確保全鏈路的數(shù)據(jù)安全。

阿里云數(shù)據(jù)庫服務(wù)：全域布局自主可控 兼具創(chuàng)新與商用價(jià)值

阿里云數(shù)據(jù)庫所提供的工具類產(chǎn)品包括數(shù)據(jù)備份、數(shù)據(jù)遷移、數(shù)據(jù)管理、混合云數(shù)據(jù)管理以及智能化診斷與優(yōu)化系統(tǒng)等，可以幫助客戶實(shí)現(xiàn)快速上云并且打造混合云解決方案。

我們提供的核心引擎產(chǎn)品中，既有自主可控的自研產(chǎn)品，也有第三方以及開源的產(chǎn)品。希望通過商業(yè)數(shù)據(jù)庫以及開源產(chǎn)品為用戶提供豐富的選擇，同時(shí)也希望將云計(jì)算的技術(shù)紅利整合到自研數(shù)據(jù)庫產(chǎn)品中去，進(jìn)一步做深做透，真正地幫助客戶解決應(yīng)用第三方或者開源數(shù)據(jù)庫所無法解決的痛點(diǎn)和問題。

在OLTP方向，阿里云數(shù)據(jù)庫所提供的核心產(chǎn)品是POLARDB以及其分布式版本POLARDB X。除此之外，阿里云也提供主流的MySQL、PostgreSQL、SQLServer以及針對于Oracle兼容的PPAS等一系列服務(wù)。

針對OLAP系統(tǒng)，我們的核心產(chǎn)品是AnalyticDB、針對多源異構(gòu)數(shù)據(jù)所提供的數(shù)據(jù)湖服務(wù)DLA，以及針對IoT場景的時(shí)序時(shí)空數(shù)據(jù)庫TSDB。而在NoSQL領(lǐng)域，阿里云則提供了豐富的第三方數(shù)據(jù)庫產(chǎn)品供客戶選擇，比如HBase、Redis、MongoDB以及阿里云自研的圖數(shù)據(jù)庫GDB等。

阿里云數(shù)據(jù)庫的管控平臺與全鏈路監(jiān)控服務(wù)為用戶提供了智能化的全鏈路檢測與分析，保障阿里云數(shù)據(jù)庫能夠?yàn)橛脩籼峁┳罡呒墑e的Service Level。

阿里云幫助客戶打造了一條線上線下混合云數(shù)據(jù)存儲的鏈路，從客戶遷移上云開始，其可以選擇阿里云DTS服務(wù)進(jìn)行實(shí)時(shí)的數(shù)據(jù)上傳和同步。數(shù)據(jù)上云之后，客戶可選擇POLARDB等云原生數(shù)據(jù)庫產(chǎn)品進(jìn)行存儲，也可以借助DLA或者AnalyticDB等產(chǎn)品進(jìn)行數(shù)據(jù)分析。

而針對特定場景進(jìn)行數(shù)據(jù)分析可以選用文檔數(shù)據(jù)庫、圖數(shù)據(jù)庫或者時(shí)序時(shí)空數(shù)據(jù)庫等解決方案，可以借助DTS系統(tǒng)實(shí)現(xiàn)線上線下的數(shù)據(jù)同步備份，并且還可以借助HDM來進(jìn)行混合云數(shù)據(jù)庫管理。此外，阿里云數(shù)據(jù)庫服務(wù)還提供了數(shù)據(jù)庫管理套件，可以支撐用戶對數(shù)據(jù)庫進(jìn)行管理和開發(fā)，使得管理和開發(fā)流程更為高效。

這里主要為大家介紹兩種云原生數(shù)據(jù)庫產(chǎn)品，POLARDB和AnalyticDB。

POLARDB

POLARDB利用RDMA網(wǎng)絡(luò)實(shí)現(xiàn)了高效的共享分布式存儲，借助于共享存儲技術(shù)，多個(gè)計(jì)算節(jié)點(diǎn)中可以實(shí)現(xiàn)“一寫多讀”，并且可以根據(jù)客戶的工作量需求，快速彈出多個(gè)只讀節(jié)點(diǎn)來滿足客戶在高峰時(shí)刻對于計(jì)算的需求，同時(shí)也可以在存儲節(jié)點(diǎn)上實(shí)現(xiàn)快速縮擴(kuò)容。

針對客戶的應(yīng)用場景以及其業(yè)務(wù)峰值峰谷的波動情況，POLARDB可以做到按量按需使用和計(jì)費(fèi)，進(jìn)而大大地提升了客戶的數(shù)據(jù)庫使用效率，節(jié)省了所需要成本。總體而言，POLARDB就是一個(gè)超級MySQL，后續(xù)POLARDB還會陸續(xù)推出兼容PostgreSQL和Oracle的版本。

在一些場景下，用戶需要面對高并發(fā)和海量數(shù)據(jù)訪問的挑戰(zhàn)，因此需要突破共享存儲的容量上限。分布式架構(gòu)的POLARDB X則利用Sharding Partition解決方案實(shí)現(xiàn)了存儲容量的無限水平擴(kuò)展。POLARDB X分布式版本也會在后續(xù)進(jìn)行公測，歡迎大家試用。

AnalyticDB
對海量數(shù)據(jù)進(jìn)行分析的時(shí)候，讀寫會產(chǎn)生一定的沖突。如果需要讀取大量數(shù)據(jù)并進(jìn)行分析將會極為復(fù)雜，因此推薦大家使用阿里云的實(shí)時(shí)交互式分析數(shù)據(jù)庫系統(tǒng)AnalyticDB。

AnalyticDB最核心的特點(diǎn)是具有支持高吞吐寫入的能力，并且具有針對于行列存儲所研發(fā)的存儲引擎，因此可以實(shí)現(xiàn)實(shí)時(shí)的交互式分析。在海量數(shù)據(jù)以及高并發(fā)場景下，AnalyticDB在響應(yīng)時(shí)間方面的表現(xiàn)都非常優(yōu)秀。AnalyticDB兼容了MySQL生態(tài)，因此可以將MySQL里面的數(shù)據(jù)直接導(dǎo)入AnalyticDB中，可以實(shí)現(xiàn)對上百億級別的數(shù)據(jù)的毫秒級查詢以及百萬TPS級別的寫入。

數(shù)據(jù)傳輸云服務(wù)DTS
除了核心的云原生數(shù)據(jù)庫產(chǎn)品，我們還有多款數(shù)據(jù)庫工具型產(chǎn)品，比如數(shù)據(jù)傳輸云服務(wù)DTS。DTS所解決的痛點(diǎn)是云下客戶上云所需要進(jìn)行的數(shù)據(jù)傳輸問題，以及其在上云之后，云上與云下數(shù)據(jù)庫或者從TP到AP系統(tǒng)之間進(jìn)行實(shí)時(shí)的數(shù)據(jù)同步問題。

利用DTS，用戶可以實(shí)現(xiàn)快速、高效地增量數(shù)據(jù)同步，保證了實(shí)時(shí)數(shù)據(jù)一致。DTS還提供了數(shù)據(jù)訂閱能力，可以通過不同的協(xié)議和接口來接入更多不同的數(shù)據(jù)源。

數(shù)據(jù)庫家族迎來新成員：圖數(shù)據(jù)庫GDB

這里為大家介紹一款阿里云新的數(shù)據(jù)庫產(chǎn)品——阿里云圖數(shù)據(jù)庫GDB，該產(chǎn)品目前正在阿里云官網(wǎng)進(jìn)行公測。GDB是一種支持屬性圖模型，用于處理高度連接數(shù)據(jù)查詢與存儲的實(shí)時(shí)可靠的在線數(shù)據(jù)庫，其利用了大量的云原生技術(shù)，比如存儲與計(jì)算分離等。GDB支持標(biāo)準(zhǔn)的圖查詢語言，兼容Gremlin語法，這一點(diǎn)與市場主流的圖數(shù)據(jù)庫保持一致。

GDB另外一個(gè)最核心的特點(diǎn)就是支持實(shí)時(shí)更新、支持OLTP級別的數(shù)據(jù)一致性，能夠幫助大家在對海量的屬性圖進(jìn)行分析存儲時(shí)保證數(shù)據(jù)的一致性。GDB具有服務(wù)高可用、易于維護(hù)等云原生數(shù)據(jù)庫產(chǎn)品的特性。比較典型的應(yīng)用場景有社交網(wǎng)絡(luò)、金融欺詐檢測、實(shí)施推薦等，同時(shí)GDB還支持知識圖譜等形態(tài)以及神經(jīng)網(wǎng)絡(luò)等。

以賦能客戶為本：降本提效 無憂發(fā)展

阿里云數(shù)據(jù)庫團(tuán)隊(duì)的目標(biāo)是為客戶提供企業(yè)級的云原生數(shù)據(jù)庫服務(wù)，利用自身全域布局、自主可控的技術(shù)為企業(yè)客戶提供快速數(shù)據(jù)上云、云上云下統(tǒng)一數(shù)據(jù)管理以及數(shù)據(jù)安全等服務(wù)。

舉例而言，阿里云數(shù)據(jù)庫服務(wù)目前在杭州等城市支撐了像城市大腦這樣復(fù)雜的應(yīng)用，其既需要存儲結(jié)構(gòu)化數(shù)據(jù)也需要存儲非結(jié)構(gòu)數(shù)據(jù)，并且對于OLTP、OLAP、工具類產(chǎn)品等都提出了巨大的挑戰(zhàn)，而借助阿里云AnalyticDB、POLARDB、DTS等利用了云原生技術(shù)的產(chǎn)品可以無縫地支撐城市大腦這樣的復(fù)雜應(yīng)用場景。

以POLARDB為例，該產(chǎn)品于2018年8月份進(jìn)行公測，2018年的年底進(jìn)行商業(yè)化，到目前為止實(shí)現(xiàn)了在公有云平臺上的快速增長。POLARDB呈現(xiàn)快速增長背后的核心原因就是阿里云真正地幫助客戶解決自身的痛點(diǎn)問題，不是利用新技術(shù)來“造完錘子找釘子”，而是真正地“看到釘子再去造錘子”。

POLARDB最為核心的特點(diǎn)就是云原生、分鐘級別的彈性存儲和計(jì)算、高性價(jià)比、靈活彈性的使用計(jì)費(fèi)方式、高并發(fā)能力，可快速擴(kuò)容多個(gè)只讀節(jié)點(diǎn)、大容量支持、通過共享分布式存儲做到了類似單機(jī)數(shù)據(jù)庫的體驗(yàn)，對用戶的業(yè)務(wù)邏輯無侵入，并且高度兼容MySQL。

AnalyticDB則是一個(gè)實(shí)時(shí)交互式分析系統(tǒng)，無論是自制數(shù)據(jù)還是從大數(shù)據(jù)系統(tǒng)中獲取的存儲數(shù)據(jù)，都可以借助DTS工具將其遷移到AnalyticDB集群上，進(jìn)行深入的商業(yè)分析、可視化以及交互式查詢等。

AnalyticDB能夠支持上百個(gè)表的連接查詢，可為客戶提供毫秒級的查詢服務(wù)。如今，無數(shù)用戶正在阿里云上使用POLARDB和AnalyticDB這樣的云原生數(shù)據(jù)庫，云原生數(shù)據(jù)庫也正在真正地改變客戶在應(yīng)用中所遇到的痛點(diǎn)，為他們帶來更多的業(yè)務(wù)價(jià)值。

總結(jié)而言，云原生時(shí)代出現(xiàn)了一系列的新技術(shù)和新挑戰(zhàn)。面對這些挑戰(zhàn)，需要對于數(shù)據(jù)庫內(nèi)核產(chǎn)品、管控平臺以及數(shù)據(jù)庫工具進(jìn)行有機(jī)整合，才能夠?yàn)榭蛻籼峁┳罡咝А⒆罹哂袃r(jià)值的解決方案。阿里云誠摯地邀請大家體驗(yàn)自身的產(chǎn)品和技術(shù)，希望能夠與更多的客戶一起合作，解決問題，也希望更多的開發(fā)者和生態(tài)合作伙伴能夠基于阿里云的數(shù)據(jù)庫服務(wù)和產(chǎn)品打造針對特定行業(yè)和領(lǐng)域的深度解決方案，使得云原生時(shí)代的數(shù)據(jù)庫市場更加繁榮。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的云原生时代来袭 下一代云数据库技术将走向何方？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。