剑指云原生数据库 2.0,阿里云发布全新一站式敏捷数据仓库解决方案
作為基礎(chǔ)軟件“三駕馬車”之一的數(shù)據(jù)庫,其發(fā)展歷程可追溯到60年前:從上世紀(jì)50年代的層次數(shù)據(jù)庫、網(wǎng)狀數(shù)據(jù)庫,70年代的關(guān)系型數(shù)據(jù)庫,再到90年代的關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫、PC單機(jī)數(shù)據(jù)庫和 2000 年的開源數(shù)據(jù)庫,Oracle等國際巨頭始終占領(lǐng)數(shù)據(jù)庫領(lǐng)域的壟斷地位。2010 年,伴隨云計(jì)算發(fā)展和云數(shù)據(jù)庫的崛起,以阿里云為代表的中國廠商在國際上嶄露頭角。
據(jù) Gartner 發(fā)布的《2020 年度全球數(shù)據(jù)庫魔力象限報(bào)告》顯示,阿里云進(jìn)入全球數(shù)據(jù)庫領(lǐng)導(dǎo)者象限,這是中國數(shù)據(jù)庫 40 年來首次進(jìn)入全球頂級(jí)數(shù)據(jù)庫行列。
隨著云原生時(shí)代的來臨,阿里巴巴瞄準(zhǔn)機(jī)遇,十多年前開始搶先布局云數(shù)據(jù)庫:
2009 年,率先提出升級(jí)傳統(tǒng)商業(yè)數(shù)據(jù)庫,用開源的 MySQL 替代 Oracle。
2010 年,基于 MySQL 著手打造開源數(shù)據(jù)庫 AliSQL,并對(duì)淘寶商品庫進(jìn)行改造。
2013 年 7 月,淘寶最后一個(gè) Oracle 數(shù)據(jù)庫下線。
2016 年,阿里巴巴開始自研首個(gè)分布式數(shù)據(jù)庫。
2017 年,推出國內(nèi)首個(gè)云原生關(guān)系型數(shù)據(jù)庫 PolarDB,計(jì)算能力最高可擴(kuò)展至 1000 核以上,性能比 MySQL 高 6 倍。
2019年6月, 阿里云進(jìn)入全球云數(shù)據(jù)庫市場(chǎng)份額前三、亞太市場(chǎng)第一
2019 年 7月 ,云原生數(shù)據(jù)倉庫 AnalyticDB 登頂 TPC-DS,成全球最快實(shí)時(shí)數(shù)倉。
2020 年 8 月,阿里云數(shù)據(jù)庫市場(chǎng)份額躍居國內(nèi)第一,首次超過傳統(tǒng)數(shù)據(jù)庫。
2020年11月, 阿里云首次進(jìn)入Gartner全球數(shù)據(jù)庫領(lǐng)導(dǎo)者象限,這也是中國數(shù)據(jù)庫40年來首次邁入全球頂級(jí)數(shù)據(jù)庫行列
阿里云一直深耕云數(shù)據(jù)庫領(lǐng)域:在打造出云原生關(guān)系型數(shù)據(jù)庫 PolarDB、云原生分布式數(shù)據(jù)庫 PolarDB-X、云原生數(shù)據(jù)倉庫 AnalyticDB(ADB)、云原生多模數(shù)據(jù)庫Lindorm、企業(yè)級(jí)云數(shù)據(jù)庫服務(wù)RDS后,今年阿里云率先提出“云原生數(shù)據(jù)庫 2.0”理念,持續(xù)加碼云數(shù)據(jù)庫,推出一站式數(shù)據(jù)管理平臺(tái) DMS。
緊接著,在 9 月 26 日的阿里云數(shù)據(jù)庫創(chuàng)新上云峰會(huì)暨第 3 屆數(shù)據(jù)庫性能挑戰(zhàn)賽決賽頒獎(jiǎng)典禮上,阿里云又推出全新一站式敏捷數(shù)據(jù)倉庫解決方案,該方案結(jié)合一站式數(shù)據(jù)管理平臺(tái) DMS 及云原生數(shù)據(jù)倉庫AnalyticDB,實(shí)現(xiàn)了庫倉一體的技術(shù)架構(gòu),提供在線數(shù)據(jù)實(shí)時(shí)入倉、T+1 周期性快照、按需建倉等能力,數(shù)據(jù)延時(shí)低至秒級(jí),持續(xù)賦能業(yè)務(wù)在線化,令企業(yè)在線數(shù)據(jù)釋放最大價(jià)值。
打破數(shù)字化轉(zhuǎn)型陣痛,一站式在線管理平臺(tái)DMS釋放數(shù)據(jù)價(jià)值
當(dāng)下,數(shù)據(jù)成為土地、勞動(dòng)力、資本、資本家才能后的第五生產(chǎn)要素,在社會(huì)的重要性日益凸顯。然而在企業(yè)數(shù)據(jù)價(jià)值化的過程中,阿里云資深技術(shù)專家、數(shù)據(jù)庫產(chǎn)品事業(yè)部生態(tài)工具部負(fù)責(zé)人陳長城觀察到,開發(fā)者和企業(yè)遇到一些難題:
1、數(shù)據(jù)孤島,管理復(fù)雜度:數(shù)據(jù)庫種類繁多、最佳實(shí)踐各不相同。 設(shè)計(jì)開發(fā)及維護(hù)門檻高, 容易出現(xiàn)質(zhì)量、性能及穩(wěn)定性問題。
2、加工復(fù)雜,“讓數(shù)據(jù)用起來”成為難題:異構(gòu)數(shù)據(jù)集成,數(shù)據(jù)加工架構(gòu)復(fù)雜, 依賴專業(yè)的數(shù)據(jù)開發(fā)團(tuán)隊(duì),鏈路診斷、運(yùn)維門檻極高。
3、數(shù)據(jù)治理缺乏,安全問題凸出:零安全管控的數(shù)據(jù)開發(fā)應(yīng)用環(huán)境,難以滿足眾多安全合規(guī)訴求。
阿里云資深技術(shù)專家、數(shù)據(jù)庫產(chǎn)品事業(yè)部生態(tài)工具部負(fù)責(zé)人陳長城
對(duì)此,阿里云推出一站式數(shù)據(jù)管理平臺(tái) DMS 對(duì)企業(yè)全數(shù)據(jù)資產(chǎn)統(tǒng)一進(jìn)行管理。DMS 無縫聯(lián)動(dòng)所有數(shù)據(jù)庫,實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)資產(chǎn)、數(shù)據(jù)庫設(shè)計(jì)與開發(fā)、對(duì)數(shù)據(jù)集成與開發(fā)、存儲(chǔ)、傳輸、加工、計(jì)算、管理,覆蓋數(shù)據(jù)生產(chǎn)到應(yīng)用的全生命周期。具備安全管理、容災(zāi)多活、數(shù)據(jù)庫DevSecOps、T+1 實(shí)時(shí)歸檔、實(shí)時(shí)數(shù)倉構(gòu)建、業(yè)務(wù)報(bào)表生產(chǎn)等業(yè)務(wù)應(yīng)用,通過極致的數(shù)據(jù)傳輸與加工能力,打通 TP、AP、NoSQL 等數(shù)據(jù)庫,打破數(shù)據(jù)孤島讓數(shù)據(jù)可直接用于分析,真正實(shí)現(xiàn)庫倉一體和在離線一體化的處理和分析能力,為企業(yè)提供了低門檻的應(yīng)用解決方案。
AnalyticDB,讓數(shù)據(jù)分析向云原生+數(shù)據(jù)庫大數(shù)據(jù)一體化加速演進(jìn)
另外,隨著企業(yè)數(shù)字化程度加深,數(shù)據(jù)在生產(chǎn)和處理上已發(fā)生質(zhì)變,呈現(xiàn)以下趨勢(shì):一是數(shù)據(jù)規(guī)模呈爆炸性增長。據(jù)統(tǒng)計(jì),2020 年全球數(shù)據(jù)規(guī)模達(dá) 40 ZB,預(yù)計(jì) 2025 年的數(shù)據(jù)規(guī)模是 2020 年的 4.3 倍,數(shù)據(jù)爆炸時(shí)代來臨。二是數(shù)據(jù)生產(chǎn)和處理實(shí)時(shí)化的需求加劇,預(yù)計(jì)到 2025 年,實(shí)時(shí)數(shù)據(jù)占比達(dá) 30%,這將給數(shù)據(jù)庫管理和計(jì)算帶來挑戰(zhàn)。三是數(shù)據(jù)生產(chǎn)和處理智能化需求。如今在海量數(shù)據(jù)中,非結(jié)構(gòu)化數(shù)據(jù)占比達(dá) 80%,這將給傳統(tǒng)針對(duì)結(jié)構(gòu)化數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫帶來巨大挑戰(zhàn),新一代非關(guān)系型數(shù)據(jù)庫智能、實(shí)時(shí)在線化的需求越來越迫切。四是數(shù)據(jù)加速上云,預(yù)計(jì)到 2025 年數(shù)據(jù)存儲(chǔ)云上規(guī)模達(dá) 49%。
阿里云研究員、數(shù)據(jù)庫產(chǎn)品事業(yè)部OLAP產(chǎn)品部負(fù)責(zé)人占超群
與此同時(shí),企業(yè)在處理數(shù)據(jù)時(shí)正面臨數(shù)據(jù)一致性、分析實(shí)時(shí)性、系統(tǒng)復(fù)雜性、學(xué)習(xí)和運(yùn)維成本增多等挑戰(zhàn)。
對(duì)此,阿里云推出云原生數(shù)據(jù)倉庫 AnalyticDB,幫助企業(yè)向云原生+數(shù)據(jù)庫大數(shù)據(jù)一體化演進(jìn)。AnalyticDB 采用存儲(chǔ)計(jì)算分離+多副本架構(gòu),支持從 1 個(gè)節(jié)點(diǎn)到最大 5000 節(jié)點(diǎn)的實(shí)時(shí)按需彈性擴(kuò)容,可實(shí)現(xiàn) PB 級(jí)數(shù)據(jù)存儲(chǔ)、查詢秒級(jí)響應(yīng),使業(yè)務(wù)分析效率從天級(jí)提升到分鐘級(jí)乃至秒級(jí)。AnalyticDB 有效解決在離線任務(wù)的融合處理、結(jié)構(gòu)化和非結(jié)構(gòu)化異構(gòu)數(shù)據(jù)融合分析,以及大規(guī)模系統(tǒng)管理成本指數(shù)級(jí)增長等問題。
2019 年,在數(shù)據(jù)庫與大數(shù)據(jù)權(quán)威評(píng)測(cè)機(jī)構(gòu) TPC 發(fā)布的面向復(fù)雜分析場(chǎng)景 TPC-DS 10TB 權(quán)威基準(zhǔn)測(cè)試中,AnalyticDB 性能指標(biāo)刷新世界紀(jì)錄,榮登榜單第一名,成為全球最快實(shí)時(shí)數(shù)倉 。在 2020 年天貓全球狂歡季中,AnalyticDB 支持了超過130個(gè)業(yè)務(wù)方,每秒實(shí)時(shí)寫入或更新高達(dá) 2.1 億,實(shí)時(shí)處理數(shù)據(jù)規(guī)模為 7.7 萬億,每秒交互式分析請(qǐng)求高達(dá) 17 萬,AnalyticDB 有效幫助雙11大量商家和用戶完成實(shí)時(shí)決策。
DMS+AnalyticDB 強(qiáng)強(qiáng)聯(lián)合,打造全新一站式敏捷數(shù)據(jù)倉庫解決方案
企業(yè)在打造數(shù)據(jù)倉庫時(shí),傳統(tǒng)方式是基于T+1數(shù)據(jù)集成構(gòu)建離線數(shù)倉,以支撐企業(yè)各項(xiàng)分析與服務(wù)。如此一來,不但會(huì)影響線上業(yè)務(wù)穩(wěn)定性,難以支持企業(yè)的實(shí)時(shí)需求,且整個(gè)數(shù)據(jù)加工鏈路長,成本高,時(shí)間不可控,還有生產(chǎn)庫密碼泄露等安全隱患。
對(duì)此,結(jié)合上文提到的一站式數(shù)據(jù)管理平臺(tái)DMS及云原生數(shù)據(jù)倉庫AnalyticDB,阿里云推出一站式敏捷數(shù)據(jù)倉庫解決方案,來支持業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)入倉+增刪改查、基于拉鏈表的T+1周期性快照等功能,充分滿足企業(yè)應(yīng)用場(chǎng)景對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的需求,如:促銷大屏、監(jiān)控報(bào)表、精準(zhǔn)營銷、交互式運(yùn)營分析等。
據(jù)悉,阿里云一站式敏捷數(shù)據(jù)倉庫解決方案有如下4大核心優(yōu)勢(shì),有效幫助企業(yè)降本增效:
1、對(duì)業(yè)務(wù)側(cè)影響小,不會(huì)因?yàn)閿?shù)據(jù)匯聚集中和實(shí)時(shí)加工影響業(yè)務(wù)側(cè)正常運(yùn)行,CPU、內(nèi)存占用低于5%;
2、事務(wù)順序和數(shù)據(jù)準(zhǔn)確性有保障,且處理鏈路短,支持在線數(shù)據(jù)實(shí)時(shí)處理落倉,效率更高。數(shù)據(jù)傳輸效率100m/s,數(shù)據(jù)延時(shí)在10秒內(nèi);
3、支持復(fù)雜實(shí)時(shí)數(shù)據(jù)加工、計(jì)算邏輯;
4、低代碼操作,能夠大大降低實(shí)時(shí)數(shù)倉的構(gòu)建難度,提升構(gòu)建效率的同時(shí),支撐企業(yè)數(shù)字化轉(zhuǎn)型過程中的各類實(shí)時(shí)場(chǎng)景。
目前,阿里云一站式敏捷數(shù)據(jù)倉庫解決方案已廣泛應(yīng)用于金融、數(shù)字政府、零售、泛互聯(lián)網(wǎng)等行業(yè),幫助企業(yè)建設(shè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)底座。
結(jié)語
在不斷打磨技術(shù)、豐富云原生數(shù)據(jù)庫產(chǎn)品矩陣之余,阿里云還推出三大計(jì)劃,助力產(chǎn)業(yè)向云原生數(shù)據(jù)庫升級(jí):2020年,阿里云發(fā)布“去 O 計(jì)劃”,宣布致力幫助1000家企業(yè)“去O”,完成10000 套傳統(tǒng)數(shù)據(jù)倉庫上云。2020 年 8 月,阿里云推出“升艙計(jì)劃”,助力金融、政務(wù)、電信等客戶將傳統(tǒng)數(shù)據(jù)倉庫全面升級(jí)至云原生數(shù)據(jù)倉庫,致力滿足企業(yè)對(duì)數(shù)倉產(chǎn)品實(shí)時(shí)化、彈性擴(kuò)展、高性價(jià)比及安全可控的訴求。今年 5 月,阿里云宣布開源云原生數(shù)據(jù)庫能力,對(duì)外開放關(guān)系型數(shù)據(jù)庫 PolarDB for PostgreSQL 的源代碼,攜手廣大開發(fā)者共建云原生數(shù)據(jù)庫2.0生態(tài)。
阿里巴巴集團(tuán)副總裁、阿里云數(shù)據(jù)庫產(chǎn)品事業(yè)部負(fù)責(zé)人李飛飛
最后,談及未來云原生數(shù)據(jù)庫發(fā)展的核心目標(biāo),阿里巴巴集團(tuán)副總裁、阿里云數(shù)據(jù)庫產(chǎn)品事業(yè)部負(fù)責(zé)人李飛飛用了三個(gè)詞:Any data(鍵值、文檔、圖、時(shí)序、空天),Any Scale(存計(jì)分離、線性擴(kuò)展、全球高可用),Any Workload(事務(wù)處理與分析混合負(fù)載)。具體涵蓋以下方向:
1、云原生+分布式
未來數(shù)據(jù)庫云原生+分布式一定是標(biāo)配,用云原生的方式構(gòu)建數(shù)據(jù)庫系統(tǒng),資源池化,資源持有,分布式不是其中一個(gè)選項(xiàng),而是必選項(xiàng)。
2、智能化
涵蓋 AI4DB 和 DB4AI,利用AI、機(jī)器學(xué)習(xí)的技術(shù)使能數(shù)據(jù)庫運(yùn)維管控智能化,進(jìn)行系統(tǒng)的監(jiān)控、調(diào)度、參數(shù)調(diào)優(yōu)和索引推薦等操作。
3、安全可信
隨著《數(shù)據(jù)安全法》的出臺(tái),數(shù)據(jù)的安全可信已成為共識(shí),我們需確保數(shù)據(jù)庫的處理全鏈路過程中具備加密、安全,可信的能力,這是重要的發(fā)展趨勢(shì)。
4、多模數(shù)據(jù)處理。面對(duì)物聯(lián)網(wǎng)、車聯(lián)網(wǎng)新場(chǎng)景產(chǎn)生的海量數(shù)據(jù),如何對(duì)這些新場(chǎng)景打造的新型多模數(shù)據(jù)庫非常重要。
5、一站式數(shù)據(jù)處理平臺(tái)
企業(yè)可能采用多個(gè)數(shù)據(jù)處理引擎,但有了一站式數(shù)據(jù)處理平臺(tái),用戶無需關(guān)心具體使用哪種類型的數(shù)據(jù)庫,一站式數(shù)據(jù)管理平臺(tái)可以讓數(shù)據(jù)無縫流轉(zhuǎn),讓開發(fā)者更便捷地訪問和處理數(shù)據(jù)。
阿里云數(shù)據(jù)庫始終以市場(chǎng)為導(dǎo)向,以產(chǎn)品為核心,以技術(shù)為基礎(chǔ)。同時(shí)擁有龐大的客戶群體,歷經(jīng)各行業(yè)實(shí)踐驗(yàn)證,不斷地貼近客戶需求,深入理解他們的需求,這是技術(shù)演進(jìn)最大的驅(qū)動(dòng)力。
目前,阿里云服務(wù)十年以上的企業(yè)有近萬家,云數(shù)據(jù)庫產(chǎn)品和技術(shù)服務(wù)已廣泛應(yīng)用于國稅總局、中國郵政、中國人壽、中國太保、中國南方航空、友邦保險(xiǎn)等客戶,并全面部署在核心系統(tǒng)之中,助力全社會(huì)數(shù)字化轉(zhuǎn)型。
總結(jié)
以上是生活随笔為你收集整理的剑指云原生数据库 2.0,阿里云发布全新一站式敏捷数据仓库解决方案的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 追踪 Kubernetes 中的网络流量
- 下一篇: IoT日志利器:嵌入式日志客户端(C P