华为云GaussDB首席架构师冯柯：摘取皇冠上的明珠，华为云数据库的创新与探索
本文分享自華為云社區《華為云GaussDB首席架構師馮柯：摘取皇冠上的明珠，華為云數據庫的創新與探索》，作者：華為云社區精選。
?在國內做數據庫，是一件很具挑戰性的事情，因為這是基礎軟件皇冠上的明珠，是卡脖子的關鍵技術。
從海外廠商攻城略池的壟斷到國產數據庫廠商的艱難成長，從去IOE浪潮下的國產替代再到如今的百花齊放的市場局面，國產數據庫產業一路走來，背后都是一批批企業和個人的信念與堅守。
馮柯便是其中的一員，在20年的技術一線工作中，他見證了國產數據庫的蹣跚前進，也親身參與到互聯網和云時代，由市場主導的分布式數據庫建設浪潮中。
作為華為數據庫領域科學家、華為云數據庫GaussDB首席架構師，馮柯正在推動著數字化轉型下國產分布式數據庫在關鍵行業的深入應用。本期的?《云享人物·大咖面對面》，華為云開發者社區將以這位數據庫行業領軍人物的視角，去探索數據庫產業冰山之下的世界。
那些年，與國產數據庫共沉浮
上個世紀90年代，以Oracle、DB2為代表的國際商業數據庫進入國內市場，拿下電信、金融、政務等重要行業的大單，應用于各類核心系統和周邊系統。
彼時的國內數據庫產業剛剛起步，在國家政策主導下，最早一批成立的數據庫公司主要由高校和科研院所主導，技術上也以跟隨國際廠商為主。
也正是在這樣的時代背景下，當時在浙大研究數據存儲的馮柯，加入到了學校和企業聯合的數據庫產品化項目中，自此踏上數據庫研發生涯，一直到今天。
馮柯強調，“在這個時期，國內的數據庫完成了初始的技術和產業積累，更重要的是，它給我們這個行業培養了一大批骨干人才。”如果沒有這些人，高技術壁壘的數據庫產業會如同無源之水，無本之木。于國內數據庫產業來說，地利與人和均已就位，就差天時了。
進入互聯網時代，當人們的衣食住行都轉向在線服務化，傳統的商業數據庫愈發顯得力不從心。與此同時，國產數據庫的產品在廣度和深度都有了新的變化，關系型、非關系型、圖數據庫、時序數據庫……百花齊放。
而云計算的發展，好似平地一聲雷，將數據庫產業推入了一個新的浪潮里。
當前，千行百業都在向數字化轉型，應用上云已經是大勢所趨，而云也成為數據庫部署的主要形態。Gartner的統計顯示，2022年云數據庫在整個數據庫市場中的占比首次達到50%；在中國，到2025年，81%的數據庫將會跑在云平臺之上。
隨著數據庫和云的理念深度結合，華為也將早年為解決電信領域數據問題而研發的華為數據庫進行全面戰略升級，打造了涵蓋關系型與非關系型數據庫在內的GaussDB系列全場景云服務。馮柯和其團隊當前的工作重點，就是華為云GaussDB數據庫的研發和產業化應用。
馮柯認為“云計算拉低了數據庫行業的應用門檻，單點的技術已經不再是市場發展的絕對性瓶頸，數據庫的技術壁壘開始松動。比如對云上數據庫的評價更多的是集中在服務能力，也就是說如何讓用戶能像使用云資源一樣隨時隨地可獲得數據庫服務。”
云的發展推動了整個國產數據庫市場的快速崛起，馮柯感慨道：“我們看到金融行業的頭部客戶，以及一些互聯網頭部廠商，在他們的核心業務中開始落地使用國產數據庫，這是在過去10年無法想象的事情。“
他表示，這些變化也意味著國產數據庫已經從政策驅動轉向了產品市場主導。?而行業的嬗變也不斷地重塑著他對技術的理解，尤其是分布式數據庫這個具有代表性的技術產業賽道。
厚積薄發，分布式數據庫的春天
互聯網及云化時代的到來，使得企業業務架構產生巨大變化。過去的集中式數據庫已經無法滿足越來越多的業務場景，市場的需求推動了底層數據庫的分布式改造。另一方面，企業對自身IT架構的開放性和自主訴求也越來越高，這進一步牽引了分布式數據庫的普及應用。
雖然去O呼聲高漲，但是打破這種傳統商業數據庫的“壟斷”局面又談何容易。想要沖出傳統數據庫的包圍圈，馮柯指出數據庫產品要能回答這三個核心問題：
- 一是解決高可用問題，如何打消客戶對系統可用性可靠性的疑慮；
- 二是解決性能問題，如何解決客戶對數據庫、以及構建其上的應用性能的疑慮；
- 三是業務的平滑遷移，如何降低整個過程的實施成本和風險。
而以上種種又都可以從技術層面解決，這也是馮柯帶領的GaussDB在實際業務實踐中給客戶帶來的價值所在。
目前，GaussDB立足創新與自研，基于同一架構，一方面擁抱并兼容主流關系型數據庫生態如MySQL及非關系型數據庫 MongoDB、Redis等生態，另一方面圍繞自身開源的openGauss生態，打造面向政企客戶，強調高性能、高可靠、高安全的產品。
馮柯認為，由于分布式數據庫經歷了一個相對混亂的時代，導致整個產品和解決方案的邊界模糊不清。
“有的客戶雖然沒有應用分布式數據庫，但他們在業務架構上做過分布式改造和落地。就產生一個后果：在很多場景下，大家對于分布式數據庫應該解決什么問題，哪些問題應該通過數據庫來解決，哪些應該通過業務或者中間件層來解決，其實不是非常清楚。”
所以，分布式數據庫行業標準的落地，打造重點行業典型應用場景的標桿案例，幫助市場清晰界定應用解決方案與產品的邊界顯得至關重要。
業內不乏這樣成功的案例，比如剛剛過去的4月，中國郵政儲蓄銀行新一代個人業務分布式核心系統全面投產上線。該系統是大型商業銀行中首家同時采用企業級業務建模和分布式微服務架構，基于鯤鵬硬件底座、openGauss開源數據庫與GaussDB分布式云數據庫共同打造。系統上線后可具備為全行6.37億個人客戶、4萬個網點提供日均20億筆，峰值6.7萬筆/秒的交易處理能力。
海量交易數據的背后，也標志著國內的分布式數據庫產品在性能和產品成熟度上，逐漸能與國際商業數據庫持平甚至超越。
揭秘GaussDB冰山下的能力
GaussDB之所以能夠支撐郵政儲蓄銀行的個人業務分布式核心系統上線，成功實現對國外商業數據庫的取代，很關鍵的一點在于它“集成”了華為自身的三大優勢：
在此基礎上結合對客戶業務和需求的理解，GaussDB實現了國產數據庫在性能和產品上的突破。以高可用為例，GaussDB兩地三中心的高可用解決方案已經在國有大行，從邊緣到核心系統全類業務進行了驗證，滿足金融監管的要求。
在全棧能力方面，GaussDB垂直整合華為軟硬件資源，比如將華為在存儲上的優勢，深入融合到數據庫的存算分離架構上，包括NDP（Near Data Processing）近數據處理，讓數據庫的計算邏輯充分利用下面整個存儲池的能力，并且更進一步，將NDP與PQ（Parallel Query）相結合，提高復雜查詢處理能力。
同時，通過全密態加密技術來保證保護敏感數據的全生命周期安全。并將AI技術融入到數據庫內核中，實現參數自調優和智能索引推薦，降低運維側的復雜度和成本。
馮柯總結了GaussDB的六大競爭點：高可用、軟硬深度協同、企業級混合負載、云原生多主、數據安全與可信、AI-Native（智能運維與調優）。?具體可以參考閱讀《華為云數據庫戰略啟示錄》。
在馮柯看來，所有的技術問題來自于你解決什么樣的訴求。?對于一些需要云原生數據庫的企業來說，GaussDB通過軟硬協同、架構的融合、混合負載和智能化運維，讓數據庫的使用和水電資源一樣簡單易得。而面向政企，GaussDB在上述基礎之上會更強調高可用、安全方面的考量，像使用單機集中式數據庫一樣可靠可用。
比如在工商銀行核心交易系統分布式改造中，他們將貴金屬交易系統、渠道類業務、商密公文系統等核心業務從傳統封閉的集中式商業數據庫平滑切換到華為云GaussDB 分布式數據庫之上，在高可用方面，實現了同城單Region 多AZ 互聯，支持同城雙活，金融級支持三層組網的管控高可用部署方案，支撐日均業務量10萬+。
與此同時，工商銀行還通過華為云數據庫和應用遷移（UGO）與數據復制服務（DRS）一站式遷移工具順利遷移了數千個實例，單個業務存儲過程量就接近兩千，節省了80% 的人工工作量。
五環理論，生態勝出才是最后贏家
對于企業來說，在經歷了封閉、集中式數據庫的痛苦之后，他們也愈加關注基礎軟件的開源開放和生態建設，沒有人想從一個封閉的生態走向另一個封閉的生態。
談及開源數據庫和商業數據庫，乃至當下的國內數據庫生態建設，馮柯提到了?“五環理論”,這是他對數據庫生態認知的自創概念：
最核心的二環是數據庫的技術內核，三環是數據庫的工具，包括遷移、開發、管理工具等；四環是服務能力；最外面的五環就是生態。
“產品外延能力越強，參與主體的多樣性越豐富，生態也就越成熟，當然投入的成本也會越高。不過現在大多數廠商都處在二環和三環之間，即還停留在產品技術的層面。”
馮柯認為只有ORACLE和MySQL這兩款數據庫真正走到了五環，所以整個國內數據庫產業的生態建設都是道阻且長，需要明確自身在哪些環節上是可以去做自我演進和發展。 “走到五環是需要一個過程的，而數據庫的開源生態建設尤為艱難，我們面臨著巨大的挑戰。”
早在2019年，華為宣布將其在數據庫領域的積累——GaussDB單機主備內核能力開源，并命名為openGauss。2020年6月底，openGauss數據庫源代碼正式向開發者開放。
馮柯說，“過去我們可能是為了開源而開源，而且以技術的使用為主，但現在諸如openGausss這樣的開源，是把產品作為生態建設的載體，產品本身就是開源生態的一部分。?同時在這生態中，也在不斷長出更多的數據庫產品。”
目前，除了華為云的分布式數據庫GaussDB(for openGauss)，已經有12家DBV基于openGauss社區版發布了自己的品牌數據庫，100+頭部企業參與社區共建。
同時，華為積極投入人才培養，與教育部聯合建設“智能基座”基地，GaussDB已與72 所國內雙一流高校建立合作關系，并在教育部“新工科”項目的80多所高校中開設GaussDB 數據庫課程；在高職、專科院校，通過實踐實訓培養面向社會的應用型人才。開課之外，定期開展師資培訓，聯合多所頂尖高校教授出版GaussDB 數據庫教材、教輔，持續完善GaussDB 數據庫的人才培養體系，保障數據庫產業未來人才供給。點擊鏈接申請華為云高校合作，共育云時代數據庫人才。
最后馮柯強調，能否建立一個實現共贏的商業利益分享機制，是整個生態的基礎。“這個賽道上，最終能夠在生態上勝出的才是真正贏家。”
結語
從政策層面到市場需求，今天對于國內數據庫廠商來說，可以稱得上是最好的時代。
作為基礎軟件“皇冠上的明珠”，國產數據庫的崛起，像夢想照進現實的一道光，每一個在這個產業沉沉浮浮的技術人，通過“創造”出類似GaussDB這樣的產品，來承載著他們對基礎軟件的堅持和夢想，支撐起這個由數據構成的大千世界。
華為伙伴暨開發者大會2022火熱來襲，重磅內容不容錯過！
【精彩活動】
勇往直前·做全能開發者→12場技術直播前瞻，8大技術寶典高能輸出，還有代碼密室、知識競賽等多輪神秘任務等你來挑戰。即刻闖關，開啟終極大獎！點擊踏上全能開發者晉級之路吧！
【技術專題】
未來已來，2022技術探秘→華為各領域的前沿技術、重磅開源項目、創新的應用實踐，站在智能世界的入口，探索未來如何照進現實，???????干貨滿滿點擊了解
點擊關注，第一時間了解華為云新鮮技術~
總結
以上是生活随笔為你收集整理的华为云GaussDB首席架构师冯柯：摘取皇冠上的明珠，华为云数据库的创新与探索的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Sql server如果存在就更新,不存
- 下一篇： 你知道RxJava也可以实现AsyncT