SequoiaDB巨杉数据库许建辉:夯实数据库根科技,提升企业数智化转型的“人效”和“能效”...
“本文由 SequoiaDB巨杉數據庫合伙人兼研發VP許建輝?撰寫并投遞參與由數據猿&上海大數據聯盟聯合推出的“行業盤點季之數智化轉型升級”大型主題策劃活動之《2021中國企業數智化轉型升級先鋒人物》榜單/獎項的評選。
數據智能產業創新服務媒體
——聚焦數智?· 改變商業
互聯網的嶄新格局催生了5G、云計算、大數據等新興技術,企業的數智化、智能化轉型勢在必行。
數據已然成為數字經濟中關鍵的生產要素,它如同燃油和電力一樣為不同組織注入源源不斷的能源。而數據庫作為企業級基礎軟件,是我國數智化轉型和國產化進程中的重要一環。
因此,如何讓諸如數據庫的“新基建”賦能上層應用,協助企業數智化轉型,是所有底層技術企業都應思考的問題。
后疫情時代的企業數智化轉型
新冠疫情的突發,使得數據進入到了一個裂變式增長期,同時也在推動著各行各業的數智化轉型升級。數智化不斷促使產業變革,人們看到了“新基建”背后蘊藏的巨大經濟活力,大批企業朝著人工智能、大數據方向發展,并努力尋求發展的創新點和增長點。
根據業界權威機構的統計,全球的數據量將從2020年的55ZB,增加到2025年的175ZB,這意味著未來五年數據量將會有2倍以上的增長。可以說,未來市場的競爭其實是數據的競爭,誰處理好了數據,誰就掌握了核心制勝點。
數據成為企業發展的新動能,而企業的數智化轉型則是順應時代潮流、響應國家政策號召的必由之路。在轉型的進程中,企業應該關注難點和痛點問題,并結合自身的資源和能力水平對癥下藥,從而找到最優的解決方案。通過我的觀察,發現企業在數智化轉型的過程中有可能會面臨以下兩方面的瓶頸:
一、數據研發團隊的“人效”瓶頸
“羅馬不是一天建成的”,企業的數智化系統往往是分階段、分項目建立起來的。在不同的建設周期的項目中,各個系統的數據結構模型,甚至是數據庫引擎都不盡相同。這樣的建立方法,不但會引起數據孤島的問題,還將導致企業在數據管理過程中出現“人效”的問題。
企業往往需要為不同的數據庫構建全流程運維機制(包括:軟硬件、運維指南、監控系統等),并聘用獨立運維及開發人員團隊。而不同數據庫之間,由于數據層并不通用,因此當兩個系統需要進行數據交換時,又需要通過ETL或應用程序單獨開發數據流動的組件,這樣將進一步消耗研發人力和提高后續管理的復雜度。這些問題都導致了企業在數智化轉型過程中,無法充分釋放“人效”,也無法將有限的技術人力投入到業務增值的方向上。
二、數據調度的“能效”瓶頸
獲得數據調度“效能”最有效的途徑,就是構建統一的數據基礎設施,讓不同的數據之間可以無縫對接共享,避免數據在不同數據庫產品間的頻繁流動。在國家“低碳環保”的發展戰略下,統一的數據基礎設施一方面可以減少數據流動導致的CPU計算、磁盤IO占用及網絡帶寬消耗;另一方面還可以避免數據的過分冗余,降低數據的總體使用空間。
然而這并不簡單,正如我前面所言,在企業的數智化系統的演進過程中,由于不同的數據結構、數據類型的需求,需要引入多種數據庫產品。由于這些產品間的數據無法直接共用,因此就只能通過頻發的數據調度、數據同步,來實現各個系統間的數據調用,因此浪費了大量的系統“效能”。
夯實數據庫根科技,提升企業數智化轉型的“人效”和“能效”
如今市場中有眾多處理數據的產品,但只有將基礎軟件作為轉型的核心,才能從本質上幫助企業在第一時間洞察海量數據背后的價值,從而有效驅動企業高速發展,占據行業發展先機。
我在數據庫領域有著十二年的從業經驗,作為國內分布式技術的開拓者,我清楚地認識到,基于引擎級多模技術,通過數據庫的“湖倉一體”架構,可以有效幫助企業增強數據復用能力,全方位提升管理及開發效率。具體而言,我認為可以通過以下兩個方面的技術,幫助企業突破在數智化轉型過程中面臨的“人效”和“能效”瓶頸。
一、通過分布式多模技術提升企業運作“人效”
首先,借助“湖倉一體”技術架構下的引擎級多模技術能力(Multi-Model),數據庫可以基于統一的數據源,面向不同的開發團隊提供包括:結構化、半結構化及非結構化的數據模型,甚至提供兼容多引擎的SQL接口。這使得不同的研發團隊可以基于同一份數據進行業務處理,應業務的需求自由選擇適合業務的SQL語言,提升開發及管理效率。
同時,通過序列時鐘協議或其他分布式時鐘技術,可以有效控制分布式架構下時鐘調用延遲,以提供高性能的事務能力,甚至是與傳統集中式數據庫相同的RR事務隔離級別。開發者可以放心地將事務一致性邏輯交由分布式數據庫層進行處理,讓開發人員回歸到純粹的業務設計中,提升企業研發“人效”。
二、通過融合聯機處理能力提升企業運作“能效”
在數據融合處理能力方面,“湖倉一體”可以將各類原始數據統一存儲,通過權限及租戶隔離實現數據的共享及安全保護。因此數據可以天然打通,避免由于不同引擎間的頻發傳輸導致性能損耗,也避免了數據在各引擎間的數據冗余導致空間浪費。
例如,企業在數智化轉型過程中,非結構化數據(如同:音視頻、聲紋指紋、人臉識別等)已經進入到在線業務系統中,成為了海量數據的新入口。這些數據不但容量上遠超結構化數據,而且通過持續迭代的AI和機器學習處理,會不斷產生海量的結構化或半結構化標簽數據,對底層數據處理平臺提出了更高的實時聯機處理能力要求。通過“湖倉一體”實現交易分析一體化、流批一體化、多模數據一體化,就可以為里面存儲的每一個對象賦予標簽、描述和內容進行統一有效的管理、分類、檢索和查詢,實現非結構化數據治理,從而提升企業內數據的整體“能效”。
目前,巨杉數據庫的“湖倉一體”架構已在超過100家金融銀行業客戶規模化生產上線應用。在金融銀行業生產環境中,運行時間最長的巨杉數據庫集群已經超過7年,最大單客戶集群規模達300臺物理服務器,所管理的單集群最大數據量超過1萬2000億條。未來企業數據將持續爆發增長,巨杉將面向核心應用場景的高價值數據,為千行百業提供數智化轉型的基礎服務。
當今社會,數據已然成為鏈接萬物的關鍵。無論是傳統行業還是新興產業,都在積極地進行數智化、智能化改造升級。而數據庫作為企業級基礎軟件,能夠從技術層面出發,幫助企業實現內部的數智化轉型升級,從而做到真正意義上的降本提效。
數據量的激增,將促使更多的企業往數智化方向進行轉型,而數智化又將持續為全球數據帶來爆炸性的增量發展,并為數據庫行業帶來全新的市場機遇。數據與數智化之間實際上是雙向的推動力,它們之間彼此作用,共同促進數字經濟達到新的增長點。
巨杉數據庫SequoiaDB將持續夯實底層根科技,基于湖倉一體架構構建新一代國產數據庫,降低數據流動帶來的開發成本及計算存儲開銷,成為提升企業數智化轉型期“人效”和“能效”的數據基礎設施。
作者個人簡介
許建輝,SequoiaDB巨杉數據庫合伙人兼研發VP,擁有超過12年數據庫、分布式架構研發經驗。前華為分布式數據庫和分布式存儲團隊成員,是國內最早一批研究分布式技術的開拓者。2012年加入SequoiaDB,作為總架構師,負責數據庫的架構設計、數據庫技術創新和研發管理工作,協助巨杉數據庫服務于金融、能源、運營商、政府等多個行業,為眾多客戶提供堅實的數據基礎設施。
??創新服務企業榜?
? 創新服務產品榜
? 最具投資價值榜?
??創新技術突破榜
☆條漫:《看過大佬們發的朋友圈之后,我相信:明天會更好!》
聯系數據猿
北京區負責人:Summer
電話:18500447861(微信)
郵箱:summer@datayuan.cn
全國區總負責人:Yaphet
電話:18600591561(微信)
郵箱:yaphet@datayuan.cn
總結
以上是生活随笔為你收集整理的SequoiaDB巨杉数据库许建辉:夯实数据库根科技,提升企业数智化转型的“人效”和“能效”...的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: 学习笔记:统计建模方法的比较分析
- 下一篇: python杨辉三角 简单方法
