数据中台交付标准化参考框架
導讀:
數據中臺是業務與技術的結合點,其基于產品化的運營思路,跑通數據流轉之后,服務于業務前臺,企業基于對數據的洞察優化業務方向,并通過反饋回來的業務數據再次輸入數據中臺,持續提升中臺使用價值,實現數據和業務不斷的正向循環和相互促進。數據中臺需要不斷的打磨、開發和持續運營,在不斷實踐的過程中企業也會建立起走出經驗主義、走入數據管理的核心邏輯。
“不以規矩,不能成方圓”,基于對數據中臺交付技術服務的挑戰分析和解決思路,阿里云提出了“1+3+3+1“的交付標準參考框架,如圖3所示。1個目標,即以業務價值為導向,實現數據中臺技術服務的標準化、在線化、規模化交付;3個內容,即數據中臺技術服務包含數據咨詢規劃服務、數據資產建設服務、數據應用建設服務;3個能力支撐,即交付標準流程、交付文檔集、交付工具集;1個平臺,即數字化工作臺,數據中臺技術服務團隊和政企客戶通過數字化工作臺完成數據中臺項目交付。
交付流程、交付文檔集、交付工具集是三位一體的能力支撐體系。基于交付流程動作及產出,沉淀交付技術資產,包含交付物、過程產出物、項目評審意見、階段性匯報總結等文檔;通過對多個項目文檔的提煉抽象脫敏等手段,形成通用解決方案和行業解決方案;結合數據資產目錄劃分方法,進行文檔集的資產目錄構建,一方面做內部參考借鑒,另一方面為交付工具打造提供輸入;交付工具集,基于通用解決方案和基礎產品開放能力,圍繞具體交付實施場景而構建,能有效降低數據中臺交付門檻,為交付動作執行提供武器彈藥支持,同時倒逼交付文檔集的不斷迭代更新。交付技術服務團隊包含業務架構師、技術架構師、數據產品經理及實施人員等,與政企客戶服務對象一起,基于數字化工作臺進行數據中臺項目在線化交付。下面小節將對交付流程、交付文檔集、交付工具集、交付技術服務團隊和數字化工作臺分別進行介紹說明。
交付流程動作
流程是做事的規范和順序,是提升工作效率的重要保障。結合客戶項目全生命周期及交付團隊參與度,將數據中臺交付分為交付前、交付中和交付后三個階段和六個流程,如圖4所示。其中,交付前階段包括交付前置,交付中階段包含需求調研、方案設計、開發實施、試運行,交付后階段包含上線維保。通過標準化的交付流程,針對不同的客戶及需求,提供數據咨詢規劃服務、數據資產建設服務、數據應用建設服務等差異化服務。
交付文檔集
易用、易懂、易找的技術文檔資料對降低成本、構筑交付生態體系、培訓賦能、打造行業影響力,以及提升交付專業度和企業競爭力都有重要的價值。在交付技術服務的各個階段,隨著交付任務階段性完成,技術資產也隨之在數字化工作臺上逐步沉淀下來,經過脫敏提煉抽象等,按照通用數據資源目錄劃分方法,結合文檔打標簽等,進而構建起交付技術知識庫,形成標準化的數據中臺交付文檔集,為高質量完成各項交付任務提供文檔支撐,數據中臺交付各環節的交付文檔如圖5所示。
交付工具集
“工欲善其事,必先利其器”,工匠在做工前打磨好工具,操作起來就能得心應手,達到事半功倍的效果。交付工具一方面輔助提升交付效率,另一方面降低數據中臺交付門檻,讓生態伙伴使用工具也能做交付。基于數據中臺交付的各個階段的交付質量要求,抽象交付文檔中的共性內容,采用產品化思維進行更高維度的標準化構建,形成標準化的數據中臺交付工具集,如數據盤點工具、數據集成工具、數據校驗工具、代碼掃描工具等。交付工具集支撐交付流程高效率高質量完成,同時有效降低數據中臺生態交付門檻,為規模化技術服務提供強大的自動化技術手段。數據中臺交付各環節的交付工具如圖6所示,工具能力說明如下。
1)數據盤點工具
數據盤點工具對需要納入到數據中臺的數據進行盤點、分類,結合業務過程梳理,為 數據架構設計及數據建模提供輸入;可支持 MySQL、Oracle、DB2、SqlServer、 HANA、MongoDB、PostgreSQL 等數據庫,支持插件式擴展;配置數據源后,可 進行一鍵盤點,輸出資源目錄表級數據字典,并提供智能數據采集建議。
2)數據集成工具
數據集成工具基于基礎產品開放API能力,進行二次封裝,融入個性化功能和體驗需求,提供面向批量數據采集場景、使用便捷的工具;提供可視化數據采集規則配置,如表命名規范、任務命名規范等,與數據盤點提供的智能數據采集建議無縫結合,自動化獲取數據采集計劃清單,按照采集規則自動補齊數據集成信息,減少人工成本。
3)數據探查工具
數據探查工具基于業務需求分析和數據應用設計,通過對數據及其質量進行初步探查,確保需求可落地性及實施效果;基于質量探查需求和自定義業務規則,進行數據核查和驗證,判斷數據質量與業務需求匹配度;可基于默認規則或自定義規則進行數據探查,輸出數據探查報告和數據質量報告。
4)數據建模工具
數據建模工具基于行業級數據標準及標準數據模型進行標準化規范可視化的數據模型構建工作,提升數據模型設計的質量和效率;可將數據庫元數據、DDL、數據模型文檔等多種方式導入逆向建模從而快速引入建模素材,并且支持數據模型的DDL,文檔方式導出及數據平臺對接直接轉化成業務系統物理模型生產力,保證了設計開發的一致性,提升數據類項目交付質量和效率。
5)數據校驗工具
數據校驗工具對數倉ODS層數據與源數據一致性需求、ADS層寬表指標準確性需求等,通過數據量校驗、指標校驗等方式確保數據在采集、設計、建模、開發過程一致,保障數據與指標一致性和準確性。
6)數據回刷工具
數據回刷工具由于數據模型設計方法的差異性,上游業務系統數據結構調整或數據口徑變更時,需對數據表的歷史分區數據進行回刷;ODS層回刷支持笛卡爾積、動態分區等方式,CDM層與ADS層支持多周期合并、行列級回刷等方式。
7)代碼掃描工具
代碼掃描工具基于代碼質量規則,對定制化開發的代碼質量進行檢查,發現代碼編寫不規范、效率低等質量問題,提升代碼檢查效率并提供優化建議;支持全量代碼掃描、單條SQL調試、按任務編號掃描和按代碼空間掃描等。
基于上述的系列交付工具,交付過程變得更清晰和簡單,交付前、交付中、交付后的流程和配套工具的銜接更合理和順暢。
交付服務團隊
一個好的工程項目必須有一套完整的組織保障機制。數據中臺以業務價值為導向,其交付專業要求高、過程管控復雜、交付生態協同難,要高質量建設數據中臺,除了交付流程、交付文檔集、交付工具集之外,也需要強有力的組織保障,確保角色完整、分工明確、銜接順暢、各司其職、各盡其責。
站在數據中臺建設全生命周期視角,除了客戶和生態伙伴之外,數據中臺企業服務角色構成主要包括SA、CBM、PMO、CSM、BA、TM、PD、QA和TAM,項目不同階段由不同的團隊來負責,每個角色在各個不同階段及流程中承擔的職責如圖7所示,RACI責任分配矩陣如表1所示。
其中,SA解決方案架構師負責售前客戶需求調研與方案設計,CBM客戶經理負責對售前商務風險等進行識別判斷,PMO負責對項目可交付性進行評審,CSM對項目啟動規劃及最終項目驗收負責,BA對業務需求及業務架構設計負責,TM對數據和技術架構及其落地方案負責,PD對數據應用及數據產品設計負責,QA對測試方案及落地負責,TAM對售后運維負責,各角色在CSM、BA、TM的統籌下進行協作,共同對項目交付負責。
數據中臺建設需要多個團隊和角色協作完成,涉及交付前階段、交付中階段、交付后階段,每個交付階段涉及客戶、阿里云、生態伙伴等,要確保不同的角色之間分工明確、各司其職、銜接順暢,就需要明確不同的角色職責邊界和銜接關系,這也是交付過程管理中的重要質量把控原則。
數字化工作臺
數字化轉型過程中的大型項目,開發團隊動輒數十人至幾百人,來自各個不同的組織。溝通不暢、信息分散、嚴重依賴個人能力的情況時有發生,就好像盲人摸象,項目的透明度低下,嚴重阻礙項目走向成功。過去的項目管理以及協同的方式已經不再適合今天大型全要素的數字化轉型的過程,急需要全新的數字化轉型交付和服務的方法論以及與之配套的工具和平臺。2021年10月19日,飛天技術服務平臺-數字化工作臺在杭州云棲大會上正式亮相,整體提出了組織在線、成員在線、業務在線及項目在線的全量在線的企業服務模式,首次透明企業服務的全過程,為不同角色提供社會化的協作、數據化的管理、智能化的管理能力,實現項目在線、精益管理、優秀履約的目標。客戶、數據中臺技術服務服務團隊在一體化的數字化工作臺上完成服務履約;客戶隨時可查看了解項目過程,同時會基于在線IM工具完成服務及溝通互動;伙伴從人、財、事、物四個方面全面與阿里巴巴協同,共同為客戶提供高質量的云創新數字服務。
數字化工作臺功能結構示意圖,如圖8所示。管理層基于云原生架構設計、云原生的產品與技術實現,提供基礎的賬號管理、權限管理、產品管理等能力。應用層為技術服務團隊提供待辦消息、服務日歷、交付流程管理、交付工具管理和交付文檔管理等線上操作,為政企客戶提供待辦消息、企業信息、人員管理、項目管理和結算管理等線上操作。其中,標準中心為標準交付流程與動作、交付方案、交付過程產出等提供能力支撐;工具中心為交付工具提供上架、下架、與交付動作關聯等提供能力支撐;文檔中心承接標準中心的過程產出文檔,并提供文檔打標、查看、搜索、下載等能力。數據層,基于應用層產生的數據進行數據資產構建與管理,進行人員、項目、資產、客戶、生態等主題庫建設,為交付標準化率、交付方案復用率、項目質量優良率、交付自動率等標準化指標提供數據支撐。業務層,提供風險預警、知識搜索、人員畫像、客戶洞察等應用。數字化工作臺為標準化的數據中臺交付流程、交付文檔和交付工具提供長效平穩運轉和持續迭代演進提供全方位的支持和保障。
互聯互通社區
互聯互通社區-IT智庫,是互聯互通社區IT架構、前沿技術平臺。包含科技趨勢、總體架構、產業架構、技術架構、系統架構、業務架構等內容,內容簡練,皆屬干貨,合作請+微信:hulianhutongshequ.
總結
以上是生活随笔為你收集整理的数据中台交付标准化参考框架的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: PostgreSQL 下载与安装(亲测有
- 下一篇: 免Fan,国内直接访问,Instagra