在谈数据治理和数字化的时候,别忘了数据标准
標準的重要性,自然不言而喻
數據標準,同樣重要!
我們經常聽到XX數據不一致,異構系統集成難,數據分析不準確,大數據預測都是騙人的等等數據管理和使用上問題,80%都是數據標準不統一造成的。
— 01 —
DAMA的數據標準在哪里?
數據標準如此重要,為什么在被譽為數據管理界"葵花寶典"的DAMA體系中偏偏沒有數據標準?我們來看下DAMA的數據管理體系中都包含了哪些內容:
在這兩個版本中,的確都沒有“數據標準”這個數據管理域。
但事實的真相真的是這樣嗎?難道DAMA不知道數據標準的重要性嗎?
答案顯然是否定的!
雖然我們看到在DAMA的體系中沒有單獨講數據標準,但是數據標準是含在了每個知識領域當中的。其實只要仔細閱讀你就會發現DAMA提到的每一個數據管理職能,都離不開數據標準,甚至很多數據管理的過程本身就是在做數據的標準化,例如:設計數據模型和元數據、梳理數據分類分級體系、定義數據質量規則和檢核標準、設計數據存儲模型和規則、定義主數據分類和編碼規則等等,這都是數據標準的內容。
— 02 —數據標準的作用和特性
數據標準與企業數據管理的每個域都相關,是數據治理工作的最基礎內容。
主數據管理中,需要明確主數據定義、分類、編碼、模型;元數據管理中,需要從業務屬性、技術屬性、管理屬性三個方面定義數據標準;
數據質量管理中,需要定義數據模型、質量規則的標準;
數據安全管理中,敏感信息的識別、數據的分類分級都是對數據進行標準化過程;
數據倉庫與BI中,需要定義數據模型、數據指標、維度、度量等數據的標準;
數據集成中,數據標準讓不同主體擁有了系統之間交換標準化數據的能力;
數據存儲中,存儲格式,存儲位置,數據結構等都離不開數據標準;
……
數據標準的作用還有很多,但最核心的作用是為各部門、各系統建立了一個溝通的橋梁。
除此之外,數據標準還具有如下特性,企業在實施數據標準化的過程中,應予以關注:
開放性:在標準制定過程中,誰提出需求,誰負責起草,誰提供建議,誰負責決定,以及標準的權利歸屬等在組織范圍內應當是開放的,每個人都可以參與進來,每個人都有權利提出數據標準的需求和建議。
透明性:數據標準所涉及的標準規劃、標準制定、標準發布、標準執行、標準變更、標準維護等程序應是公開透明的,所有技術討論、會議紀要都存檔并可供決策參考。
可用性:企業制定數據標準的目的是讓數據更好的使用,而不是單純為了對數據增加約束或條件。能夠讓企業用起來的數據標準才是好標準,否則就只是一個無用的文件。
維護性:企業的數據標準的維護是一個制定、測試、發布、執行、修訂、永久訪問的持續過程。
— 03 —
企業的哪些數據需要建標準?
數據標準并不是一個“專有名詞”,而是對數據的一系列“規范性約束”的抽象。——《數據標準管理實踐白皮書》
這句話也印證了為什么DAMA體系中沒有將數據標準獨立出來。數據標準是一系列的“規范性約束”,它作用于數據管理的每個關鍵過程和活動中,也就是說數據標準貫穿于企業數據管理和應用的全過程當中。
還有一種常見的數據標準分類方式,是分為基礎類數據標準和指標類數據標準兩大類,其中基礎數據是指業務過程中直接產生的,未經加工的基礎業務信息;而指標類數據是指由一個或多個基礎數據根據一定的計算規則進行加工計算得到的。例如,《數據標準管理實踐白皮書》對數據標準的分類就是這兩大類。
另外,也有按照數據的屬性要素組成來進行數據標準分類的,從數據的業務屬性、技術屬性、管理屬性三個維度定義數據標準。這種分類方式本質上就是元數據管理,也可以說通過元數據管理落地數據標準。
— 04 —
企業數據標準該如何建立?
提到建立標準,你可能還會想到要參考國際標準,國家標準,行業標準等等。沒錯,這是制定企業數據標準的第一步。收集現行的國家標準或行業標準,在根據企業需求確定數據標準的范圍。但由于每個行業、每個企業都有自己的特點,真正能夠參考的數據標準其實并不多。
那么,企業數據標準到底該如何建立?
一般來說,數據標準的建立有5個步驟,分別是:數據標準規劃,數據標準制定,數據標準發布、數據標準落地和數據標準維護。
1、數據標準規劃
上邊我們說的收集現行的國家標準、行業標準就是標準規劃階段的內容。除此之外,這個階段重點是對企業業務和數據進行調研和分析,結合企業數據標準和需求和現狀,明確數據標準的范圍和數據標準體系框架。
2、數據標準制定
在數據標準體系框架下,按照數據標準范圍要求進行業務域、業務主題的劃分,針對每個業務主題所涉及的數據進行建模,定義每個數據實體的業務屬性、技術屬性和管理屬性。這個過程如果現行的數據標準存在能夠滿足要求的數據元子集、代碼表,則可以直接采用。如果沒有就需要從業務屬性、技術屬性和管理屬性三個方面定義新的數據標準。
關于如何劃分業務域,業務主題,之前的文章中有過介紹,本次重點介紹下如何制定一個數據模型的標準。
一個數據模型可以包含多個數據實體組成,每個實體包含多個屬性,而每個屬性至少包含1個或多個數據元。每個數據元對象有且只能有一個特性,每個特性也只能有一個數據表示。例如:在“人員”數據模型中,“人員”為數據實體,他包含了姓名、性別、年齡、民族、學歷、婚姻狀況、職務等屬性。拿性別這個屬性來講,包含了“男、女、未知”三個數據元對象,其中“男”這個數據元可以用數字“1”表示。
注:數據元是組成數據的最小單元,在數據標準制定過程中需要對數據模型涉及的每個數據元進行標準化。
3、數據標準發布
數據標準發布是在標準制定完成后,向公司各相關部門征集意見,并根據各部門意見完成標準修訂后,在公司范圍內正式發布。數據標準一經發布,各部門、各系統應按數據標準要求執行,如果需要對發布后的數據標準進行修改,需要走正式的數據標準變更流程。
4、數據標準執行
數據標準執行涉及到新建系統和現有運行系統的貫標。原則上,新建信息系統必須嚴格按照發布的數據標準執行;對于現有在運行的系統,應按照數據標準要求進行整改或建立映射關系,以滿足公司數據統一的要求。
強調一下:數據標準要想能夠用起來,在數據標準的制定、發布、執行的每個階段都需要做大量的宣貫和培訓工作,以便促進全公司對數據標準達成共識,更好的應用到實踐中去。
5、數據標準維護
由于業務運行與發展需要,或引用的國家標準等外部標準的變化,需要對已發布的數據標準進行修訂或變更。
有一點需要注意:在對數據標準修訂或變更之前應充分做好變更難易程度,對業務影響程度的評估,并制定出詳細的解決方案方可執行變更。
— 05 —
如何讓數據標準真正發揮作用?
要讓數據標準能夠用起來,在企業的數字化中真正發揮作用,在標準的建設和執行過程中應注意以下幾個事項:
1、全面的數據盤點
基于企業業務架構,從滿足企業經營管理、數據分析、數據共享、數據集成等需求入手,對各個系統的數據資源進行盤點。
通過梳理數據現狀,厘清業務開展過程中業務流、單據流以及數據流,明確數據資產分布,數據的質量情況、數據集成情況、數據管理情況等問題;明確各基礎數據和指標數據的業務含義、數據口徑、適用場景、數據來源、數據關系等信息。
2、精細的標準規則
從數據域、數據分類、數據實體、數據屬性四個層次構建企業數據標準體系。
數據域是按業務領域劃分的頂級數據分類,例如:財務域、人力域、生產域、營銷域等。
數據分類是按照業務主題對數據域的細分,例如:財務域又可以分為盈利能力主題、企業發展主題、資金管理主題、運營管控主題等。
數據實體是每一類數據對象的個體,是數據標準化的主體,需要規范數據實體的定義、標識、表示和允許值的數據單元。
數據屬性是描述數據實體的性質和特征的數據,從不同的視角,數據屬性可分為業務屬性、技術屬性和管理屬性。
業務屬性:定義數據與企業業務相關聯的特性和用途,統一業務描述和理解,包括:命名規則、編碼規則、業務定義、業務規則、值集、維度、粒度等。
技術屬性:定義數據與IT技術實現相關聯的特性,對IT實施形成必要的指引和約束,包括:字段名稱、數據類型、數據格式、數據長度、度量單位、枚舉值的限定等。
管理屬性:定義數據標準在管理和使用方面各部門承擔的責任,對數據歸屬進行確權認知,明確數據所屬部門、數據管理部門、數據使用部門、標準發布日期等管理屬性做出規范。
3、全域的覆蓋范圍
數據標準夠不夠成熟一個非常簡單的衡量標準就是看它的覆蓋范圍夠不夠廣。一般來說,覆蓋范圍越大,數據標準越成熟!
數據標準覆蓋范圍有三個方面:
1)組織范圍,即,數據標準適用的組織范圍,部門級、公司級,集團級還是行業級。
2)業務應用范圍,即數據標準都哪些業務部門會使用,例如,一個“客戶”數據標準,就會被市場、銷售、生產、采購、倉儲、物流、售后等多個部門使用。
3)落地系統范圍,即該標準需要在哪些系統中貫徹執行,例如:我們上邊舉的“客戶”數據標準,落地系統范圍可能包括ERP、CRM、WMS等。
4、規范的業務流程
數據治理過程中,有一個比較常見的問題:企業花費了大量精力建立起來的數據標準,在實際業務中沒有很難使用起來。當然,造成這個問題的因素有很多,例如:標準本身制定的不合理,歷史系統的改造難度大,標準沒有得到廣泛的普及等等。
在眾多的因素中,有一個因素我們不能忽略,那就是“業務流程的優化”。只有將數據標準與業務流程進行深度融合,融為一體的時候,才是真正意義上實現了數據標準的落地。
數據很重要,但我們不能只關注數據而忽視了業務流程。事實上,數據標準和流程優化,相互依存、互為支撐,沒有規范化的業務流程,就不會有標準化的數據。
原文來源:談數據
總結
以上是生活随笔為你收集整理的在谈数据治理和数字化的时候,别忘了数据标准的全部內容,希望文章能夠幫你解決所遇到的問題。