数据治理资深大咖分享:一文详解数据标准管理
分享“談數(shù)據(jù)”公眾號主理人石秀峰在帆軟《決勝數(shù)字化轉(zhuǎn)型》直播上的演講內(nèi)容~
今天我給大家分享的主題是數(shù)據(jù)治理之數(shù)據(jù)標準管理。數(shù)據(jù)標準管理是數(shù)據(jù)治理的偏向落地的話題。我自己在數(shù)據(jù)治理領(lǐng)域,工作在數(shù)據(jù)治理的前線,有十幾年的工作的經(jīng)歷,主要負責企業(yè)數(shù)據(jù)治理、企業(yè)數(shù)字化轉(zhuǎn)型項目的咨詢還有交付。
1
什么是數(shù)據(jù)標準?
提到數(shù)據(jù)標準大家肯定會想到公司也有相關(guān)的產(chǎn)品設(shè)計的標準、質(zhì)量檢驗的標準、安全環(huán)保的標準,對于金融企業(yè)的話,還有市場監(jiān)管相關(guān)的一些標準。這些標準其實都不是我們要講的數(shù)據(jù)標準,以上的標準最多只能被稱作規(guī)范。
在我看來,其實數(shù)據(jù)標準不能只停留在文件層面上的內(nèi)容,數(shù)據(jù)標準更應當是為業(yè)務運營和管理決策提供相應的保障。中國信通院在《數(shù)據(jù)標準管理實踐白皮書》中對數(shù)據(jù)標準給出了定義,我個人認為定義是非常貼切的,但是好多小伙伴反應定義感覺有點不太理解,怎么通俗的去理解數(shù)據(jù)標準?
根據(jù)我自己的理解,數(shù)據(jù)標準是企業(yè)各部門、各利益干系人在數(shù)字化環(huán)境中使用的一種共同的語言,就像我們大家交流的語言一樣,是在數(shù)字化環(huán)境中使用的一種語言。
2
數(shù)據(jù)標準為什么重要?
中國有一種傳統(tǒng)文化——大一統(tǒng)文化。大一統(tǒng)文化的前提,或者叫背后支撐的鑰匙,就是標準化。在國家治理層面,從秦始皇統(tǒng)一六國,他統(tǒng)一了貨幣、統(tǒng)一了文字、統(tǒng)一了度量衡,廢棄分封制,建立郡縣制,加強中央集權(quán)。他采取了一系列國家治理的措施,我們可以發(fā)現(xiàn)他做的最核心的一件事情——標準化。所謂的車同軌、書同文,把以前七零八落的、沒有統(tǒng)一的東西都統(tǒng)一起來。
到我們建國以后,包括普通話的推廣,它其實也是國家治理的一部分內(nèi)容。我們試想一下,如果大家在一間屋里面開會,你說四川話,他說東北話,有的說閩南話,有的說粵語。先不提會議能不能達成共識?起碼會議的效率肯定會大打折扣的。這就是標準化在國家治理層面上的重要性。
剛才我們說了中國的故事,關(guān)于標準化不僅在中國有故事,在國外也有。傳說古時候全天下所有的人都說同一種語言。在向東遷移的時候,走到施娜,古巴比倫的一個城市。走到這個地方,發(fā)現(xiàn)了111片平原,就住了下來。人們開始修建一座通往天堂的高塔,高塔就叫通天塔,以顯示人們的團結(jié)跟力量。但是上帝知道了這件事情,特別不喜歡他們的做法和目的。
于是在塔快要建成的時候,上帝教會了人們說不同的語言,使人們之間無法正常的交流,塔就沒能繼續(xù)修建下去。后來些人散到世界各地,各自說各自的語言,就導致了我們現(xiàn)在人類的語言沒有統(tǒng)一,可見語言還有文字在國家治理過程中的重要性。其實我還有一種觀點就是語言、文字的標準化在國家治理中有多重要,數(shù)據(jù)標準在企業(yè)數(shù)字化環(huán)境中就有多重要。
說到數(shù)據(jù)治理我們不得不提一下DAMA體系,其實我本身也是DAMA的忠實粉絲,給我的工作提供了指導。細心的小伙伴會發(fā)現(xiàn),剛才我們提到數(shù)據(jù)標準,既然它在企業(yè)數(shù)字化環(huán)境中那么重要,為什么DAMA沒有專門拿出數(shù)據(jù)標準作為知識領(lǐng)域?qū)iT去寫。這也是我的公眾號后臺有小伙伴給我留言會問的問題,問題問得特別好。
我也特意對比了DAMA-DMBOK1和DAMA-DMBOK2確實是沒有數(shù)據(jù)標準體系。但是你看過那本書,就會發(fā)現(xiàn)其實在DAMA的體系里面,在各個領(lǐng)域都包含了數(shù)據(jù)標準的一些內(nèi)容。
但在我看來,數(shù)據(jù)治理它是頂天立地的事情。我認為數(shù)據(jù)戰(zhàn)略是天,數(shù)據(jù)戰(zhàn)略為企業(yè)的數(shù)字化轉(zhuǎn)型、為企業(yè)的數(shù)據(jù)治理,指明了整個的方向。所謂的數(shù)據(jù)標準,就像我們蓋房子打地基一樣,做數(shù)據(jù)建模也好,做數(shù)據(jù)倉庫也好,還是做數(shù)據(jù)質(zhì)量,做數(shù)據(jù)安全也好,還是做原數(shù)據(jù)管理,那么數(shù)據(jù)標準都是其他領(lǐng)域的基礎(chǔ),它是核心的基礎(chǔ)。
第一,數(shù)據(jù)標準是所有數(shù)據(jù)指令關(guān)鍵領(lǐng)域的基礎(chǔ)
第二,數(shù)據(jù)標準為我們建立業(yè)務系統(tǒng)或者是操作性系統(tǒng)分析新系統(tǒng)提供數(shù)據(jù)之間的依據(jù)
第三,數(shù)據(jù)標準是用原數(shù)據(jù)來體現(xiàn)的。在這套體系里原數(shù)據(jù)管理的章節(jié),更多的是體現(xiàn)了數(shù)據(jù)標準相關(guān)的一些概念
第四,數(shù)據(jù)標準管理,我認為它是包含了主數(shù)據(jù)與參考數(shù)據(jù)管理
第五,數(shù)據(jù)標準其實為企業(yè)數(shù)據(jù)質(zhì)量管理提供了規(guī)則和約束,也要做數(shù)據(jù)質(zhì)量結(jié)合,數(shù)據(jù)標準是給我提供相關(guān)的一些規(guī)則。
第六,數(shù)據(jù)標準對數(shù)據(jù)安全的分類對數(shù)據(jù)的分級也提供了相關(guān)的參考和依據(jù)。
第七,數(shù)據(jù)標準跟數(shù)據(jù)模型的關(guān)系,它是指導企業(yè)來構(gòu)建數(shù)據(jù)模型,同時在建模的過程中又可以為數(shù)據(jù)標準的制定提供相應的參考
3
企業(yè)數(shù)據(jù)資源環(huán)境構(gòu)成
那有人就會問,數(shù)據(jù)標準到底包含哪些內(nèi)容?那么在聊這個問題之前,我們先看一看企業(yè)數(shù)據(jù)環(huán)境都包含哪些內(nèi)容?
其實我們在說企業(yè)的數(shù)據(jù)環(huán)境的時候,總會說企業(yè)有多少個業(yè)務域,其實每個業(yè)務域都有對應的數(shù)據(jù)。比如說財務與人力資源管理與生產(chǎn)、銷售、采購等等,都是相關(guān)的數(shù)據(jù)域。數(shù)據(jù)下面還有相應的數(shù)據(jù)主題。比如說市場營銷、市場領(lǐng)域、營銷領(lǐng)域,包括了市場、銷售、回款等等些數(shù)據(jù)的一些主題。數(shù)據(jù)主題下面涵蓋了相應的數(shù)據(jù)的屬性。
如果我們把企業(yè)數(shù)據(jù)資源看作是一棵樹的話,我認為基礎(chǔ)數(shù)據(jù)是它的數(shù)干,基礎(chǔ)數(shù)據(jù)描述企業(yè)核心業(yè)務對象的數(shù)據(jù)。它具有一致且統(tǒng)一的屬性,是企業(yè)開展業(yè)務的基礎(chǔ),我們叫它基礎(chǔ)數(shù)據(jù)。比如說現(xiàn)在提到的產(chǎn)品基礎(chǔ)數(shù)據(jù)、客戶基礎(chǔ)數(shù)據(jù)、供應商基礎(chǔ)數(shù)據(jù),還有一些所謂的代碼基礎(chǔ)數(shù)據(jù),也是基礎(chǔ)數(shù)據(jù)的一部分內(nèi)容。
業(yè)務數(shù)據(jù)是樹葉。業(yè)務數(shù)據(jù)是在業(yè)務活動過程中產(chǎn)生的交易數(shù)據(jù),每發(fā)生一筆業(yè)務交易,就會產(chǎn)生一條交易數(shù)據(jù),它的變化頻率是比較大的。比如說營銷活動的一些數(shù)據(jù),銷售訂單的一些數(shù)據(jù)等等。
第三個部分是果實,我們叫它指標數(shù)據(jù)。種指標數(shù)據(jù)是用于統(tǒng)計分析,為管理決策提供參考。比如說新增客戶數(shù)、客戶的轉(zhuǎn)化率、投資回報率等等。我們把它叫做指標數(shù)據(jù)。
那數(shù)據(jù)標準到底涵蓋哪些部分?業(yè)內(nèi)一般會認為,數(shù)據(jù)標準涵蓋了兩個部分,第一部分是基礎(chǔ)數(shù)據(jù),第二部分是指標數(shù)據(jù)。有人會問業(yè)務數(shù)據(jù)能不能做標準化?其實如果做過數(shù)據(jù)標準化的項目,你會發(fā)現(xiàn)只要你把基礎(chǔ)數(shù)據(jù)做好,業(yè)務數(shù)據(jù)自然而然就會規(guī)范了,一般不會針對某業(yè)務去定義標準。
4
數(shù)據(jù)標準的三個視角
剛才我們講了數(shù)據(jù)標準的四個層面,從數(shù)據(jù)域到數(shù)據(jù)的主題或者叫數(shù)據(jù)分類,再到數(shù)據(jù)的實體,再到數(shù)據(jù)的屬性,是數(shù)據(jù)標準梳理的四個層面。那我們怎么去完成數(shù)據(jù)標準化,還有三個視角。
一般來說,我們會從以下三個維度去分析數(shù)據(jù)標準:
第一是業(yè)務維度。從業(yè)務維度的話,數(shù)據(jù)標準一般包含業(yè)務的定義、標準的名稱、標準的分類、標準的業(yè)務含義,還有業(yè)務的規(guī)則等等。
第二個是技術(shù)視角。包括了數(shù)據(jù)的類型、長度、格式、編碼規(guī)則等等。
第三個是管理視角。從管理的視角看,數(shù)據(jù)標準的管理者是誰,新增人員是誰,修改人員是誰,誰來使用,來源的系統(tǒng),使用的系統(tǒng)等等。
說到數(shù)據(jù)標準的三個維度可能有人就會聯(lián)想到元數(shù)據(jù),元數(shù)據(jù)一般也會提到業(yè)務元數(shù)據(jù),技術(shù)元數(shù)據(jù),管理元數(shù)據(jù),跟我講的數(shù)據(jù)標準的三個視角是完全對應的。接下來看如何去制定標準,其實是非常復雜的過程。
5
如何制定數(shù)據(jù)標準?
首先你要了解企業(yè)為何要去制定標準?企業(yè)的需求是什么?現(xiàn)狀是什么?外部環(huán)境的要求是什么?建標準的時候,有沒有相關(guān)的一些參考?有沒有相關(guān)的國家標準?行業(yè)標準的一些參考?如果沒有的話,行業(yè)有沒有最佳實踐可以拿過來參考。要結(jié)合以上的些需求去規(guī)劃數(shù)據(jù)標準的體系,先要把范圍先確定出來。
首先,要基于業(yè)務的一些痛點,最需要解決哪些問題,先把些要解決的問題找到,再針對要解決的些問題去梳理,到底哪些業(yè)務與哪些數(shù)據(jù)的主題,哪些數(shù)據(jù)的實體來定數(shù)據(jù)的標準?
在定準過程中一般有以下的業(yè)務步驟:
第一資料收集。做it的人員都很清楚要收集現(xiàn)有的一些材料,包括數(shù)據(jù)的質(zhì)量情況、數(shù)據(jù)的管理情況、數(shù)據(jù)的標準化情況等等。
第二個調(diào)研訪談。要解決做項目或者數(shù)據(jù),你是要解決樣的業(yè)務問題?
第三個分析評估。對整體的情況做分析評估,評估和最佳實踐或者最理想情況的標準的差距是多少?
第四個標準制定。根據(jù)上述的些條件來定義數(shù)據(jù),制定標準。
第五個意見征集。標準定義完之后,形成的標準文件還需要下發(fā)到各個業(yè)務單位去收集意見,再根據(jù)意見的反饋情況,修訂標準。
第六步標準發(fā)布。
標準發(fā)布了就代表數(shù)據(jù)標準化的工作就完成了?其實標準發(fā)布才是做數(shù)據(jù)標準化走出的第一步,后續(xù)的重點工作其實需要把標準真正的用起來,要在業(yè)務過程中、業(yè)務系統(tǒng)中能夠使用起來標準,數(shù)據(jù)標準的貫標跟應用就顯得十分重要。在標準貫標和應用的過程中,又會發(fā)現(xiàn)標準定義的不準確。那還需要對標準進行迭代和更新。
在這里穿插一種數(shù)據(jù)標準的梳理方法,叫BOR法。剛才講數(shù)據(jù)標準的四個層面,從數(shù)據(jù)域到數(shù)據(jù)主題,到數(shù)據(jù)活動,那到了活動之后該怎么去梳理、提煉數(shù)據(jù)的標準。
根據(jù)每個業(yè)務活動,比如說銷售的活動,那就會提煉出銷售業(yè)務相關(guān)的數(shù)據(jù)對象;比如說客戶、銷售的產(chǎn)品、銷售訂單,這些都是相應的實體數(shù)據(jù)。實體的數(shù)據(jù)都有相應的屬性信息,需要把它的每一項屬性信息從三個角度,業(yè)務角度、技術(shù)角度、管理角度,進行統(tǒng)一的梳理,最后歸納出來與實體之間的關(guān)系,形成數(shù)據(jù)的整體模型。
剛才我前面講的數(shù)據(jù)標準,包括兩個部分內(nèi)容,部分叫基礎(chǔ)數(shù)據(jù)標準,另部分叫做指標數(shù)據(jù)標準。基礎(chǔ)數(shù)據(jù)標準的話,從三個維度去看,包括業(yè)務、技術(shù)和管理屬性。右邊有具體的示例,比如說企業(yè)的組織部門人員,機構(gòu)、客戶供應商人員、組織等等,這些都是基礎(chǔ)數(shù)據(jù)。
其實跟主數(shù)據(jù)是十分相似的,講主數(shù)據(jù)的時候,也經(jīng)常講主數(shù)據(jù)是企業(yè)的空間數(shù)據(jù),是企業(yè)需要被共享的在各個業(yè)務系統(tǒng)、各個部門之間的具有高價值的數(shù)據(jù)。其中主數(shù)據(jù),它下面包含了參考數(shù)據(jù)。拿人員為例,那它的參考數(shù)據(jù),包括性別、民族、學歷、職級、崗位等等,都是參考數(shù)據(jù)。
在做數(shù)據(jù)標準化的過程中,除了要定義實體,還需要把參考數(shù)據(jù)進行標準化。比如1代表男,2代表女,那就不能用F、N去代表男和女。我認為基礎(chǔ)數(shù)據(jù)標準是包含主數(shù)據(jù)和參考數(shù)據(jù)的。基礎(chǔ)數(shù)據(jù)一旦被共享,那就可以把它當作主數(shù)據(jù)去看待。
接下來是指標數(shù)據(jù)的標準。指標數(shù)據(jù)該從哪幾方面進行標準化?其實也包含三個層面。
第一個方面業(yè)務屬性。比如說指標分類、指標的名稱、指標的定義、指標的計算規(guī)則、指標的應用場景,部分的內(nèi)容是需要業(yè)務人員來定義出來的。
第二個方面是技術(shù)屬性。包括數(shù)據(jù)的來源、數(shù)據(jù)的值域、統(tǒng)計周期、統(tǒng)計維度、計算精度,是it人員需要提供的。
第三個方面是管理屬性。比如指標的歸口部門是哪?數(shù)據(jù)提供部門是哪?雖然負責管理,指標是從哪個系統(tǒng)生成的?到哪個系統(tǒng)進行使用?也是為后續(xù)的整個元數(shù)據(jù)管理或者建議指標庫提供支撐。
接下來如何管理好數(shù)據(jù)標準。我覺得有一張圖六邊形圖給出來很好的方法論,叫數(shù)據(jù)治理的基本環(huán)境要素,是把之前展示的車輪圖加上六邊形圖的六大基本要素組成矩陣,就形成了針對每域的數(shù)據(jù)治理的方案。基本環(huán)境要素包括目標與原則、組織與文化、工具、活動、角色和職責、交付成果、技術(shù)等等。
我認為數(shù)據(jù)標準完全可以作為域去獨立管理,當然你也可以把數(shù)據(jù)標準放到其他的解決方案中去處理。因為DAMA體系引領(lǐng)到中國,我覺得中國人對標準還是有一定的情懷在里面,不過去做數(shù)據(jù)項目第提到的數(shù)據(jù)標準化,到底該如何去構(gòu)建標準的體系?
接下里說一下數(shù)據(jù)標準的落地辦法,其實剛才我們已經(jīng)提到,把基礎(chǔ)數(shù)據(jù)的標準庫還有指標數(shù)據(jù)的標準庫搭建出來了,最終還是要用到系統(tǒng)中來,用到信息化的環(huán)境中來。信息化的環(huán)境一般分成兩個部分去看,一部分是操作型系統(tǒng),一部分是分析型系統(tǒng)。
操作型系統(tǒng)我們經(jīng)常看的企業(yè)的ERP系統(tǒng)、CRM系統(tǒng)、SRM系統(tǒng),這些系統(tǒng)有的用的是套裝軟件,有的是自己開發(fā)的。梳理好數(shù)據(jù)標準要落地的時候主要有以下三種解決方案:
第一個解決方案就是剛才我們提到的主數(shù)據(jù)的解決方案。主數(shù)據(jù)的解決方案解決機構(gòu)系統(tǒng)之間的數(shù)據(jù)統(tǒng)一的問題,要實現(xiàn)一碼一目一數(shù)一元,統(tǒng)一數(shù)據(jù)來源。這是數(shù)據(jù)標準落地的解決方案,主數(shù)據(jù)是解決方案。
第二個解決方案是構(gòu)建標準數(shù)據(jù)庫。新業(yè)務系統(tǒng)來了,所有的需要運行的基礎(chǔ)數(shù)據(jù)都可以從數(shù)據(jù)標準庫里面來取,通過數(shù)據(jù)服務廠把數(shù)據(jù)標準提供出去,為業(yè)務系統(tǒng)的構(gòu)建提供相應的支撐。
第三個解決方案是在分析性系統(tǒng)。將來要做數(shù)據(jù)分析的時候,要解決分析指標透明不透明的問題,也需要調(diào)指標庫,有的企業(yè)叫指標中心,有的企業(yè)叫指標庫。指標中心為數(shù)據(jù)倉庫、報表平臺、智能分析平臺提供了維度和度量,數(shù)據(jù)標準其實為數(shù)據(jù)分析提供了重要的支撐。
6
數(shù)據(jù)標準管理的4個最佳實踐
最后結(jié)合自己的工作實踐介紹下數(shù)據(jù)標準管理的四個實踐。
第一個,誰來主導?
也是很多客戶或者很多人問我最多的問題,是業(yè)務來主導還是it來主導?如果從書上看,大家都會建議你由業(yè)務來主導,因為業(yè)務更懂數(shù)據(jù)。其實不是it特別擅長的。但是在實踐的過程中,你會發(fā)現(xiàn)做這個事情往往都是老板拍下來,事情就交給it來做。
那這時候我們該怎么做?那其實我一般會給我們的客戶提供兩個建議,一個叫借勢,一個叫造勢。
所謂的借勢,既然企業(yè)想做出數(shù)據(jù),那一定會找到支持狀況,也就是說一定有領(lǐng)導支持你才會立項目,也一定會找到比較積極的業(yè)務部門。那你到時候就可以借他們的勢去做數(shù)據(jù)標準梳理的工作,哪個業(yè)務部門積極那我就先梳理哪個業(yè)務部門的,這是一個層面。第二層面,剛才我們講的各個政策,跟國家相關(guān)的一些政策,一些驅(qū)動的因素,去借這個勢去說服老板和領(lǐng)導。
第三個從技術(shù)的角度,目前數(shù)據(jù)治理是我們數(shù)字化轉(zhuǎn)型的基礎(chǔ),不管是在推進國有企業(yè)數(shù)字化轉(zhuǎn)型通知上也好,還是在各個數(shù)據(jù)體系分析的報告上來說,數(shù)據(jù)治理其實都是最核心的基礎(chǔ)。我們可以借技術(shù)趨勢的勢去引導數(shù)據(jù)治理的工作,來把數(shù)據(jù)標準制定出來。
第三個層面,我們還是要學會造勢。我們可以請一些外國的專家甚至是咨詢公司給我們的領(lǐng)導來做相關(guān)的一些宣傳,帶他去參觀相關(guān)行業(yè)的標桿。
第二個實踐叫循序漸進。
因為數(shù)據(jù)治理的事情絕對不是一口吃不出個胖子的事情,一下子是解決不了所有的數(shù)據(jù)問題的。我們要從企業(yè)的整個主價值鏈,從業(yè)務的角度去分析,哪些業(yè)務是緊迫需要的,哪些數(shù)據(jù)標準對業(yè)務的影響程度是比較大的?哪些數(shù)據(jù)在各個系統(tǒng)之間共享程度是比較高的?以及數(shù)據(jù)在實施過程中的難易程度。我們要把所有的治理需求優(yōu)先級排出來,給到我們的領(lǐng)導。比如說先治理營銷領(lǐng)域,因為現(xiàn)在說實話,轉(zhuǎn)型最提倡的就是數(shù)字營銷,因為營銷更貼近于客戶,更容易成功,更容易見效。另外,可以從內(nèi)部管理,比如說先治理財務的人員,或者先治理生產(chǎn)的人員都是可以的,要根據(jù)企業(yè)的優(yōu)先級來進行排序。
第三個實踐叫數(shù)據(jù)標準的動態(tài)管理。
因為整個外部環(huán)境是動態(tài)變化的,不管是商業(yè)環(huán)境還是技術(shù)環(huán)境都是變化的,數(shù)據(jù)標準也要與時俱進。比如今天制定好的標準,明天可能就會發(fā)生相關(guān)的一些變化,那就不能定了標準以后所有的業(yè)務都按照標準執(zhí)行。前提是標準合不合理,合不合規(guī)。如果不能與事俱進的話,就會面臨項目的數(shù)據(jù)標準用不起來。我們要建立好數(shù)據(jù)標準的更新機制和更新機制配套相關(guān)的組織管理流程、相關(guān)的管理辦法。
第四個實踐是應用為王。
最后數(shù)據(jù)標準還是要應用起來,需要貫徹到各個業(yè)務系統(tǒng)里面去,那我們給出來的建議是以對現(xiàn)有系統(tǒng)影響最小為原則去落地數(shù)據(jù)標準。不要為了落地標準把所有的系統(tǒng)都打亂都重新來一遍,我覺得是很不現(xiàn)實的事情。
請多多評論轉(zhuǎn)發(fā)分享,會給大家?guī)砀喔韶泝?nèi)容的!
總結(jié)
以上是生活随笔為你收集整理的数据治理资深大咖分享:一文详解数据标准管理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 手把手教你用C语言画“心”!
- 下一篇: 数据行业工作3年,我靠这7个能力,成为领