【数据治理】数据元、元数据、主数据、参考数据概述
【數(shù)據(jù)治理】數(shù)據(jù)元、元數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù)概述
數(shù)據(jù)元
什么是數(shù)據(jù)元:
《GB/T 19488.1 電子政務(wù)數(shù)據(jù)元第1部分:設(shè)計(jì)和管理規(guī)范》 里是這樣定義的:
數(shù)據(jù)元(Data element):又稱數(shù)據(jù)類型,通過(guò)定義、標(biāo)識(shí)、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。在特定的語(yǔ)義環(huán)境中被認(rèn)為是不可再分的最小數(shù)據(jù)單元。
舉例說(shuō)明:
語(yǔ)義環(huán)境:描述員工年齡的大小 age為數(shù)據(jù)元,“18“為數(shù)據(jù)元的值。
數(shù)據(jù)元一般來(lái)說(shuō)由三部分組成:
- 對(duì)象類:思想、概念或真實(shí)世界中的事物的集合,它們具有清晰的邊界和含義,其特征和行為遵循同樣的規(guī)則。
- 特性:對(duì)象類中的所有成員共同具有的一個(gè)有別于其它的、顯著的特征。
- 表示:它描述了數(shù)據(jù)被表達(dá)的方式。
還是以前面的例子:
語(yǔ)義環(huán)境:描述員工年齡的大小 age為數(shù)據(jù)元,“18“為數(shù)據(jù)元的值。
對(duì)象是員工 ,特性是 年齡 age ,表示是 數(shù)值
語(yǔ)義環(huán)境:描述員工所屬部門(mén)的編碼 deptcode為數(shù)據(jù)元,“1001“為數(shù)據(jù)元的值。
對(duì)象是員工所屬部門(mén),特性是 編碼 deptcode ,表示是 文本
元數(shù)據(jù)
什么是元數(shù)據(jù)
百度百科是這樣定義的:
元數(shù)據(jù)(Metadata),又稱中介數(shù)據(jù)、中繼數(shù)據(jù),為描述數(shù)據(jù)的數(shù)據(jù),主要是描述數(shù)據(jù)屬性(property)的信息,用來(lái)支持如指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能。
《DAMA數(shù)據(jù)管理知識(shí)體系指南》是這樣定義的:
元數(shù)據(jù)最常見(jiàn)的定義是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。這個(gè)定義非常簡(jiǎn)單,但也容易引起誤解。可以歸類為元數(shù)據(jù)的信息范圍很廣,不僅包括技術(shù)和業(yè)務(wù)流程、數(shù)據(jù)規(guī)則和約束,還包括邏輯數(shù)據(jù)結(jié)構(gòu)與物理數(shù)據(jù)結(jié)構(gòu)等。它描述了數(shù)據(jù)本身(如數(shù)據(jù)庫(kù)、數(shù)據(jù)元素、數(shù)據(jù)模型),數(shù)據(jù)表示的概念(如業(yè)務(wù)流程、應(yīng)用系統(tǒng)、軟件代碼、技術(shù)基礎(chǔ)設(shè)施),數(shù)據(jù)與概念之間的聯(lián)系(關(guān)系)。元數(shù)據(jù)可以幫助組織理解其自身的數(shù)據(jù)、系統(tǒng)和流程,同時(shí)幫助用戶評(píng)估數(shù)據(jù)質(zhì)量,對(duì)數(shù)據(jù)庫(kù)與其他應(yīng)用程序的管理來(lái)說(shuō)是不可或缺的。它有助于處理、維護(hù)、集成、保護(hù)和治理其他數(shù)據(jù)。
怎么理解呢?《DAMA數(shù)據(jù)管理知識(shí)體系指南》舉了一個(gè)比較好理解的例子:
為了理解元數(shù)據(jù)在數(shù)據(jù)管理中的重要作用,試想一個(gè)大型圖書(shū)館中有成千上萬(wàn)的書(shū)籍和雜志,但是沒(méi)有目錄卡片。沒(méi)有目錄卡片,讀者將不知道如何尋找一本特定的書(shū)籍甚至一個(gè)特定的主題。目錄卡片不僅提供了必要的信息(圖書(shū)館擁有哪些書(shū)籍和資料以及它們被存放在哪里),還幫助讀者可以使用不同的方式(主題領(lǐng)域、作者或者書(shū)名)來(lái)查找資料。如果沒(méi)有目錄,尋找一本特定的書(shū)將是一件十分困難的事情。一個(gè)組織沒(méi)有元數(shù)據(jù),就如同一個(gè)圖書(shū)館沒(méi)有目錄卡片。
面對(duì)數(shù)據(jù)總是會(huì)有以下的一些疑問(wèn):
-
**這個(gè)數(shù)據(jù)怎么來(lái)的?**誰(shuí)創(chuàng)建的,誰(shuí)更新的,從哪個(gè)系統(tǒng)來(lái)的…
-
**這個(gè)數(shù)據(jù)是什么?**數(shù)據(jù)的語(yǔ)義環(huán)境是什么,數(shù)據(jù)怎么存儲(chǔ)的,數(shù)據(jù)的定位是什么…
-
**這個(gè)數(shù)據(jù)怎么用?**數(shù)據(jù)的應(yīng)用場(chǎng)景是什么,有沒(méi)有和其他系統(tǒng)共享,如果丟失會(huì)造成什么影響…
-
**這個(gè)數(shù)據(jù)怎么管理?**誰(shuí)負(fù)責(zé)這個(gè)數(shù)據(jù),這個(gè)數(shù)據(jù)怎么評(píng)定質(zhì)量,誰(shuí)有權(quán)訪問(wèn)這個(gè)數(shù)據(jù)…
為了更好的解決這些問(wèn)題,從而使用元數(shù)據(jù)來(lái)記錄數(shù)據(jù)相關(guān)的信息。
元數(shù)據(jù)的分類
元數(shù)據(jù)管理的范圍將涵括數(shù)據(jù)產(chǎn)生、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)加工和展現(xiàn)等各個(gè)環(huán)節(jié)的數(shù)據(jù)描述信息,幫助用戶理解數(shù)據(jù)來(lái)龍去脈、關(guān)系及相關(guān)屬性。按其描述對(duì)象的不同可以劃分為三類元數(shù)據(jù):業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、和操作元數(shù)據(jù)。
業(yè)務(wù)元數(shù)據(jù)
業(yè)務(wù)元數(shù)據(jù)(Business Metadata)主要關(guān)注數(shù)據(jù)的內(nèi)容和條件,另包括與數(shù)據(jù)治理相關(guān)的詳細(xì)信息。業(yè)務(wù)元數(shù)據(jù)包括主題域、概念、實(shí)體、屬性的非技術(shù)名稱和定義、屬性的數(shù)據(jù)類型和其他特征,如范圍描述、計(jì)算公式、算法和業(yè)務(wù)規(guī)則、有效的域值及其定義。業(yè)務(wù)元數(shù)據(jù)的示例包括:
1)數(shù)據(jù)集、表和字段的定義和描述。
2)業(yè)務(wù)規(guī)則、轉(zhuǎn)換規(guī)則、計(jì)算公式和推導(dǎo)公式。
3)數(shù)據(jù)模型。
4)數(shù)據(jù)質(zhì)量規(guī)則和檢核結(jié)果。
5)數(shù)據(jù)的更新計(jì)劃。
6)數(shù)據(jù)標(biāo)準(zhǔn)。
7)有效值約束。
8)數(shù)據(jù)的安全/隱私級(jí)別。
技術(shù)元數(shù)據(jù)
技術(shù)元數(shù)據(jù)(Technical Metadata)又可以分成結(jié)構(gòu)性技術(shù)元數(shù)據(jù)和關(guān)聯(lián)性技術(shù)元數(shù)據(jù)。結(jié)構(gòu)性技術(shù)元數(shù)據(jù)提供了在信息技術(shù)的基礎(chǔ)架構(gòu)中對(duì)數(shù)據(jù)的說(shuō)明,如數(shù)據(jù)的存放位置、數(shù)據(jù)的存儲(chǔ)類型、數(shù)據(jù)的血緣關(guān)系等。關(guān)聯(lián)性技術(shù)元數(shù)據(jù)描述了數(shù)據(jù)之間的關(guān)聯(lián)和數(shù)據(jù)在信息技術(shù)環(huán)境之中的流轉(zhuǎn)情況。技術(shù)元數(shù)據(jù)的示例包括:
1)物理數(shù)據(jù)庫(kù)表名和字段名。
2)字段屬性(數(shù)據(jù)類型)。
4)訪問(wèn)權(quán)限。
5)數(shù)據(jù)CRUD(增、刪、改、查)規(guī)則。
6)物理數(shù)據(jù)模型,包括數(shù)據(jù)表名、鍵和索引。
7)記錄數(shù)據(jù)模型與實(shí)物資產(chǎn)之間的關(guān)系。
8)ETL作業(yè)詳細(xì)信息。
9)文件格式模式定義。
10)源到目標(biāo)的映射文檔。
11)數(shù)據(jù)血緣文檔,包括上游和下游變更影響的信息。
12)程序和應(yīng)用的名稱和描述。
13)周期作業(yè)(內(nèi)容更新)的調(diào)度計(jì)劃和依賴。
14)恢復(fù)和備份規(guī)則。
15)數(shù)據(jù)訪問(wèn)的權(quán)限、組、角色。
操作元數(shù)據(jù)
操作元數(shù)據(jù)(Operational Metadata)主要是指與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程,以及系統(tǒng)日常運(yùn)行產(chǎn)生的操作數(shù)據(jù)。操作元數(shù)據(jù)管理的內(nèi)容主要包括:與元數(shù)據(jù)管理相關(guān)的組織、崗位、職責(zé)、流程、項(xiàng)目、版本,以及系統(tǒng)生產(chǎn)運(yùn)行產(chǎn)生的操作記錄,如運(yùn)行記錄、應(yīng)用程序、運(yùn)行作業(yè)。
1)批處理程序的作業(yè)執(zhí)行日志。
2)抽取歷史和結(jié)果。
3)調(diào)度異常處理。
4)錯(cuò)誤日志。
5)報(bào)表和查詢的訪問(wèn)模式、頻率和執(zhí)行時(shí)間。
6)補(bǔ)丁和版本的維護(hù)計(jì)劃和執(zhí)行情況,以及當(dāng)前的補(bǔ)丁級(jí)別。
7)備份、保留、創(chuàng)建日期、災(zāi)備恢復(fù)預(yù)案。
8)數(shù)據(jù)歸檔、保留規(guī)則和相關(guān)歸檔文件。
9)清洗標(biāo)準(zhǔn)。
10)數(shù)據(jù)共享規(guī)則和協(xié)議。
11)技術(shù)人員的角色、職責(zé)和聯(lián)系信息。
元數(shù)據(jù)應(yīng)用
經(jīng)過(guò)前面的介紹,大概對(duì)元數(shù)據(jù)有個(gè)初步的印象,可能接下來(lái)就要問(wèn)了:元數(shù)據(jù)有什么用?
先引入一個(gè)場(chǎng)景:
假設(shè)有一天,我們需要對(duì)某一些業(yè)務(wù)信息指標(biāo)做一個(gè)報(bào)表統(tǒng)計(jì),用于前端的數(shù)據(jù)展示,這些業(yè)務(wù)信息可能來(lái)自于不同的表,通過(guò)不同的ETL過(guò)程到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù),最后展示在一個(gè)報(bào)表中,如下圖所示:
血緣分析
舉例:
假設(shè)你在管理報(bào)表,有一天你發(fā)現(xiàn)有報(bào)表數(shù)據(jù)中 指標(biāo)3 的數(shù)據(jù)異常,你需要找出錯(cuò)誤的數(shù)據(jù)并提交流程修正,那么這個(gè)錯(cuò)誤數(shù)據(jù)從何而來(lái)?一個(gè)個(gè)核對(duì)數(shù)據(jù)顯然不夠高效,那你就得知道這個(gè)報(bào)表的的指標(biāo)來(lái)源,元數(shù)據(jù)的血緣分析能幫助你分析這個(gè)錯(cuò)誤數(shù)據(jù)的上游路徑。
查看元數(shù)據(jù)可以發(fā)現(xiàn):
? 指標(biāo)3 是由數(shù)據(jù)集市的 B主題數(shù)據(jù) 經(jīng)過(guò)ETL過(guò)程生成的 ,
? B主題數(shù)據(jù) 又是 由 數(shù)據(jù)倉(cāng)庫(kù)中的table1 和 table 4經(jīng)過(guò)ETL過(guò)程生成的
血緣分析是一種技術(shù)手段,用于對(duì)數(shù)據(jù)處理過(guò)程的全面追蹤,從而找到某個(gè)數(shù)據(jù)對(duì)象為起點(diǎn)的所有相關(guān)元數(shù)據(jù)對(duì)象以及這些元數(shù)據(jù)對(duì)象之間的關(guān)系。元數(shù)據(jù)對(duì)象之間的關(guān)系特指表示這些元數(shù)據(jù)對(duì)象的數(shù)據(jù)流輸入輸出關(guān)系 。
由元數(shù)據(jù)構(gòu)建的血緣分析,可以快速定位數(shù)據(jù)鏈路,明確ETL細(xì)節(jié),縮小數(shù)據(jù)問(wèn)題的范圍。
影響分析
舉例:
還接上面的例子,有一天你發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)的table2 數(shù)據(jù)錯(cuò)了,等你將table2數(shù)據(jù)更正后,此時(shí)你需要及時(shí)提醒大家這個(gè)數(shù)據(jù)的更正信息,只需要通知這個(gè)數(shù)據(jù)影響到的實(shí)體就可以了,然而整個(gè)報(bào)表流程的數(shù)據(jù)傳遞這么復(fù)雜,怎么判斷哪些實(shí)體會(huì)受到這個(gè)數(shù)據(jù)的影響呢。
如果沒(méi)有元數(shù)據(jù),那我們可能需要遍歷所有的腳本、數(shù)據(jù)。才能得到想要的答案;而如果有成熟的元數(shù)據(jù)管理,那我們就可以直接得到答案,節(jié)省大量時(shí)間。
數(shù)據(jù)地圖
數(shù)據(jù)地圖是一種圖形化的數(shù)據(jù)資產(chǎn)管理工具,它提供了多層次的圖形化展示,并具備各種力度控制能力,滿足業(yè)務(wù)使用、數(shù)據(jù)管理、開(kāi)發(fā)運(yùn)維不同應(yīng)用場(chǎng)景的圖形查詢和輔助分析需求。
為什么有數(shù)據(jù)地圖:
如果公司的數(shù)據(jù)庫(kù)里只有百十來(lái)張表,那基本上不需要啥數(shù)據(jù)地圖,因?yàn)榭磕X子就能全記住了。
但是,如果有好幾個(gè)系統(tǒng)、幾百?gòu)埍?#xff0c;而且在數(shù)倉(cāng)里還分了好多層,之間的關(guān)系錯(cuò)綜復(fù)雜,誰(shuí)能全部記得住啊?
這個(gè)數(shù)據(jù)地圖主要解決這些問(wèn)題:
? 平臺(tái)由多少數(shù)據(jù)資源?
? 每個(gè)數(shù)據(jù)源由多少表、字段?
? 這些表、字段里面都是什么內(nèi)容?
? 怎么獲取這些數(shù)據(jù)?
為啥叫“數(shù)據(jù)地圖”,其實(shí)就是借用了地圖“找信息”的功能,意思是在“數(shù)據(jù)地圖”功能中,能找到所有的數(shù)據(jù)。
數(shù)據(jù)地圖不是跟百度地圖、高德地圖一樣,而是跟ETL流程DAG一樣的,或者直接是表格展示。 更簡(jiǎn)單的表格基本上就是庫(kù)名、表名、元數(shù)據(jù)代碼、字段名、數(shù)倉(cāng)位置、上游 、下游、管轄單位、負(fù)責(zé)人等。
主數(shù)據(jù)
什么是主數(shù)據(jù)
《 主數(shù)據(jù)管理實(shí)踐白皮書(shū)(1.0 版)》是這樣定義的:
主數(shù)據(jù)(MDM:Master Data):指滿足跨部門(mén)業(yè)務(wù)協(xié)同需要的、反映核心業(yè)務(wù)實(shí)體狀態(tài)屬性的組織機(jī)構(gòu)的基礎(chǔ)信息。主數(shù)據(jù)相對(duì)交易數(shù)據(jù)而言,屬性相對(duì)穩(wěn)定,準(zhǔn)確度要求更高,唯一識(shí)別。
《數(shù)據(jù)管理知識(shí)體系 DMBOK1.0》 對(duì)主數(shù)據(jù)的定義:
主數(shù)據(jù)是關(guān)于業(yè) 務(wù)實(shí)體的數(shù)據(jù),這些實(shí)體為業(yè)務(wù)交易提供關(guān)聯(lián)環(huán)境。業(yè)務(wù)規(guī)則通常規(guī)定了主數(shù)據(jù)格式和允許的取值范圍。主數(shù)據(jù)是關(guān)于關(guān)鍵業(yè)務(wù)實(shí)體的權(quán)威的、最準(zhǔn)確的數(shù)據(jù),可用于建立交易數(shù)據(jù)的關(guān)聯(lián)環(huán)境。
從字面意思上可以理解成主要的數(shù)據(jù),什么是主要的數(shù)據(jù)呢?在整個(gè)企業(yè)業(yè)務(wù)流程中起到關(guān)鍵作用,而且是比較常用的數(shù)據(jù),在核心業(yè)務(wù)流程上產(chǎn)生的數(shù)據(jù)都是主數(shù)據(jù),這么一解釋可以發(fā)現(xiàn)主數(shù)據(jù)是可以檢測(cè)企業(yè)發(fā)展是否健康的一種方式,但這么理解是有些偏差的。稍微嚴(yán)謹(jǐn)一點(diǎn)的定義就是主數(shù)據(jù)是整個(gè)企業(yè)中使用的核心、非交易性數(shù)據(jù)。請(qǐng)注意:這里指的是非交易性數(shù)據(jù)。舉個(gè)例子,比如你在ERP系統(tǒng)中能夠看到一些交易數(shù)據(jù),比如訂單產(chǎn)生的日期和編號(hào)、地點(diǎn)、金額、商品、用戶、供貨商、店鋪之類的信息。那么這些信息中的產(chǎn)品、供貨商、用戶、地點(diǎn)這些都是主數(shù)據(jù),也就是說(shuō)參與到核心流程中的主體數(shù)據(jù)都是主數(shù)據(jù),這些實(shí)體為業(yè)務(wù)交易和分析提供了上下文信息。
那訂單交易記錄又算什么呢?這里其實(shí)又?jǐn)U展出來(lái)了另外一種數(shù)據(jù)類型:交易數(shù)據(jù),也就是這些實(shí)體數(shù)據(jù)結(jié)合在一起產(chǎn)生了事件活動(dòng)記錄,那么這個(gè)記錄就屬于交易數(shù)據(jù)。例如通話記錄、銷售記錄等等事件。這樣看起來(lái)好像主數(shù)據(jù)是嵌入到了交易數(shù)據(jù)中了,但是主數(shù)據(jù)相對(duì)交易數(shù)據(jù)來(lái)說(shuō)的話,屬性是相對(duì)穩(wěn)定的,而且可信度要求高,需要做到唯一識(shí)別 。
主數(shù)據(jù)的特點(diǎn)
根據(jù)主數(shù)據(jù)的定義,可以總結(jié)出以下的特點(diǎn):
**(1)共享性:**主數(shù)據(jù)滿足跨部門(mén)、跨系統(tǒng)、業(yè)務(wù)協(xié)調(diào)需要的共享數(shù)據(jù)
**(2)高價(jià)值:**因?yàn)橹鲾?shù)據(jù)是跨部門(mén)、跨系統(tǒng)、多業(yè)務(wù)需要的,所以比一般的數(shù)據(jù),價(jià)值更高
**(3)變化慢:**由于主數(shù)據(jù)是跨部門(mén)、跨系統(tǒng)的共享數(shù)據(jù),反映核心業(yè)務(wù)實(shí)體的基本信息,其屬性是相對(duì)穩(wěn)定的
**(4)高質(zhì)量:**主數(shù)據(jù)的重要性要求其必須保障數(shù)據(jù)質(zhì)量、準(zhǔn)確性和一致性
**(5)可集成:**主數(shù)據(jù)將各個(gè)系統(tǒng)共享的核心實(shí)體數(shù)據(jù)進(jìn)行集中管理,制定統(tǒng)一標(biāo)準(zhǔn)規(guī)范
主數(shù)據(jù)的價(jià)值
主數(shù)據(jù)主要有以下三點(diǎn)價(jià)值:
參考數(shù)據(jù)
什么是參考數(shù)據(jù)
《DAMA數(shù)據(jù)管理知識(shí)體系指南(第2版)》是這樣描述的:
參考數(shù)據(jù)是指可用于描述或分類其他數(shù)據(jù),或者將數(shù)據(jù)與組織外部的信息聯(lián)系起來(lái)的任何數(shù)據(jù)(Chisholm,2001)。最基本的參考數(shù)據(jù)由代碼和描述組成,但是有些參考數(shù)據(jù)可能更復(fù)雜,還包含映射和層次結(jié)構(gòu)。
怎么理解呢?參考的中文解釋就是 查閱、利用有關(guān)資料幫助學(xué)習(xí)、研究或了解情況 。參照數(shù)據(jù)類比考卷對(duì)應(yīng)的參考答案,是對(duì)數(shù)據(jù)內(nèi)容的解釋說(shuō)明,也包括對(duì)數(shù)據(jù)的范圍限定。
參考數(shù)據(jù)可用于描述其他數(shù)據(jù),列舉了一個(gè)服務(wù)單狀態(tài)代碼示例。
| 1 | 新建 | 表示一個(gè)新的服務(wù)單已經(jīng)創(chuàng)建,但還未分配人員 |
| 2 | 已分配 | 表示一個(gè)新的服務(wù)單已經(jīng)分配了服務(wù)人員 |
| 3 | 施工中 | 表示分配的服務(wù)人員已經(jīng)開(kāi)始處理 |
| 4 | 已解決 | 表示服務(wù)人員已經(jīng)處理完成 |
| 5 | 已取消 | 表示該服務(wù)單根據(jù)交互情況已經(jīng)取消 |
| 6 | 待定 | 表示服務(wù)暫時(shí)無(wú)法處理 |
| 7 | 已完成 | 表示請(qǐng)求已經(jīng)處理完成 |
通過(guò)上面的參考數(shù)據(jù),可以明確知道 代碼值1-7表示什么狀態(tài),這些狀態(tài)又代表什么業(yè)務(wù)含義。
參考數(shù)據(jù)可用于分類其他數(shù)據(jù),列舉一個(gè)通用標(biāo)準(zhǔn)產(chǎn)品與服務(wù)分類示例。
| 10161600 | 花卉植物 | 10160000 |
| 10161601 | 玫瑰 | 10161600 |
| 10161602 | 猩猩木 | 10161600 |
| 10161603 | 蘭花 | 10161600 |
| 10161700 | 切花 | 10160000 |
| 10161705 | 月季切花 | 10161700 |
通過(guò)上面的參考數(shù)據(jù),可以知道 通用標(biāo)準(zhǔn)產(chǎn)品與服務(wù)分類,當(dāng)查找玫瑰的時(shí)候,能找到它是屬于花卉植物的。
參考數(shù)據(jù)可以將數(shù)據(jù)與組織外部的信息聯(lián)系起來(lái),列舉中國(guó)省市區(qū)編碼對(duì)照表;
| 中國(guó) | 北京 | 110000 | ||
| 中國(guó) | 北京 | 北京市 | 110100 | |
| 中國(guó) | 北京 | 北京市 | 東城區(qū) | 110101 |
| 中國(guó) | 北京 | 北京市 | 西城區(qū) | 110102 |
| 中國(guó) | 北京 | 北京市 | 崇文取 | 110103 |
| 中國(guó) | 北京 | 北京市 | 宣武區(qū) | 110104 |
| 中國(guó) | 北京 | 北京市 | 朝陽(yáng)區(qū) | 110105 |
| 中國(guó) | 北京 | 北京市 | 豐臺(tái)區(qū) | 110106 |
| 中國(guó) | 北京 | 北京市 | 石景山區(qū) | 110107 |
| 中國(guó) | 北京 | 北京市 | 海淀區(qū) | 110108 |
根據(jù)這個(gè)對(duì)照表可以和外部的地理信息或者定位信息聯(lián)系起來(lái)。
參考數(shù)據(jù)是增加數(shù)據(jù)可讀性、可維護(hù)性以及后續(xù)應(yīng)用的重要數(shù)據(jù)。例如,你看到“性別”的這個(gè)字段,很可能是1代表男性、2代表女性。在許多企業(yè)中有這樣的約定俗成,而更多的參考數(shù)據(jù)可能記錄在開(kāi)發(fā)人員和運(yùn)營(yíng)人員的大腦當(dāng)中。但問(wèn)題是一旦這些人離開(kāi),您系統(tǒng)里面的數(shù)據(jù)就成了一堆沒(méi)有注釋的天書(shū)。
可能會(huì)覺(jué)得這所謂參考數(shù)據(jù)不就是數(shù)據(jù)字典嗎?對(duì),在很多系統(tǒng)里面都會(huì)有這樣和那樣的數(shù)據(jù)字典。但是正是由于這些數(shù)據(jù)字典局僅限于個(gè)別系統(tǒng)而沒(méi)有統(tǒng)一標(biāo)準(zhǔn),從一個(gè)側(cè)面間接造就了大量的數(shù)據(jù)孤島。企業(yè)為了進(jìn)行更有效率的數(shù)據(jù)整合、數(shù)據(jù)共享和數(shù)據(jù)分析應(yīng)用,開(kāi)始嘗試對(duì)參考數(shù)據(jù)進(jìn)行企業(yè)或者部門(mén)層面的整合和管理,利用參考數(shù)據(jù)集記錄系統(tǒng)嘗試為范圍內(nèi)的IT系統(tǒng)中的數(shù)據(jù)庫(kù)提供統(tǒng)一的參考數(shù)據(jù)。
參考資料
【數(shù)據(jù)治理知識(shí)】詳解元數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù)和數(shù)據(jù)字典
解析數(shù)據(jù)倉(cāng)庫(kù)里的"元數(shù)據(jù)管理"
元數(shù)據(jù)和數(shù)據(jù)元
換個(gè)角度認(rèn)識(shí)大數(shù)據(jù)(下)——元數(shù)據(jù)管理應(yīng)用
主數(shù)據(jù)的3大特征、4個(gè)超越和3個(gè)二八原則
一文理解主數(shù)據(jù)和參考數(shù)據(jù)
解析數(shù)據(jù)倉(cāng)庫(kù)里的"元數(shù)據(jù)管理"
元數(shù)據(jù)和數(shù)據(jù)元
換個(gè)角度認(rèn)識(shí)大數(shù)據(jù)(下)——元數(shù)據(jù)管理應(yīng)用
主數(shù)據(jù)的3大特征、4個(gè)超越和3個(gè)二八原則
一文理解主數(shù)據(jù)和參考數(shù)據(jù)
【數(shù)據(jù)治理知識(shí)】詳解元數(shù)據(jù)、主數(shù)據(jù)、參考數(shù)據(jù)和數(shù)據(jù)字典
總結(jié)
以上是生活随笔為你收集整理的【数据治理】数据元、元数据、主数据、参考数据概述的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 数据元与元数据
- 下一篇: 关于数据元、元数据、主数据、交易数据、主