如何从数据生命周期的角度做好数据资产管理?
數(shù)據(jù)科學(xué)家和權(quán)威專家維克托·邁爾·舍恩伯格在其《大數(shù)據(jù)時代》中指出“雖然大數(shù)據(jù)還沒有被列入企業(yè)的資產(chǎn)負(fù)債表,但這只是一個時間問題。”
與此同時,隨著數(shù)據(jù)爆發(fā)式的增長,越來越多企業(yè)認(rèn)識到數(shù)據(jù)的重要性,把數(shù)據(jù)當(dāng)作數(shù)據(jù)資產(chǎn)。但數(shù)據(jù)不等于數(shù)據(jù)資產(chǎn),數(shù)據(jù)必須以合理、易用、安全和易于理解的方式組織起來,能為業(yè)務(wù)注入有效的價值才能作為數(shù)據(jù)資產(chǎn)。
數(shù)據(jù)變成數(shù)據(jù)資產(chǎn)的前提是有著完整的數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、易于使用的元數(shù)據(jù)管理和持續(xù)產(chǎn)生數(shù)據(jù)價值管理的從數(shù)據(jù)產(chǎn)生到銷毀的數(shù)據(jù)全生命周期管理體系。今天小億就來為大家分享如何從數(shù)據(jù)生命周期的角度做好數(shù)據(jù)資產(chǎn)管理?
一、什么數(shù)據(jù)生命周期管理?
1.數(shù)據(jù)生命周期
數(shù)據(jù)的生命周期是指某個集合的數(shù)據(jù)從產(chǎn)生或獲取到銷毀的過程。數(shù)據(jù)生命周期分為:采集、存儲、整合、呈現(xiàn)與使用、分析與應(yīng)用、歸檔和銷毀幾個階段。在數(shù)據(jù)的生命周期中,數(shù)據(jù)價值決定著數(shù)據(jù)生命周期的長度,并且數(shù)據(jù)價值會隨著時間的變化而遞減。
2.數(shù)據(jù)生命周期管理
數(shù)據(jù)生命周期管理是一種基于策略的方法,用于管理信息系統(tǒng)的數(shù)據(jù)在整個生命周期內(nèi)的流動:從數(shù)據(jù)創(chuàng)建和初始的存儲,直到它過時被刪除或銷毀。
數(shù)據(jù)生命周期管理的目標(biāo)主要有4點:
①通過規(guī)范數(shù)據(jù)的生命周期管理,提高數(shù)據(jù)的整體管理水平,滿足監(jiān)管要求;
②優(yōu)化存儲結(jié)構(gòu),有效控制在在線數(shù)據(jù)規(guī)模,提高生產(chǎn)數(shù)據(jù)訪問效率;
③提高系統(tǒng)資源使用效率,確保系統(tǒng)安全、穩(wěn)定、高效運行;
④做好歷史數(shù)據(jù)管理,為用戶的客戶服務(wù)和經(jīng)營分析提供數(shù)據(jù)支撐。
這里需要注意的是,數(shù)據(jù)的采集粒度與時效性、存儲方式、整合狀況、可視化程序、分析的深度和應(yīng)用銜接的程序,都會對數(shù)據(jù)價值的體現(xiàn)產(chǎn)生影響。所以需針對數(shù)據(jù)生命周期各個階段的特點采取不同的管理方式和控制手段。總之,在成本可控、可量化、可管理的前提下,從數(shù)據(jù)中挖掘出更多有效的數(shù)據(jù)價值。
與此同時,數(shù)據(jù)全生命周期管理與企業(yè)數(shù)據(jù)戰(zhàn)略也是密不可分的。數(shù)據(jù)戰(zhàn)略決定了數(shù)據(jù)采集策略和范圍、存儲和計算資源投入、數(shù)據(jù)整合能力、可視化的程序和分析的廣度與深度等資源投入。
二、常見的數(shù)據(jù)生命周期管理模型
數(shù)據(jù)生命周期管理模型定義了一個宏觀的框架,它是從生產(chǎn)階段到消亡階段的數(shù)據(jù)生命的全景視圖。但是,因為數(shù)據(jù)有很多自身的特點,又不完全相同,因此,在數(shù)據(jù)管理領(lǐng)域,學(xué)術(shù)界和企業(yè)界的許多研究人員提出了不同的數(shù)據(jù)生命周期管理模型,如下圖所示:
許多模型都是為解決數(shù)據(jù)管理中的一個特定問題或特定目的而設(shè)計的,通過對比分析可以發(fā)現(xiàn)有些階段是每個模型共同的,比如數(shù)據(jù)創(chuàng)建/接收,有些階段則是獨有的,比如數(shù)據(jù)可視化。而數(shù)據(jù)歸檔和銷毀很少有模型涉及,這說明很多模型并沒有把數(shù)據(jù)當(dāng)作資產(chǎn)來看待,并沒有考慮數(shù)據(jù)管理的效益最大化。
而如今數(shù)據(jù)是一種重要的資源,已經(jīng)成為一種社會生產(chǎn)要素,被提升為和勞動、土地和資本同等重要的地位,因此建立數(shù)據(jù)資產(chǎn)生命周期管理模型是非常有必要的,它能幫助企業(yè)推動數(shù)據(jù)生產(chǎn)、使用、治理、實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型及效益最大化。
三、數(shù)據(jù)資產(chǎn)生命周期管理模型
如圖所示,根據(jù)對數(shù)據(jù)生命周期管理模型包含階段的統(tǒng)計分析,結(jié)合大數(shù)據(jù)的特點以及企業(yè)實踐經(jīng)驗,數(shù)據(jù)資產(chǎn)生命周期模型包含11個階段的,分別是計劃、定義、創(chuàng)建/接收、處理、集成、存儲、運維、共享、發(fā)現(xiàn)、使用和復(fù)用、歸檔&銷毀,旨在消除企業(yè)或組織在為任何新項目設(shè)計新模型時的認(rèn)知差異和浪費。這里,我們把數(shù)據(jù)資產(chǎn)生命周期的11階段可以劃分為4大階段。
1.“入”期
不僅僅指數(shù)據(jù)的創(chuàng)建與接收,有效的數(shù)據(jù)資產(chǎn)管理始于數(shù)據(jù)的產(chǎn)生之前開始。首先應(yīng)該做好規(guī)劃和計劃,包括數(shù)據(jù)資產(chǎn)盤點、數(shù)據(jù)治理計劃、數(shù)據(jù)需求計劃等;然后對數(shù)據(jù)標(biāo)準(zhǔn)進行定義,制定數(shù)據(jù)管理規(guī)范,確保數(shù)據(jù)按照標(biāo)準(zhǔn)產(chǎn)生,從源頭抓起。在大數(shù)據(jù)時代,數(shù)據(jù)不僅來源于企業(yè)內(nèi)部,更多的是需要采集外部數(shù)據(jù),但是需要在法律法規(guī)允許框架下,根據(jù)數(shù)據(jù)戰(zhàn)略來定義數(shù)據(jù)采集范圍和采集策略。
2.“存”期
需要對結(jié)構(gòu)化、半結(jié)構(gòu)和非結(jié)構(gòu)化多樣化的數(shù)據(jù)結(jié)構(gòu),批數(shù)據(jù)和流數(shù)據(jù)多種數(shù)據(jù)形式進行存儲和處理。面對不同數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)形式、時效性與性能要求和存儲與計算成本等因素考慮,應(yīng)該使用適合的存儲形式與計算引擎。
但數(shù)據(jù)容量的急劇擴大,這對于數(shù)據(jù)存儲和計算成本帶來極大挑戰(zhàn)。而應(yīng)針對不同熱度數(shù)據(jù)采用不同存儲和計算資源,以優(yōu)化存儲和處理成本并提升可用性。
數(shù)據(jù)鴻溝、數(shù)據(jù)孤島的普遍存在需要“集成”來進行連接打通,數(shù)據(jù)只有集成起來才能發(fā)揮更大的價值。只有實現(xiàn)了數(shù)據(jù)集成,數(shù)據(jù)倉庫才能稱之為數(shù)據(jù)倉庫,否則即使把數(shù)據(jù)集中起來存儲,也只能叫做數(shù)據(jù)垃圾堆。
3.“用”期
是數(shù)據(jù)真正產(chǎn)生價值的周期,其他周期都是成本,數(shù)據(jù)因使用而升值,用處越多價值越大。在“用”這個期間要特別強調(diào)“數(shù)據(jù)復(fù)用”這個階段,時下比較流行的數(shù)據(jù)中臺架構(gòu),最大的一個價值就是數(shù)據(jù)復(fù)用和服務(wù)復(fù)用,這對于節(jié)省成本,提高效率非常重要。未來企業(yè)或組織在評估一個數(shù)據(jù)產(chǎn)品值不值得開發(fā)很重要的一個指標(biāo)應(yīng)該看能不能復(fù)用。
4.“出”期
也非常重要,是將那些生命周期步入尾聲的數(shù)據(jù)保存到低性能廉價的存儲介質(zhì)或直接銷毀,是數(shù)據(jù)生命周期管理必不可少的步驟。雖然現(xiàn)在存儲的價格越來越低,但是如果不加以管理也會產(chǎn)生很大的負(fù)擔(dān),對于數(shù)據(jù)資產(chǎn)整體效益不利。
另外,如不加以區(qū)分,本該歸檔或者清除的冷/冰數(shù)據(jù)和活躍的熱/溫數(shù)據(jù)存放在一起,將嚴(yán)重影響系統(tǒng)與業(yè)務(wù)效率。對于數(shù)據(jù)的銷毀,企業(yè)應(yīng)該有嚴(yán)格的管理制度,建立數(shù)據(jù)銷毀的審批流程,并制作嚴(yán)格數(shù)據(jù)銷毀檢查表。只有通過檢查表檢查,并通過流程審批的數(shù)據(jù)才可被銷毀。
最后在整個過程中,數(shù)據(jù)運維提供保障,主要負(fù)責(zé)對數(shù)據(jù)庫進行日常維護,對數(shù)據(jù)進行備份、恢復(fù)。確保數(shù)據(jù)完整性、一致性、及時性,保證數(shù)據(jù)質(zhì)量。除此之外,還需要提供數(shù)據(jù)安全方面的防護,進行用戶授權(quán)、身份認(rèn)證和訪問行為監(jiān)控等,并保密級別較高的數(shù)據(jù)進行數(shù)據(jù)加密、脫敏、匿名化等操作。
四、傳統(tǒng)企業(yè)如何做好數(shù)據(jù)資產(chǎn)生命周期管理?
傳統(tǒng)企業(yè)的數(shù)據(jù)資產(chǎn)生命周期管理需要有持續(xù)的信息化、數(shù)字化投入打基礎(chǔ),整體策略是統(tǒng)籌推動,以用促建、急用先行。
1.業(yè)務(wù)數(shù)字化是數(shù)據(jù)資產(chǎn)管理的前提
企業(yè)要持續(xù)進行業(yè)務(wù)對象數(shù)字化、業(yè)務(wù)規(guī)則數(shù)字化和業(yè)務(wù)過程數(shù)字化,解決數(shù)據(jù)有源的問題。業(yè)務(wù)數(shù)字化通常由業(yè)務(wù)部門驅(qū)動,IT使能部門協(xié)同推進。
2.數(shù)據(jù)匯聚入湖是建設(shè)數(shù)據(jù)資產(chǎn)的基礎(chǔ)
企業(yè)可以從邏輯上匯聚內(nèi)外部、結(jié)構(gòu)化/非結(jié)構(gòu)化等異構(gòu)多源數(shù)據(jù),為數(shù)據(jù)中臺提供完整、清潔的原始數(shù)據(jù),數(shù)據(jù)入湖需遵循相關(guān)標(biāo)準(zhǔn)(明確數(shù)據(jù)Owner,做到責(zé)任到位、發(fā)布數(shù)據(jù)標(biāo)準(zhǔn),形成企業(yè)統(tǒng)一語言、認(rèn)證數(shù)據(jù)源,保證數(shù)據(jù)有源一致性、定義數(shù)據(jù)密級,在安全的前提下實現(xiàn)數(shù)據(jù)共享、評估數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)可信可用、注冊元數(shù)據(jù),形成數(shù)據(jù)資產(chǎn)地圖,方便用戶找到所需資產(chǎn)),最終實現(xiàn)數(shù)據(jù)找得到、可理解、可信任、可消費。
3.數(shù)據(jù)中臺是建設(shè)數(shù)據(jù)資產(chǎn)的重點
通過業(yè)務(wù)和數(shù)據(jù)雙驅(qū)動,做厚數(shù)據(jù)中臺,重點建設(shè)五類數(shù)據(jù)中臺資產(chǎn),做好數(shù)據(jù)主題聯(lián)接,支撐數(shù)據(jù)消費,核心是將數(shù)據(jù)按業(yè)務(wù)流(如合同、銷售訂單等)、業(yè)務(wù)對象(如客戶、供應(yīng)商等)、標(biāo)簽(員工、用戶畫像等)、指標(biāo)數(shù)據(jù)(原子指標(biāo)數(shù)據(jù)、復(fù)合指標(biāo)等)與算法(機會點挖掘等)進行整合聯(lián)接,確保數(shù)據(jù)集成、透明,形成數(shù)據(jù)主題資產(chǎn)(如客戶主題等),支撐自助分析、業(yè)務(wù)過程可視、智能決策、風(fēng)險預(yù)警和控制、經(jīng)營與運營報告等數(shù)據(jù)消費場景。
4.做好數(shù)據(jù)資產(chǎn)生命周期管理是核心
持續(xù)做好元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理,并加強數(shù)據(jù)安全與個人隱私保護、數(shù)據(jù)血緣、數(shù)據(jù)生態(tài)能力?;跀?shù)據(jù)資產(chǎn),通過數(shù)據(jù)服務(wù)滿足數(shù)據(jù)消費是關(guān)鍵。通過數(shù)據(jù)分析平臺,以API形式將數(shù)據(jù)服務(wù)開放給數(shù)據(jù)消費者,滿足實時可視、風(fēng)險預(yù)警、智能決策等場景下的數(shù)據(jù)消費需求。
業(yè)務(wù)數(shù)字化實現(xiàn)了數(shù)據(jù)有源;建設(shè)數(shù)據(jù)底座,實現(xiàn)數(shù)據(jù)匯聚和數(shù)據(jù)資產(chǎn)管理;開發(fā)數(shù)據(jù)服務(wù),減少重復(fù)投資,在保障數(shù)據(jù)安全的前提下滿足多場景的數(shù)據(jù)資產(chǎn)消費。
五、數(shù)據(jù)資產(chǎn)生命周期管理的實踐價值
第一,使企業(yè)降低成本。數(shù)據(jù)成本和效率之間本身存在矛盾,很多公司在做大數(shù)據(jù)時會用空間換時間,隨著數(shù)據(jù)的增長,如不及時進行管理和存儲最終會影響到計算效率,導(dǎo)致成本既存儲空間不斷增長。?
第二,規(guī)避風(fēng)險。在對數(shù)據(jù)進行監(jiān)管和審計是會對相關(guān)數(shù)據(jù)進行保留,在客戶丟失個人信息時,可以進行全程追溯,做到風(fēng)險規(guī)避。?
第三,提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)管理的重要目標(biāo)之一就是提升數(shù)據(jù)的質(zhì)量,不通過全生命周期管理數(shù)據(jù)很難保證數(shù)據(jù)整體的質(zhì)量水平,在系統(tǒng)前期建設(shè)和開發(fā)過程中需要指定完善的業(yè)務(wù)規(guī)則和標(biāo)準(zhǔn),保證得到高質(zhì)量的數(shù)據(jù)。?
第四,價值最大化。不做全生命周期管理則無法從數(shù)據(jù)上著眼價值和利益的最大化,企業(yè)在投資項目前可以通過數(shù)據(jù)看到產(chǎn)品背后的成本和預(yù)期收益,從而對投資是否合理做出判斷。
六、小結(jié)
企業(yè)數(shù)據(jù)資產(chǎn)生命周期管理的基礎(chǔ)是,企業(yè)首先應(yīng)樹立數(shù)據(jù)資產(chǎn)的意識形態(tài),只有真正把數(shù)據(jù)當(dāng)做資產(chǎn)看待的時候才會通過數(shù)據(jù)看到產(chǎn)品的收益和價值,并在后續(xù)產(chǎn)品開發(fā)之前提前指定數(shù)據(jù)資產(chǎn)生命周期管理方案。
其次,數(shù)據(jù)資產(chǎn)建立之前需要統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)描述資產(chǎn)模型和收集信息的維度,例如通過用戶ID打通信息孤島,獲取手機、郵箱、身份證等信息,進行數(shù)據(jù)資產(chǎn)的統(tǒng)一建模。?
最后,需要對數(shù)據(jù)資產(chǎn)的處理歷史進行跟蹤,將數(shù)據(jù)資產(chǎn)從產(chǎn)生到內(nèi)部業(yè)務(wù)集成、數(shù)倉、應(yīng)用的全過程打通,通過精細(xì)化的管理,為數(shù)據(jù)成本核算、收集投資收益等信息建立良好基礎(chǔ)。
當(dāng)前企業(yè)數(shù)據(jù)資產(chǎn)全生命周期管理存在一些問題,比如數(shù)據(jù)組織方面,很多企業(yè)也缺乏專業(yè)的數(shù)據(jù)資產(chǎn)管理組織;數(shù)據(jù)管控流程方面,跨域跨專業(yè)數(shù)據(jù)管控流程尚未建立、跨域數(shù)據(jù)管理技術(shù)手段尚不完善;IT架構(gòu)方面,采用煙囪式的傳統(tǒng)IT架構(gòu),使得企業(yè)在進行數(shù)據(jù)資產(chǎn)管理時會遇到數(shù)據(jù)分散、規(guī)模大、種類多、質(zhì)量差的問題,導(dǎo)致了數(shù)據(jù)變現(xiàn)的困難。同時在數(shù)據(jù)安全方面,很多企業(yè)沒有進行數(shù)據(jù)密級的控制,使企業(yè)在做數(shù)據(jù)分享時會遇到不知道該不該給、該給多少的問題,存在數(shù)據(jù)安全問題。
總結(jié)
以上是生活随笔為你收集整理的如何从数据生命周期的角度做好数据资产管理?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 区块链项目的价值评估关键词:数据|筱静观
- 下一篇: Apache Falcon简介-Hado