当年要是早知道这4步框架,我就不会为数据管理发愁了
一、什么是數據治理?
筆者認為:所有為提高數據質量而展開的業務、技術和管理活動都屬于數據治理范疇。數據治理的目的就是通過有效的數據資源控制手段,進行數據的控制,以提升數據質量進而提升數據變現的能力。
?
二、為什么需要數據治理?
在我國,各行業的信息化發展和建設水平并不均衡,甚至有的行業是剛剛起步。但是,不論是金融行業、通訊行業、地產行業、傳統制造業以及農業,其信息化的發展基本都遵循了“諾蘭模型”。
筆者認為企業信息化大致經歷了初期的煙囪式系統建設、中期的集成式系統建設和后期的數據管理式系統建設三個大的階段,可以說是一個先建設后治理的過程。
?
1、數據質量層次不齊
當今時代,“數據資產化”的概念已經被大多數人理解和接受。然而,數據并不等于資產,也就是說不是所有數據都是數據資產,數據中也有垃圾數據。我們需要治理的是能夠為企業創造價值的數據資產,而不是全部數據。
2、數據交換和共享困難
企業信息化建設初期缺乏整體的信息化規劃,系統建設大多都是以業務部門驅動的單體架構系統或套裝軟件,數據分散在這些架構不統一、開發語言不一致、數據庫多樣化的系統中,甚至還有大量的數據存放在員工的個人電腦中,導致在企業內部形成了一個個的“信息孤島”。
這些“孤島”之間缺乏有效的連接通道,數據不能互聯互通,不能按照用戶的指令進行有意義的交流,數據的價值不能充分發揮。只有聯通數據,消除這些“信息孤島”,才能實現數據驅動業務、數據驅動管理,才能真正釋放數據價值。
3、缺乏有效的管理機制
由于缺乏有效的管理機制和某些人為的因素,在數據流轉過程中,存在數據維護錯誤、數據重復、數據不一致、數據不完整的情況,導致了產生了大量的垃圾數據。
數據產權不明確,管理職責混亂,管理和使用流程不清晰,是造成數據質量問題的重要因素。
4、存在數據安全隱患
2018年3月份的Facebook 5000萬用戶信息被泄露和濫用的事件,受該事件影響,Facebook股價當日大跌7%,市值縮水360多億美元。
這種數據安全事件,在我國發生頻率更多,我還清楚的記得:2011年,黑客在網上公開了CSDN的用戶數據庫,高達600多萬個明文的注冊郵箱賬號和密碼遭到曝光和外泄。近年來,隨著大數據的發展,諸如此類的數據安全事件多不勝數。
數據資產管理上,正在由傳統分散式的人工管理向計算機集中化管理方向發展,數據的安全問題愈來愈受到人們的關注。
?
三、DMBOK的數據治理框架
DMBOK是由數據管理協會(DAMA)編撰的關于數據管理的專業書籍,一本DAMA 數據管理辭典。對于企業數據治理體系的建設有一定的指導性。
DMBOK將數據管理分為以下10個職能域:
?
- 數據控制:在數據管理和使用層面之上進行規劃、監督和控制。
- 數據架構管理:定義數據資產管理藍圖。
- 數據開發:數據的分析、設計、實施、測試、部署、維護等工作。
- 數據操作管理:提供從數據獲取到清除的技術支持。
- 數據安全管理:確保隱私、保密性和適當的訪問權限等。
- 數據質量管理:定義、監測和提高數據質量。
- 參考數據和主數據管理:管理數據的黃金版本和副本。
- 數據倉庫和商務智能管理:實現報告和分析。
- 文件和內容管理:管理數據庫以外的數據
- 元數據管理:元數據的整合、控制以及提供元數據。
?
四、數據治理框架的理解和解讀
我們常說:沒有最好的解決方案只有更合適的解決方案。企業在實施數據治理的時候,應做好充分的分析和評估,切勿盲目跟風,避免出現數據治理收效甚微,還浪費了投資的窘境。
筆者認為企業數據治理應考慮以下要素:
1、數據治理的對象
大家都在談數據治理,但是到底哪些數據需要被治理?我們說數據治理不是治理全部數據,而是針對企業數據資產的治理。那么,問題來了,到底什么是數據資產?又如何識別數據資產?
筆者認為,數據資產雖不具備實物形態,但是它必定是實物在網絡世界映射的一種虛擬形態。對于企業而言,人、設備、產品、物料、軟件系統、數據庫、以及任何涉及到使用文件作為載體的各類數據,都屬于企業的數據資產。
我們雖然定義了數據資產,但是不同行業的數據治理側重點也不同。數據治理要理解行業需求、企業訴求,在不同行業、不同企業應具有不同的差異化方案。企業在實施數據治理的時候,首先要進行數據資產的識別和定義,明確數據治理的對象和范圍,做好數據治理的頂層設計!
2、數據治理的時機
這些年由于工作原因走訪了一些企業,其經濟情況不同、行業特點不同、信息化程度不同、數據治理情況也不盡相同。
第一類企業:經濟實力雄厚,信息化起步較早,信息化程度比較高,如:XX銀行、國家電網,他們已形成了系統性的數據治理體系。
第二類企業:有一定的經濟實力、信息化程度相對較好,但是早期的信息化盲目建議,買了一堆的套裝軟件,建了一堆的系統,雖然系統或多或少都有使用,但效果不佳,談起數據治理,客戶自己都覺得頭痛:企業到底都有哪些數據?這些數據都是分布在哪里?數據治理該如何入手?
第三類企業:經濟實力相對薄弱,也有信息化剛剛起步的企業,這些企業多數的業務還是靠紙質或線下模式,部分企業使用了財務軟件或ERP系統,數據存放個人電腦或生產系統中,基本沒有數據治理。我國的一些中小民型營制造企業多數處于這個水平。
企業數據治理的時機該如何選擇?
是先有了數據再進行治理,還是先建設好數據治理體系再進行應用系統建設?針對上述不同類型的企業,其數據治理選擇的時機和體系建設的設計絕對不能一概而論。
對于第一類企業,已經有了相對完善的數據治理體系,更需要的是加強數據安全、數據應用、數據創新,穩固提升數據管理、數據應用和數據變現的能力;
對于第二類企業單體架構的系統多,信息孤島嚴重,一定存在數據多源、重復、不一致等問題,其數據治理已是迫在眉睫;
對于第三類企業,在數字化的浪潮下,信息化雖然薄弱,但如果打好數據基礎,未免不是企業改革創新,實現“彎道超車”的最佳時機。
3、誰來實施、誰來主導
企業常常有這樣一個誤區,很多人認為數據治理就是信息化部門的事情和業務部門無關。
前邊我們說過數據治理是對企業數據資產的治理,既然是資產,就一定要確權。企業數據資產的生產、使用應該有明確的責任部門,顯然數據資產的生產及歸屬部門應該是業務部門,信息化部門最多也就是一個數據資產的托管部門而已。
筆者也多次強調企業的數據問題,80%是業務和管理的問題,20%是技術問題。
所以,企業數據治理是應有高層領導牽頭,業務部門負責,信息部門執行,企業全員的參與。企業全員應培養起數據思維和數據意識,當然這是一個長期的過程,也是一件很不容易的事情,需要一點一滴的積累沉淀,并不斷融入企業文化中。
4、數據治理的內容
數據治理是長期、復雜的工程,包含了數據標準、數據質量、主數據、元數據、數據安全等多個方面內容。由于企業性質、業務特點、管理模式的不同,有必要建立符合企業現狀和企業需求的數據治理框架,指導企業數據治理工作的開展。
以下是筆者個人理解的數據治理框架內容:
?
?
元數據管理:提高各種數據的可信性、可維護性、適應性和可集成性。
主數據管理:主數據是企業內外被廣泛應用和共享的數據,被譽為是企業數據資產中的“黃金數據”,主數據管理是撬動企業數字化轉型的支點,是企業數據治理最核心的部分。
數據安全管理:數據安全應貫穿數據治理全過程,應保證管理和技術兩條腿走路。
五、數據治理框架總結
再次強調,企業實施數據治理需因地制宜,不論建立什么樣的數據治理體系、采用什么樣的數據治理技術,其目的都是實現數據治理目標,即:通過有效的數據資源控制手段,對進行數據的管理和控制,以提升數據質量進而提升數據變現的能力。
數據治理體系和框架,只是企業數據治理的一個參考,不能照搬和套用,更不能為了治理而治理。
歡迎關注我的公眾號“商業智能研究”,私信回復“資料包”,即可領取大數據、數據中臺、商業智能、數據倉庫等6G精華資料!
?
?
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的当年要是早知道这4步框架,我就不会为数据管理发愁了的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 终于有人将数据中台讲清楚了,原来根本不算
- 下一篇: 是什么让你踏上了程序员的道路?