数据管理的3种方法,看完后感叹:数字化转型、数据中台真不难
結尾給大家整理了超多干貨!
企業建立數據中臺,是為了能夠快速的賦能業務進行落地實施、改造、試錯、轉型;快速提升組織之間的協同效率,降低系統成本,實現數字化-智能化轉型。
當數據匯集之后,企業在做數據治理、數據建模、數據資產管理等工作之前,一定要先對企業的數據進行數據盤點,然后再去做數據資源規劃。
那么,如何進行有效的數據資源規劃與設計呢?本篇,按順序介紹如下:
數據資源規劃的目標
在問為什么要做數據資源規劃,先和大家對企業信息化建設做個簡單的梳理和分析。
目前,大多數企業的信息化建設還處于無序的狀態,缺乏統一的流程與規范。
每個部門都有建立自己煙囪式的IT系統、建立煙囪式獨立的數據分析平臺和數據倉庫或引進各種外部應用軟件再進行二次開發,它們彼此之間相互獨立,采用單項引進的開發模式,只是一味地追求各自的功能實現。
所有數據庫差不多都是按報表格式的方式建立,導致信息孤島的產生,數據無法互聯共享有章可循,造成在混亂的業務系統環境中,無序、矛盾、冗余的數據隨處可見。
?
只重視制定總體規劃,在制定規劃方面存在很多問題,總結一下可以用兩個詞來概括:滯后與缺乏。
1、滯后
企業更加側重于網絡建設,在落地方案和技術選型等方面粒度過細,在數據資源開發利用方面的規劃粒度過粗;管理層和決策層的應用滯后于數據應用層,沒有形成以數據驅動業務的統一認知。
2、缺乏
一方面,數據資源整合目標相對泛化,缺乏總體數據規劃的意識,沒有整合信息孤島的措施,數據中心建設和數據集中管理等規劃缺乏可操作性,缺乏數據標準化建設方面的規劃,更多的是在喊口號,說概念,沒有真正的實際行動;
另一方面,應用系統規劃沒有重組優化的想法,缺少如何集成已有應用系統的方法,在新應用系統落地技術選型方面描述過于細,甚至形成錯誤的模式和觀念,觀念還停留在企業信息化就是網絡加ERP系統的思想階段。
實際上,企業信息數字化建設面臨的瓶頸問題并不只是在網絡搭建、設備或者應用軟件的技術選型上面,而是如何運用科學的方法,將分散、孤立的各類信息匯集起來,消除信息孤島,實現數據信息共享。
解決這一問題的關鍵就是做好數據資源規劃。數據資源規劃是一個企業發展戰略規劃的另一種延伸,是企業信息化建設的基礎工程,只有在做到數據環境改造,應用系統集成的前提之下,才能做好數據資源規劃,促進數據標準化的建設。
數據資源規劃它的目標是通過規范化的方式來發現企業業務的狀況;通過規范數據源,解決數據源一致性問題;通過規范數據模型,明確數據關系。
數據資源規劃的內容
當企業業務系統逐漸增多,點對點的集成方案將變成一場災難。主要有以下幾個原因:
為了解決以上問題,企業需要先梳理現狀、確定組織、認識數據、數據呈現,從而清晰的了解認識到企業的真實情況,從中找到數據資源規劃破局的方法。
?
1、梳理現狀
通過從以下四個方面,梳理出企業現狀,統計出數據來源,確定數據資源分類,做好數據評估,確定當前數據容量,結合業務運行頻度,數據產生效率,預測數據成長規模。
- 業務角度:梳理業務流程、核心業務指標、業務數據應用,看是否可以找到業務新的創新點;
- 數據角度:梳理目前企業有什么數據,數據來自什么業務系統,數據用在哪里,數據如何存儲,安全與否;業務還可以采集到什么數據;還缺什么數據;目前企業數據建設的情況;
- 技術角度:梳理目前各個業務系統的拓撲結構、技術架構、系統的開發語言和系統的開放性
- 組織中心:了解企業是否有完善的組織架構;明確知道各部門、各個業務系統的分工機制、職能邊界與配合方式
2、確定組織
在認知上、在流程上、在業務上、在實踐上形成統一的規范與流程,只有在規范和流程的前提之下,數據相關人員才能更好的相互協作;
其次,對整個企業組織需求進行重新分析和調研,根據目前企業實際的數據規模、數據訪問頻度、數據存儲等特性,規劃數據資源的存儲容量,設定不一樣的數據存儲架構
3、認識數據
基于業務模型,了解數據的分布特性,洞察數據的特征,檢驗數據的質量;分析各數據源之間的內在關聯關系、相互依賴關系、數據變化的影響關系等,確定各數據源之間的數據流向,明確的知道企業目前的數據生態和數據之間的關聯關系,為設計總體數據架構和模型提供有利的依據。
4、數據呈現
基于數據情況提供完整的數據資源分析報告;基于數據應用的使用,設計合理的數據共享和數據服務方式
數據資源規劃的方法
1、構建數據體系
構建企業數據體系之前,需要先梳理清楚企業數據資源管理的業務體系,才能保證數據來源的可靠性。
?
數據生命周期運維體系圖
數據的業務體系,首先從數據的整個生命周期來看每個階段都需要什么數據做支撐,才能形成龐大的數據體系,然后再基于業務體系去劃分數據體系,具體解決的思路、業務流程以及需要注重的功能點如下圖所示:
?
2、建立數據標準體系
?
梳理匯總企業現有的各類業務的數據標準后,篩選出可直接參考和使用的標準與行業標準相互結合,制定出新的數據標準體系,形成一套標準化的數據規范,對具體數據項的定義、口徑、格式、取值、單位等進行規范說明,提升數據質量,最終實現企業數據資源的統一管理和展現
3、數據資源整合
通過匯集企業全域級數據,做數據資源整合,為業務融合提供有力支撐
?
1)構建數據畫像,理清數據脈絡
- 數據分類:基于業務體系進行數據分類,建立數據資源目錄,對各類數據進行相應的描述
- 數據關系:明確數據之間的流轉關系,設計出合理的數據流路徑,統一數據的口徑
- 責任主體:確定數據生命周期中每個階段數據的責任主體和歸屬狀態
2) 構建數據管理,規范數據秩序
- 數據存儲管理:基于集中統一共享,分層分級管理的思路原則,對于不同類型的數據,采用不同的數據存儲方式
- 數據規整入庫:對已存入數據庫中的數據、未建庫的數據以及各種紙質/電子文檔數據進行統一規整,建立數據入庫標準與秩序,保證數據有序存儲和使用的便捷性
- 數據更新管理:在機制和工具上設置雙重保障的前提下,保障數據更新管理的規范性、安全性和隱私性。建立完善的動態更新機制和操作規范流程,對數據進行統一管理,為數據入庫更新提供有效的支持;同時,結合數據庫更新管理系統對數據進行安全檢測、入庫更新、數據導出,提供全鏈路的保障機制
3) 提供數據內外共享服務
在確保數據安全和數據隱私的前提下,設計合理的數據共享與數據服務
4、總結
本文從數據規劃建設目的、內容和方法三方面,和大家聊一聊數據資源規劃的若干事情。
數據資源規劃是對數據建模、采集、加工、存儲、應用等方面進行規劃。首先,基于業務厘清數據流向、建立數據模型,形成數據資源應用與管理標準體系;其次,融合異構數據,建立數據安全管理體系,共建企業數據生態圈,為做好數據集成、數據共享與服務,提供有力的數據支撐和保障。
在數據資源規劃的過程當中,需要從法規、數據標準、技術三方面做到“四要”,一起共同建設,合力破局。
最后,我還整理了100+行業數字化報告,50+名企案例,10+TOP廠商解決方案等數據干貨,評論“資料”就行。
總結
以上是生活随笔為你收集整理的数据管理的3种方法,看完后感叹:数字化转型、数据中台真不难的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何在weblogic启动时让其加载指定
- 下一篇: 数据新动能:帆软第四届智数大会圆满落幕