资源系统建设初期数据质量管理
筆者2010年負責一個資源項目,當時給用戶做項目時也負責給他們制定一些考核標準,每周考核各個地市的用戶錄入系統數據的質量(滿分3分,1分10萬)。這個資源系統管理用戶所有的資源設備,把以前按照專業建設的資源系統統籌建立一個成資源系統,方便后期管理維護和業務開通等。該系統涉及的專業多,流程比較復雜。
該系統的基礎數據是從其他網管資源系統中匯總導入過來的,涉及到字段對比(本系統字段對應哪個系統哪個字段)必填項是否有,數據是否符合新系統要求,是否符合數據既有邏輯,是否能夠滿足業務流程需求,數據總量是否匹配。
期間通過視頻會議的形式組織多次考核要求說明會、問題答疑會等,落實公布考核成績,對于在考核時間要求前未達標,但明確改正時間和改正安排的暫緩扣分,下周仍未完成,再進行扣分。
制定考核標準注意事項:
1、制定扣分指標一定是滿足系統業務需求的。
2、如果系統變更導致業務需求變更,及早進行調整
3、對系統所需字段進行逐一確認,什么含義、滿足什么業務需求、存儲在什么系統,有哪個專業人員維護。
資源系統建設階段的數據管理,其實就是數據質量的管理,數據的真實性、完備性、自治性與系統的可用性岌岌相關,如果數據不準確,那么業務流程跑出來的數據就是垃圾數據。用戶就用不了這個系統。做數據管理一定要有長期奮戰的覺悟。數據基礎存量大,原始數據不完善,關鍵字段缺失,維護人員層次不齊,維護人員對數據的誤解,最終都會影響存量數據的錯誤。(筆者遇到過縣級的維護人員,連電腦開機都不會,甚至不會寫字,每次上來錄數據,就是各種攀關系,尋求其他人的幫助)。
數據批量導入有人工excel批量導入,或者從其他系統把數據清洗后批量導入。
通過excel導入,一般由客戶方專人維護數據表,導入后進行驗證,如果有問題,在對數據進行梳理整改。只要表格和系統邏輯清晰準確,隨著導入人員對系統和excel數據的了解,系統中的數據會越來越完善。缺點是耗時較長,需要大量人力物力,且難免會出現人為編輯錯誤。
通過數據清洗導入數據,相對較快,耗費較少,缺點是清洗人員對基礎數據不了解,后期維護調整工作量比較大,而且容易造成推諉??蛻艟S護人員認為既然廠家負責清洗導入,那么廠家就需要對數據質量負責。廠家人為他們只是完成從一個數據庫到另一個數據庫存量數據的傳送清洗。系統的基礎數據是什么,有多少,他們并不了解,也不負責。
比較好的解決方案是找一家對這些專業比較了解的公司,在本專業做了多年,公司有一定的項目資料,有一些對這些專業比較數據的專家,進行數據清洗,并后期對數據整改。盡量避免負責數據清洗的是一個廠家,負責數據維護的是另外一個廠家,無形中增加了許多協調溝通成本。
數據質量是一個長期奮戰的歷程,切忌心理浮躁,短期突擊,以大躍進形式做數據質量,會導致數據維護人員的工作基本上都去滿足一些考核指標,拼命的造一些假數據。
總結
以上是生活随笔為你收集整理的资源系统建设初期数据质量管理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一个历史遗留项目清理总结
- 下一篇: 数据迁移(数据清洗)分享