數(shù)據(jù)質(zhì)量與數(shù)據(jù)質(zhì)量八個(gè)維度指標(biāo)

數(shù)據(jù)的質(zhì)量直接影響著數(shù)據(jù)的價(jià)值，并且直接影響著數(shù)據(jù)分析的結(jié)果以及我們以此做出的決策的質(zhì)量。質(zhì)量不高的數(shù)據(jù)不僅僅是數(shù)據(jù)本身的問題，還會影響著企業(yè)經(jīng)營管理決策；錯(cuò)誤的數(shù)據(jù)還不如沒有數(shù)據(jù)，因?yàn)闆]有數(shù)據(jù)時(shí)，我們還會基于經(jīng)驗(yàn)和基于常識的判斷來做出不見得是錯(cuò)誤的決策，而錯(cuò)誤的數(shù)據(jù)會引導(dǎo)我們做出錯(cuò)誤的決策。因此數(shù)據(jù)質(zhì)量是企業(yè)經(jīng)營管理數(shù)據(jù)治理的關(guān)鍵所在。

數(shù)據(jù)的質(zhì)量可以從八個(gè)方面進(jìn)行衡量，每個(gè)維度都從一個(gè)側(cè)面來反映數(shù)據(jù)的品相。八個(gè)維度分別是：準(zhǔn)確性、真實(shí)性、完整性、全面性、及時(shí)性、即時(shí)性、精確性和關(guān)聯(lián)性。

我們在比較兩個(gè)數(shù)據(jù)集的品相的時(shí)候往往采用這種圖形表示。比如說，常規(guī)來講內(nèi)部數(shù)據(jù)采集的準(zhǔn)確性、真實(shí)性、完整性高，而全面性、及時(shí)性、即時(shí)性、精確性和關(guān)聯(lián)性方面取決于企業(yè)內(nèi)部對數(shù)據(jù)的重視程度以及采用的技術(shù)手段的先進(jìn)性有關(guān)；外部數(shù)據(jù)集，比如說微博數(shù)據(jù)、互聯(lián)網(wǎng)媒體數(shù)據(jù)等，其全面性、及時(shí)性和即時(shí)性都可以通過技術(shù)手段，如網(wǎng)絡(luò)爬蟲等得到提高，但在準(zhǔn)確性、真實(shí)性、精確性上難以保證，也難以控制，在關(guān)聯(lián)性方面取決于數(shù)據(jù)采集和挖掘的相關(guān)技術(shù)。

我們也可以用這個(gè)模型來衡量公司內(nèi)部各個(gè)職能部門數(shù)據(jù)的品相。下圖是個(gè)示意，通過數(shù)據(jù)質(zhì)量8大指標(biāo)的評價(jià)，我們可以對企業(yè)內(nèi)部數(shù)據(jù)治理有針對性地采取措施去提高企業(yè)的數(shù)據(jù)質(zhì)量。

1.4.1 數(shù)據(jù)的準(zhǔn)確性

數(shù)據(jù)的準(zhǔn)確性（Accuracy）是指數(shù)據(jù)采集值或者觀測值和真實(shí)值之間的接近程度，也叫做誤差值，誤差越大，準(zhǔn)確度越低。數(shù)據(jù)的準(zhǔn)確性由數(shù)據(jù)的采集方法決定的。

• 1.4.2. 數(shù)據(jù)的精確性

數(shù)據(jù)的精確性（Precision）是指對同一對象的觀測數(shù)據(jù)在重復(fù)測量時(shí)所得到不同數(shù)據(jù)間的接近程度。精確性，也可以叫精準(zhǔn)性。精確性與我們數(shù)據(jù)采集的精度有關(guān)系。精度高，要求數(shù)據(jù)采集的粒度越細(xì)，誤差的容忍程度越低。

測量人的身高，我們可以精確到厘米，多次測量差異只會在厘米級別；測量北京到上海的距離，我們精確到公里，多次測量結(jié)果間的差異會在公里級別；采用游標(biāo)卡尺測量一個(gè)零件的厚度，可以精確到1/50毫米，多次測量的結(jié)果間的誤差也只會在1/50毫米間。采用的測量方法和手段直接影響著數(shù)據(jù)的精確性。

• 1.4.3 數(shù)據(jù)的真實(shí)性

數(shù)據(jù)的真實(shí)性，也叫數(shù)據(jù)的正確性（Rightness）。數(shù)據(jù)的正確性取決于數(shù)據(jù)采集過程的可控程度，可控程度高，可追溯情況好，數(shù)據(jù)的真實(shí)性容易得到保障，而可控程度低或者無法追溯，數(shù)據(jù)造假后無法追溯，則真實(shí)性難以保證。

為了提高數(shù)據(jù)的真實(shí)性，采用無人進(jìn)行過程干涉的智能終端直接采集數(shù)據(jù)，能夠更好地保證所采集數(shù)據(jù)的真實(shí)性，減少人為干預(yù)，減少數(shù)據(jù)造假，從而讓數(shù)據(jù)更加正確地反應(yīng)客觀事物。

• 1.4.4 數(shù)據(jù)的及時(shí)性

數(shù)據(jù)的及時(shí)性（In-time）就是數(shù)據(jù)能否在需要的時(shí)候得到保證。我們月初會對上個(gè)月的經(jīng)營和管理數(shù)據(jù)進(jìn)行統(tǒng)計(jì)匯總，這些數(shù)據(jù)能否及時(shí)處理完成，財(cái)務(wù)能否在月度關(guān)賬后及時(shí)核算。數(shù)據(jù)的及時(shí)性是我們數(shù)據(jù)分析和挖掘及時(shí)性的保障。如果公司的財(cái)務(wù)核算復(fù)雜，核算速度緩慢，上個(gè)月的數(shù)據(jù)在月中才能統(tǒng)計(jì)匯總完成，等需要調(diào)整財(cái)務(wù)策略的時(shí)候，已經(jīng)到了月底了，一個(gè)月已經(jīng)快過完了。特別是公司做大了之后，業(yè)務(wù)覆蓋多個(gè)市場、多個(gè)國家，數(shù)據(jù)不能及時(shí)匯總，會影響到高層決策的及時(shí)程度。

數(shù)據(jù)的及時(shí)性與企業(yè)數(shù)據(jù)處理的速度和效率有直接的關(guān)系，為了提高數(shù)據(jù)的及時(shí)性，越來越多的公司采用管理信息系統(tǒng)，并在管理信息系統(tǒng)中附加各種自動數(shù)據(jù)處理功能，能夠在數(shù)據(jù)上傳系統(tǒng)之后自動完成絕大部分報(bào)表，從而保證數(shù)據(jù)處理的效率。計(jì)算機(jī)自動處理中間層數(shù)據(jù)是提高企業(yè)數(shù)據(jù)處理效率的有效手段。

除了保證數(shù)據(jù)采集的及時(shí)性和數(shù)據(jù)處理的效率問題外，還需要從制度和流程上保證數(shù)據(jù)傳輸?shù)募皶r(shí)性。數(shù)據(jù)報(bào)表完成了，要及時(shí)或者在要求的時(shí)間范圍內(nèi)發(fā)送到指定的部門，或者上傳到指定的存儲空間。

• 1.4.5 數(shù)據(jù)的即時(shí)性

數(shù)據(jù)的即時(shí)性是指數(shù)據(jù)采集時(shí)間節(jié)點(diǎn)和數(shù)據(jù)傳輸?shù)臅r(shí)間節(jié)點(diǎn)，一個(gè)數(shù)據(jù)在數(shù)據(jù)源頭采集后立即存儲，并立即加工呈現(xiàn)，就是即時(shí)數(shù)據(jù)，而經(jīng)過一段時(shí)間之后再傳輸?shù)叫畔⑾到y(tǒng)中，則數(shù)據(jù)即時(shí)性就稍差。

微博的數(shù)據(jù)采集，當(dāng)用戶發(fā)布了微博，數(shù)據(jù)立即能夠被抓取和加工，會生成即時(shí)微博數(shù)據(jù)報(bào)告，并隨著時(shí)間推移，數(shù)據(jù)不斷變化，我們可以稱作是即時(shí)采集和處理的。一個(gè)生產(chǎn)設(shè)備的儀表即時(shí)反應(yīng)著設(shè)備的溫度、電壓、電流、氣壓等數(shù)據(jù)，這些數(shù)據(jù)生成數(shù)據(jù)流，隨時(shí)監(jiān)控設(shè)備的運(yùn)行狀況，這個(gè)數(shù)據(jù)可以看作是即時(shí)數(shù)據(jù)。而當(dāng)設(shè)備的即時(shí)運(yùn)行數(shù)據(jù)存儲下來，用來分析設(shè)備運(yùn)行狀況與設(shè)備壽命的關(guān)系，這些數(shù)據(jù)就成為歷史數(shù)據(jù)。

• 1.4.6 數(shù)據(jù)的完整性

數(shù)據(jù)的完整性是從數(shù)據(jù)采集到的程度來衡量的，是應(yīng)采集和實(shí)際采集到數(shù)據(jù)之間的比例。一條信息采集12個(gè)數(shù)據(jù)點(diǎn)，如我們采集員工信息數(shù)據(jù)的時(shí)候，要求填寫姓名、出生日期、性別、民族、籍貫、身高、血型、婚姻狀況、最高學(xué)歷、最高學(xué)歷專業(yè)、最高學(xué)歷畢業(yè)院校、最高學(xué)歷畢業(yè)時(shí)間等12項(xiàng)信息，而某一員工僅僅填寫了部分信息，如只填寫了其中的5項(xiàng)，則該員工所填寫數(shù)據(jù)的完整性只有一半。

一個(gè)公司數(shù)據(jù)的完整性體現(xiàn)著這個(gè)公司對數(shù)據(jù)的重視程度。要求采集數(shù)據(jù)而實(shí)際上并未完整采集，只采集了一部分，這就是不完整的，往往是公司對數(shù)據(jù)采集質(zhì)量要求不到位導(dǎo)致的。公司要求每個(gè)人都填寫完整的個(gè)人信息表，而有部分員工拒絕填寫，公司2000員工，只有1200人填寫了完整的個(gè)人信息表，則這個(gè)數(shù)據(jù)集就是不完整的。

另外，對于動態(tài)數(shù)據(jù)，我們可以從時(shí)間軸上去衡量數(shù)據(jù)采集的完整性。比如，我們要求每小時(shí)采集一次數(shù)據(jù)，每天會形成24個(gè)數(shù)據(jù)點(diǎn)，記錄為24條數(shù)據(jù)，但是員工瀆職，只記錄了20次，那么這個(gè)數(shù)據(jù)集也是不完整的。

• 1.4.7 數(shù)據(jù)的全面性

數(shù)據(jù)的全面性和完整性不同，完整性衡量的是應(yīng)采集和實(shí)際采集的差異。而全面性指的是數(shù)據(jù)采集點(diǎn)的遺漏情況。比如說，我們要采集員工行為數(shù)據(jù)，我們只采集了員工上班打卡和下班打卡的數(shù)據(jù)，上班時(shí)間的員工行為數(shù)據(jù)并未采集，或者沒有找到合適的方法來采集。那么，這個(gè)數(shù)據(jù)集就是不全面的。

我們描述一個(gè)產(chǎn)品的包裝，僅僅描述了產(chǎn)品包裝的正面和背面，沒有記錄產(chǎn)品包裝的側(cè)面，則就是不全面的。我們記錄一個(gè)客戶的交易數(shù)據(jù)，我們只采集了客戶訂單中的產(chǎn)品、訂單中產(chǎn)品的價(jià)格和數(shù)量，而沒有采集客戶送貨地址、采購時(shí)間，這個(gè)數(shù)據(jù)采集就是不全面的。

騰訊QQ和微信的用戶數(shù)據(jù)記錄了客戶交流溝通的數(shù)據(jù)；阿里和京東的用戶數(shù)據(jù)記錄了用戶的購買交易數(shù)據(jù)；百度地圖記錄了用戶出行的數(shù)據(jù)；大眾點(diǎn)評和美團(tuán)記錄了客戶餐飲娛樂的數(shù)據(jù)。對于全面描述一個(gè)人的生活的衣食住行各方面，這些公司的數(shù)據(jù)都是不全面的，而如果把他們的數(shù)據(jù)整合起來，則會形成更加全面的數(shù)據(jù)。所以說，數(shù)據(jù)的全面性說一個(gè)相對的概念。過度追求數(shù)據(jù)的全面性說不現(xiàn)實(shí)的。

• 1.4.8 數(shù)據(jù)的關(guān)聯(lián)性

數(shù)據(jù)的關(guān)聯(lián)性是指各個(gè)數(shù)據(jù)集之間的關(guān)聯(lián)關(guān)系。比如員工工資數(shù)據(jù)和員工績效考核數(shù)據(jù)是通過員工這個(gè)資源關(guān)聯(lián)在一起來的，而且績效數(shù)據(jù)直接關(guān)系到工資的多少。采購訂單數(shù)據(jù)與生產(chǎn)訂單數(shù)據(jù)之間通過物料的追溯機(jī)制進(jìn)行關(guān)聯(lián)，而生產(chǎn)訂單又是由員工完成的，即通過員工作業(yè)數(shù)據(jù)與員工信息數(shù)據(jù)關(guān)聯(lián)起來。

其實(shí)，我們本書探討的企業(yè)大數(shù)據(jù)，每個(gè)數(shù)據(jù)集都是相關(guān)關(guān)聯(lián)的，有些是直接關(guān)聯(lián)的，比如員工工資數(shù)據(jù)和員工績效數(shù)據(jù)，有些是間接關(guān)聯(lián)的，比如說物料采購訂單數(shù)據(jù)與員工工資數(shù)據(jù)。這些數(shù)據(jù)的關(guān)聯(lián)關(guān)系是由公司的資源，包括人、財(cái)、物和信息等，連接起來的。如果有任何的數(shù)據(jù)集不能連接到其他的數(shù)據(jù)集，就會存在數(shù)據(jù)割裂或者數(shù)據(jù)孤島。數(shù)據(jù)割裂和數(shù)據(jù)孤島是企業(yè)數(shù)據(jù)關(guān)聯(lián)性不足導(dǎo)致的。而數(shù)據(jù)的關(guān)聯(lián)性直接影響到企業(yè)數(shù)據(jù)集的價(jià)值。

全文摘自《企業(yè)經(jīng)營數(shù)據(jù)分析》趙興峰著，轉(zhuǎn)載已獲得作者認(rèn)可。

總結(jié)

以上是生活随笔為你收集整理的生活质量衡量系统_数据质量与数据质量八个维度指标的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。