筆者2013年接了一個(gè)資源管理咨詢項(xiàng)目，負(fù)責(zé)該項(xiàng)目的實(shí)施管理，其中有幾個(gè)月是組織幾個(gè)開發(fā)廠家寫遷移腳本，做數(shù)據(jù)遷移（從原有的多個(gè)系統(tǒng)中把數(shù)據(jù)同步過來），僅分享當(dāng)時(shí)的經(jīng)驗(yàn)。
前期先做基礎(chǔ)數(shù)據(jù)梳理和映射確認(rèn)，組織所有的廠商一起梳理區(qū)域、標(biāo)準(zhǔn)地址、局站等信息，并梳理統(tǒng)一命名原則，確認(rèn)需要采集的數(shù)據(jù)來源及存在的關(guān)系（從資源系統(tǒng)、網(wǎng)管系統(tǒng)、號(hào)線系統(tǒng)、手工臺(tái)賬等獲取）。
然后做字段確認(rèn)，和哪個(gè)系統(tǒng)字段匹配，字段格式是否一致，新系統(tǒng)的數(shù)據(jù)格式是否可以更改。
然后寫遷移腳本，對(duì)幾個(gè)開發(fā)廠商簡(jiǎn)單分工，每個(gè)廠商負(fù)責(zé)寫幾個(gè)專業(yè)的遷移腳本，過程中有疑問，再做字段確認(rèn)和答疑。
遷移腳本匯總與驗(yàn)證檢查，讓他們首先驗(yàn)證自己的遷移腳本是否可以遷移數(shù)據(jù)，然后再做交叉驗(yàn)證，對(duì)出現(xiàn)的問題進(jìn)行討論總結(jié)。
遷移腳本的更新與備份，平時(shí)都在客戶提供的環(huán)境中進(jìn)行數(shù)據(jù)驗(yàn)證及備份。但有一次用戶服務(wù)器存儲(chǔ)損害導(dǎo)致所有的腳本及備份數(shù)據(jù)丟失，后面費(fèi)了很大功夫才從每個(gè)開發(fā)人員手里匯總遷移腳本，并又重新做了多輪驗(yàn)證。后期要求所有的開發(fā)廠商做異處備份，在多臺(tái)服務(wù)器上進(jìn)行備份，如有可能，在本地也存儲(chǔ)一份。
做數(shù)據(jù)清洗時(shí)，數(shù)據(jù)的關(guān)聯(lián)關(guān)系也被清洗掉，需要數(shù)據(jù)遷移后，在數(shù)據(jù)庫(kù)中重新建立關(guān)聯(lián)關(guān)系。
數(shù)據(jù)遷移后的核查，培訓(xùn)用戶利用自定義導(dǎo)出功能，把需要核查的數(shù)據(jù)導(dǎo)出，按照一定的順序進(jìn)行核查確認(rèn)，讓他們對(duì)重復(fù)數(shù)據(jù)、殘缺數(shù)據(jù)進(jìn)行修改。

總結(jié)

以上是生活随笔為你收集整理的数据迁移（数据清洗）分享的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。