點(diǎn)擊▲關(guān)注 “中生代技術(shù)”? ?給公眾號(hào)標(biāo)星置頂

更多精彩 第一時(shí)間直達(dá)

數(shù)據(jù)中臺(tái)是當(dāng)下非常熱門(mén)的話題，可以解決企業(yè)重復(fù)造輪子的問(wèn)題。雖然數(shù)據(jù)中臺(tái)在互聯(lián)網(wǎng)企業(yè)中已經(jīng)有了多年的實(shí)踐，但是對(duì)于傳統(tǒng)企業(yè)來(lái)說(shuō)還是一個(gè)比較新的話題。

本文選自《數(shù)據(jù)中臺(tái)架構(gòu)：企業(yè)數(shù)據(jù)化最佳實(shí)踐》一書(shū)，本書(shū)作者袋鼠云合伙人、高級(jí)副總裁張旭及其團(tuán)隊(duì)根據(jù)在多個(gè)數(shù)據(jù)中臺(tái)項(xiàng)目落地實(shí)踐中總結(jié)出的一套方法論總結(jié)而成——數(shù)據(jù)中臺(tái)建設(shè)五步法。

▲ 掃碼獲取本書(shū)詳情 ▲

《數(shù)據(jù)中臺(tái)架構(gòu)》交流群

《數(shù)據(jù)中臺(tái)架構(gòu)》圖書(shū)讀者交流群現(xiàn)在開(kāi)放入群，各位對(duì)中臺(tái)架構(gòu)感興趣的同學(xué)千萬(wàn)不要錯(cuò)過(guò)。

文末還有作者張旭老師的中臺(tái)架構(gòu)直播分享，有任何技術(shù)問(wèn)題都?xì)g迎在群交流碰撞。除此之外，博文菌也會(huì)不時(shí)地奉上一些獨(dú)家增值資源與購(gòu)書(shū)福利。

免費(fèi)坑位有限，先到先得！

入群同學(xué)請(qǐng)遵守群規(guī)，不然可是會(huì)被博文菌無(wú)情踢出去的！

01

第一步：數(shù)據(jù)資源的盤(pán)點(diǎn)與規(guī)劃

數(shù)據(jù)化的基礎(chǔ)是信息化或者信息化所產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)本就有數(shù)據(jù)化的含義，同時(shí)這些數(shù)據(jù)又會(huì)進(jìn)入數(shù)據(jù)化框架體系，繼續(xù)通過(guò)計(jì)算產(chǎn)出更多的數(shù)據(jù)和更大的價(jià)值。所以，對(duì)企業(yè)數(shù)據(jù)資源的盤(pán)點(diǎn)是數(shù)據(jù)化建設(shè)的前提和基礎(chǔ)。一份完整、準(zhǔn)確的數(shù)據(jù)資源是后續(xù)數(shù)據(jù)化建設(shè)的有力保障。

數(shù)據(jù)資源的盤(pán)點(diǎn)與規(guī)劃需要達(dá)到以下目的：

（1）對(duì)現(xiàn)有數(shù)據(jù)資源盤(pán)點(diǎn)和統(tǒng)計(jì)。

（2）對(duì)企業(yè)可以擁有或者應(yīng)該擁有的數(shù)據(jù)資源進(jìn)行規(guī)劃。

（3）構(gòu)建盤(pán)點(diǎn)體系并使用必要工具，保證盤(pán)點(diǎn)的成果能夠始終與真實(shí)情況相符。

02

第二步：數(shù)據(jù)應(yīng)用規(guī)劃與設(shè)計(jì)

企業(yè)要基于現(xiàn)有的技術(shù)條件和方案，進(jìn)行相對(duì)完整的數(shù)據(jù)應(yīng)用規(guī)劃。這個(gè)步驟可以回答如下問(wèn)題。

?1. 企業(yè)中有哪些數(shù)據(jù)需求?

我們要從業(yè)務(wù)線、業(yè)務(wù)層級(jí)到最細(xì)粒度的崗位，梳理數(shù)據(jù)需求。

?2. 企業(yè)應(yīng)該構(gòu)建哪些數(shù)據(jù)應(yīng)用?

我們要圍繞數(shù)據(jù)需求進(jìn)行數(shù)據(jù)應(yīng)用的整體規(guī)劃和設(shè)計(jì)。

?3. 應(yīng)該按照什么順序?qū)崿F(xiàn)這些數(shù)據(jù)應(yīng)用?

我們要對(duì)數(shù)據(jù)應(yīng)用建立評(píng)估模型，評(píng)估的維度包括數(shù)據(jù)應(yīng)用是否可以實(shí)現(xiàn)、數(shù)據(jù)應(yīng)用的業(yè)務(wù)價(jià)值、數(shù)據(jù)應(yīng)用的實(shí)現(xiàn)成本這三個(gè)主要方面。通過(guò)評(píng)定結(jié)果，我們可以確定數(shù)據(jù)應(yīng)用的實(shí)現(xiàn)路徑。

03

第三步：數(shù)據(jù)資產(chǎn)建設(shè)

數(shù)據(jù)資產(chǎn)的建設(shè)要依托數(shù)據(jù)中臺(tái)的核心產(chǎn)品完成。數(shù)據(jù)資產(chǎn)是企業(yè)數(shù)據(jù)化建設(shè)的關(guān)鍵基礎(chǔ)。所有的數(shù)據(jù)化建設(shè)最后都以數(shù)據(jù)資產(chǎn)為基礎(chǔ)，并且圍繞這個(gè)基礎(chǔ)展開(kāi)。數(shù)據(jù)資產(chǎn)將是企業(yè)在全面數(shù)據(jù)化建設(shè)前期中投入最多、見(jiàn)效最慢的基礎(chǔ)層模塊。關(guān)于數(shù)據(jù)中臺(tái)的種種探討和爭(zhēng)議以及妥協(xié)的很大一部分原因是這個(gè)基礎(chǔ)建設(shè)龐大、復(fù)雜和投入高。?

數(shù)據(jù)資產(chǎn)建設(shè)的內(nèi)容包括以下幾個(gè)方面：

?1. 技術(shù)建設(shè)?

（1）產(chǎn)品選型。產(chǎn)品選型包括如何選擇數(shù)據(jù)中臺(tái)產(chǎn)品、數(shù)據(jù)中臺(tái)產(chǎn)品應(yīng)該具備的功能以及技術(shù)參數(shù)指標(biāo)。

（2）技術(shù)架構(gòu)設(shè)計(jì)。技術(shù)架構(gòu)設(shè)計(jì)包括數(shù)據(jù)中臺(tái)產(chǎn)品如何部署、如何替換傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)或者與之并行、數(shù)據(jù)中臺(tái)如何抽取當(dāng)前的應(yīng)用數(shù)據(jù)。

?2. 標(biāo)準(zhǔn)和數(shù)據(jù)倉(cāng)庫(kù)模型構(gòu)建?

（1）建模及開(kāi)發(fā)規(guī)范。建模及開(kāi)發(fā)規(guī)范包括數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)規(guī)范的制定，數(shù)據(jù)開(kāi)發(fā)規(guī)范的制定，如何避免當(dāng)前較為常見(jiàn)的數(shù)據(jù)開(kāi)發(fā)混亂、難以運(yùn)維的情況。

（2）數(shù)據(jù)建模。數(shù)據(jù)建模包括進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型構(gòu)建，并提交評(píng)審。

?3. 數(shù)據(jù)抽取、數(shù)據(jù)開(kāi)發(fā)、任務(wù)監(jiān)控與運(yùn)維?

（1）數(shù)據(jù)抽取。數(shù)據(jù)抽取包括從數(shù)據(jù)資源層抽取數(shù)據(jù)進(jìn)入ODS層。

（2）數(shù)據(jù)開(kāi)發(fā)。數(shù)據(jù)開(kāi)發(fā)包括進(jìn)行數(shù)據(jù)任務(wù)開(kāi)發(fā)，進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)計(jì)算。

（3）任務(wù)監(jiān)控與運(yùn)維。任務(wù)監(jiān)控與運(yùn)維包括監(jiān)控所有數(shù)據(jù)任務(wù)，對(duì)異常和錯(cuò)誤任務(wù)進(jìn)行必要的人工干預(yù)和處理。

?4. 數(shù)據(jù)質(zhì)量校驗(yàn)?

數(shù)據(jù)質(zhì)量校驗(yàn)包括對(duì)當(dāng)前發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行校驗(yàn)和處理，推動(dòng)數(shù)據(jù)治理工作開(kāi)展和持續(xù)優(yōu)化。

?5. 數(shù)據(jù)應(yīng)用支撐?

數(shù)據(jù)應(yīng)用支撐包括為當(dāng)前的數(shù)據(jù)應(yīng)用開(kāi)發(fā)提供支撐開(kāi)發(fā)平臺(tái)。

04

第四步：數(shù)據(jù)應(yīng)用的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)

不管是使用瀑布模型還是敏捷模型，數(shù)據(jù)應(yīng)用的設(shè)計(jì)大體上都可以遵循傳統(tǒng)信息化應(yīng)用設(shè)計(jì)的過(guò)程和理念。數(shù)據(jù)應(yīng)用中的數(shù)據(jù)開(kāi)發(fā)一般在數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)中完成。數(shù)據(jù)應(yīng)用的內(nèi)容展示可以采用BI分析工具展現(xiàn)，例如可視化大屏或者定制化開(kāi)發(fā)應(yīng)用。數(shù)據(jù)應(yīng)用還可以通過(guò)API接口服務(wù)提供數(shù)據(jù)成果，讓其他外部應(yīng)用按需調(diào)用。數(shù)據(jù)應(yīng)用的開(kāi)發(fā)與傳統(tǒng)信息化應(yīng)用的開(kāi)發(fā)有以下不同之處。

?1. 數(shù)據(jù)應(yīng)用關(guān)注數(shù)據(jù)源的內(nèi)容和質(zhì)量?

我們?cè)跀?shù)據(jù)應(yīng)用實(shí)施前應(yīng)該充分了解企業(yè)當(dāng)前的數(shù)據(jù)源情況，包括數(shù)據(jù)種類(lèi)、每種數(shù)據(jù)的具體屬性、數(shù)據(jù)內(nèi)容的質(zhì)量等問(wèn)題。大部分落地失敗的數(shù)據(jù)應(yīng)用，都是由數(shù)據(jù)源的各種問(wèn)題引起的，比如數(shù)據(jù)缺失或者數(shù)據(jù)質(zhì)量問(wèn)題。

?2. 復(fù)雜的數(shù)據(jù)開(kāi)發(fā)需要不斷調(diào)優(yōu)和迭代?

隨著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等算法的引入，數(shù)據(jù)模型的構(gòu)建手段越來(lái)越豐富。但是在通常情況下，最終業(yè)務(wù)價(jià)值的產(chǎn)生是一個(gè)復(fù)雜的過(guò)程，不僅需要數(shù)據(jù)的支撐，還需要管理的配合。

?3. 數(shù)據(jù)應(yīng)用的結(jié)果數(shù)據(jù)的驗(yàn)證工作量占比高?

論證數(shù)據(jù)結(jié)果的正確與否或者評(píng)估數(shù)據(jù)應(yīng)用的效果，是一項(xiàng)費(fèi)時(shí)、費(fèi)力的工作。即使相對(duì)簡(jiǎn)單的指標(biāo)計(jì)算，最后也經(jīng)常會(huì)占用全部過(guò)程中1/3以上的時(shí)間進(jìn)行正確性驗(yàn)證。甚至很多算法類(lèi)項(xiàng)目，需要提前構(gòu)建成果評(píng)估模型，并首先獲得甲方企業(yè)的認(rèn)可，然后才能開(kāi)始進(jìn)行數(shù)據(jù)開(kāi)發(fā)。

?4. 數(shù)據(jù)應(yīng)用的運(yùn)維難度大?

因?yàn)閿?shù)據(jù)中的各種異常情況往往是不可知或者意想不到的，所以數(shù)據(jù)運(yùn)維需要有強(qiáng)大的人工保障，以保持任務(wù)的運(yùn)轉(zhuǎn)。

?5. 數(shù)據(jù)應(yīng)用的成果需要運(yùn)營(yíng)?

數(shù)據(jù)應(yīng)用的開(kāi)發(fā)完成只是數(shù)據(jù)發(fā)揮價(jià)值的第一步，如何讓業(yè)務(wù)部門(mén)理解模型、用好數(shù)據(jù)才是后續(xù)的關(guān)鍵。尤其是在剛剛引入新的數(shù)據(jù)，且尚未顯現(xiàn)業(yè)務(wù)價(jià)值的時(shí)候，企業(yè)更需要對(duì)數(shù)據(jù)進(jìn)行深入運(yùn)營(yíng)。

05

第五步：數(shù)據(jù)化組織規(guī)劃

企業(yè)數(shù)據(jù)化應(yīng)該是在未來(lái)一個(gè)時(shí)期內(nèi)具有企業(yè)戰(zhàn)略高度的事情，數(shù)據(jù)化需要一個(gè)具有同等戰(zhàn)略高度的組織負(fù)責(zé)推進(jìn)。無(wú)論是從傳統(tǒng)的IT部門(mén)轉(zhuǎn)型還是由戰(zhàn)略部門(mén)或者類(lèi)似部門(mén)介入都是很好的選擇。組織是保障數(shù)據(jù)中臺(tái)順利落地的一個(gè)核心，也是推動(dòng)企業(yè)數(shù)據(jù)化進(jìn)程的人員抓手。

? 更多干貨請(qǐng)見(jiàn)??

《數(shù)據(jù)中臺(tái)架構(gòu)：企業(yè)數(shù)據(jù)化最佳實(shí)踐》

張旭 戴麗 訚賽華 等 著?

• 中生代技術(shù)社區(qū)推薦IT圖書(shū)系列，當(dāng)當(dāng)上一網(wǎng)打盡，社區(qū)特別優(yōu)惠碼?K3FT5X

（掃碼了解本書(shū)詳情）

• 中生代技術(shù)社區(qū)聯(lián)合博文視點(diǎn)，為社區(qū)小伙伴提供贈(zèng)書(shū)福利；獲獎(jiǎng)規(guī)則：本文末留言點(diǎn)在看，轉(zhuǎn)發(fā)本文到朋友圈（技術(shù)人必備三連），獲得點(diǎn)贊數(shù)前3名各獲得圖書(shū)一本

《數(shù)據(jù)中臺(tái)架構(gòu)》主要作者張旭老師，日前在博文視點(diǎn)學(xué)院開(kāi)展了一場(chǎng)關(guān)于【數(shù)據(jù)中臺(tái)架構(gòu)】的直播分享，限時(shí)免費(fèi)回看！

大家趕快識(shí)別下方二維碼，結(jié)合視頻分享來(lái)加速吸收本文的知識(shí)點(diǎn)吧！

▲掃碼收看回放▲

??熱文推薦??

• 中臺(tái)設(shè)計(jì)和實(shí)踐：海量并發(fā)業(yè)務(wù)中臺(tái)，新業(yè)務(wù)秒級(jí)接入交易中臺(tái)

• 大數(shù)據(jù)中臺(tái)之Kafka，到底好在哪里？

• 大中臺(tái)模式下如何構(gòu)建復(fù)雜業(yè)務(wù)核心狀態(tài)機(jī)組件

• 漫畫(huà)：學(xué)習(xí)中臺(tái)，看這篇就夠了
  
  

想要加入中生代架構(gòu)群的小伙伴，請(qǐng)?zhí)砑尤汉匣锶?strong>大白的微信

申請(qǐng)備注（姓名+公司+技術(shù)方向）才能通過(guò)哦！

? ?END ? ?? #接力技術(shù)，鏈接價(jià)值#

技術(shù)人素質(zhì)三連，「在看、評(píng)論加轉(zhuǎn)發(fā)」

總結(jié)

以上是生活随笔為你收集整理的数据中台建设五步法（文末赠书）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。