昨天有網(wǎng)友問我：

大型傳統(tǒng)企業(yè)如何在公司級數(shù)據(jù)整合、數(shù)據(jù)治理、數(shù)據(jù)運營中把握好業(yè)務(wù)和數(shù)據(jù)的關(guān)系，逐步實現(xiàn)智能化轉(zhuǎn)型？

?

背景：

大型傳統(tǒng)企業(yè)，通常都面臨業(yè)務(wù)系統(tǒng)數(shù)據(jù)孤島、各板塊專業(yè)化程度高、多流程銜接交叉、數(shù)據(jù)不統(tǒng)一不完整不開放等問題。在搭建好物理層面hadoop數(shù)據(jù)平臺的基礎(chǔ)上，如何以業(yè)務(wù)流程為導(dǎo)向梳理數(shù)據(jù)走向，達(dá)成數(shù)據(jù)價值轉(zhuǎn)化輸出？

Gartner一項統(tǒng)計結(jié)果表明：到2019年，由于面對技能和整合的挑戰(zhàn)，70%以上的Hadoop應(yīng)用將陷入困境。

現(xiàn)在很多商業(yè)智能提供上都在為大數(shù)據(jù)應(yīng)用傾注各種心血，大數(shù)據(jù)應(yīng)用也變得更容易、更平滑。技能與整合會為我們帶來挑戰(zhàn)，那么挑戰(zhàn)和困難會出現(xiàn)在什么地方呢？

企業(yè)面臨的問題

問題一：業(yè)務(wù)系統(tǒng)數(shù)據(jù)孤島、各板塊專業(yè)化程度高

這是典型數(shù)據(jù)孤島問題：業(yè)務(wù)系統(tǒng)很多，系統(tǒng)之間的數(shù)據(jù)不連通，造成信息壁壘。這樣的問題要著重主數(shù)據(jù)管理，制定標(biāo)準(zhǔn)規(guī)則。

問題二：數(shù)據(jù)不統(tǒng)一不完整不開放

數(shù)據(jù)來源渠道多，責(zé)任不明確，數(shù)據(jù)填報缺失這些都是質(zhì)量差的問題。這樣的問題要著重數(shù)據(jù)治理，性能優(yōu)化上可以采取分布式數(shù)據(jù)庫。

問題三：以業(yè)務(wù)流程為導(dǎo)向梳理數(shù)據(jù)走向

這背后暗藏的現(xiàn)實可能是：

• 業(yè)務(wù)部門需求轟炸，IT部門成為一個取數(shù)機(jī)；
• 指標(biāo)零散，業(yè)務(wù)和IT都不知道分析什么；
• 報表不成體系，有些報表冗余。

這也是很多企業(yè)的共性問題。

問題四：希望達(dá)成數(shù)據(jù)價值轉(zhuǎn)化輸出

因為問題三的原因，IT疲于業(yè)務(wù)需求，應(yīng)付各種報表，數(shù)據(jù)沒有很好形式展現(xiàn)，也無法對業(yè)務(wù)決策產(chǎn)生幫助。相應(yīng)的，IT部門也無法對業(yè)務(wù)產(chǎn)生顯性價值。

要讓數(shù)據(jù)服務(wù)于業(yè)務(wù)，落地產(chǎn)生價值，具體該怎么做？

基于hadoop數(shù)據(jù)平臺，先拋架構(gòu)！

?

《10分鐘零基礎(chǔ)就可搞懂的Hadoop架構(gòu)原理，阿里架構(gòu)師詳解》，昨天的這篇文章已經(jīng)把hadoop的架構(gòu)講的非常詳細(xì)了，各位如果有不懂的再回頭去看，也可以私聊我。

第一步：構(gòu)建一個完善的數(shù)據(jù)環(huán)境

1.主數(shù)據(jù)管理

?

（1）定標(biāo)準(zhǔn)

所需標(biāo)準(zhǔn)有編碼規(guī)則，命名原則、劃分原則、共享原則。

• 標(biāo)準(zhǔn)規(guī)劃：根據(jù)企業(yè)實際情況確定實施范圍，并根據(jù)優(yōu)先級和難易度制定計劃。可以通過調(diào)查問卷、現(xiàn)場訪談、收集文檔等手段進(jìn)行調(diào)研標(biāo)準(zhǔn)的內(nèi)容：數(shù)據(jù)分布、數(shù)據(jù)流向、服務(wù)規(guī)則等，形成調(diào)研報告。
• 標(biāo)準(zhǔn)設(shè)計：在方法論的指導(dǎo)下，完成數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計和定義工作，如數(shù)據(jù)業(yè)務(wù)描述定義、類型長度定義、其他信息定義。
• 實施映射：將已定義的數(shù)據(jù)標(biāo)準(zhǔn)與業(yè)務(wù)系統(tǒng)、業(yè)務(wù)應(yīng)用進(jìn)行映射，注明兩者的關(guān)系及影響的應(yīng)用。
• 標(biāo)準(zhǔn)執(zhí)行：借助專業(yè)的工具實現(xiàn)標(biāo)準(zhǔn)落地檢查。
• 維護(hù)增強(qiáng)：隨著業(yè)務(wù)發(fā)展，數(shù)據(jù)標(biāo)準(zhǔn)需要不斷的修訂和完善，并有效的持續(xù)維護(hù)改進(jìn)。

（2）搭平臺

將各業(yè)務(wù)中可能流通共享的主數(shù)據(jù)的名稱和標(biāo)準(zhǔn)統(tǒng)一起來。

（3）控制關(guān)鍵環(huán)節(jié)流轉(zhuǎn)

包括主數(shù)據(jù)管理的關(guān)鍵環(huán)節(jié)、合理排布關(guān)鍵環(huán)節(jié)處理順序、安排責(zé)任崗位或部門對應(yīng)關(guān)鍵環(huán)節(jié)。

2.數(shù)據(jù)質(zhì)量

?

第二步：開展業(yè)務(wù)分析

1.指標(biāo)梳理

?

分析什么數(shù)據(jù)，如何反饋給業(yè)務(wù)，這些都已轉(zhuǎn)化成指標(biāo)來解決

指標(biāo)梳理需要和業(yè)務(wù)部門一同進(jìn)行。可以通過訪談和調(diào)研梳理各業(yè)務(wù)層級關(guān)注的指標(biāo)，從基層到高層。也可以將企業(yè)已有的SCOR、計分卡等績效體系或者已有的業(yè)務(wù)分析體系，轉(zhuǎn)化成可說明情況的指標(biāo)。

2.建立全指標(biāo)體系

指標(biāo)梳理清楚后，從每一條業(yè)務(wù)線出發(fā)。這塊業(yè)務(wù)對企業(yè)目標(biāo)負(fù)責(zé)的關(guān)鍵成果是什么（KPA）——每一個KPA又可以用什么維度來衡量（KRA）——最后落實到基層的關(guān)鍵行動指標(biāo)是什么（KPI）

最后所有業(yè)務(wù)匯總，形成一個全指標(biāo)體系。

?

3.梳理報表體系

梳理完指標(biāo)體系后，大致也就知道每個業(yè)務(wù)部門需要分析什么數(shù)據(jù)了。數(shù)據(jù)通常以報表的形式呈現(xiàn)，報表就都相當(dāng)與數(shù)據(jù)落地的產(chǎn)品，有主題有規(guī)劃的分析。

?

基礎(chǔ)查詢類報表：來自于基層業(yè)務(wù)和日常工作，功能作用于某一項具體的工作，比如銷售業(yè)績查詢、商品庫存查詢、在途庫存查詢、采購訂單查詢等。用戶在工作需要時，會通過查詢此類報表，來得到自己想要的數(shù)據(jù)，以支撐自己的工作。

經(jīng)營報表：用于日常管理，其功能不單作用于某項具體的工作，而是覆蓋相關(guān)部門或某部門管理的一個工作模塊。例如店長業(yè)績管理看板、庫存管理、異常店鋪管理等。這類報表基于日常管理工作，通過查看這類報表來監(jiān)控所負(fù)責(zé)業(yè)務(wù)的當(dāng)前狀態(tài)，發(fā)現(xiàn)問題，這類報表就屬于決策輔助了。（如下方財務(wù)部門的數(shù)據(jù)監(jiān)控）

finereport做的報表

戰(zhàn)略報表：這個就用于高層集團(tuán)事物的管理，比如boss們關(guān)注的每日盈利狀況，項目進(jìn)度監(jiān)控等等。這類報表通常以駕駛艙的形式展現(xiàn)，用于企業(yè)全局監(jiān)控。

finereport做的報表

我在文章的開頭就說過，現(xiàn)在很多公司的報表不成體系，就像一個個數(shù)據(jù)孤島，非常兀余，

在此我推薦給大家一個我曾經(jīng)主導(dǎo)項目所用的軟件，就是因為該項目的成功實施，幫助我順利升職轉(zhuǎn)戰(zhàn)管理崗位，然后才有了一系列的跳槽，好不好用我說了不算，我只是站在一個普通用戶的角度來幫助同行的你們。大家請往下看。

4.建立分析體系

到這里就是數(shù)據(jù)分析的范疇了，不同于日常管理經(jīng)營類報表單方面的展現(xiàn)，這里更注重某一塊業(yè)務(wù)問題，通過分析數(shù)據(jù)比如來縮減供應(yīng)鏈成本、通過分析市場環(huán)境制定市場策略等。通常在傳統(tǒng)企業(yè)的應(yīng)用有智能制造、大數(shù)據(jù)營銷、供應(yīng)鏈優(yōu)化、市場活動ROI分析、新零售業(yè)務(wù)提升、用戶畫像和客戶標(biāo)簽等等。

這需要數(shù)據(jù)部門主動找活干，去為業(yè)務(wù)創(chuàng)造價值，因此更具針對性和主動性。

?

如何快速制作讓領(lǐng)導(dǎo)滿意的報表

1、用什么工具來做？

這可能是大家最關(guān)心的。做報表，可能涉及到和業(yè)務(wù)系統(tǒng)的打通，需求多，而且Excel收集數(shù)據(jù)以及制作報表基本都是全手工，工作量大且容易出錯，遇到大數(shù)據(jù)量的時候會卡死，而且要做精美的可視化離不開數(shù)據(jù)的整理，遂放棄。其實資源有限的情況下可以用專業(yè)的報表工具，這里我用的是FineReport。

FineReport是一款企業(yè)級的web報表產(chǎn)品，能做數(shù)據(jù)錄入、查詢和展示。做復(fù)雜的格子類報表親測秒殺Excel，關(guān)鍵是做可視化的dashboard很有一套。傳統(tǒng)的格子類報表，常常以表格的形式展現(xiàn)，它能突出數(shù)據(jù)本身，但并不利于直觀的看出數(shù)據(jù)之間的關(guān)系/趨勢等。FineReport除了能實現(xiàn)復(fù)雜的表格樣式外，還具備極其豐富的圖表，能夠滿足多樣的數(shù)據(jù)可視化場景訴求。

其數(shù)據(jù)可視化分為三個大類：統(tǒng)計圖表、專注大屏的動效圖表還有一些自定義的可視化插件。

（1）統(tǒng)計圖表

FineReport提供數(shù)十類100多種統(tǒng)計圖表，每類又包含多種風(fēng)格樣式。

?

每種圖表的實際示例，我從官方演示系統(tǒng)截圖下來的，乍一看很像Echarts圖表庫。

?

（2）可視化大屏類動效圖表

就是上文很炫的可視化大屏。它里面有專為大屏數(shù)據(jù)可視化開發(fā)的一些動效圖表。

?

?

做成的大屏就是像下面這樣的。

?

（3）插件

除了官方產(chǎn)品自帶的圖表外，還有眾多擴(kuò)展圖表插件。擴(kuò)展圖表插件是基于webgl等技術(shù)開發(fā)，通過簡單拖拽即可實現(xiàn)自動播放、3D動畫特效等多種效果，比如3D地球、3D卡片動畫等。且可以根據(jù)圖表類型和數(shù)據(jù)提供“自動輪播”和“定時刷新”，滿足用戶不同場景下的業(yè)務(wù)需求，在體現(xiàn)數(shù)據(jù)價值的同時讓大屏炫酷起來。

?

2、可視化報表如何平衡實用及美感，避免花里胡哨？

酷炫而無物是做可視化要避免的，不能一味的追求可視化而忘記數(shù)據(jù)想要傳達(dá)的業(yè)務(wù)含義。所以，可視化的前提在于你要展示哪些數(shù)據(jù)和指標(biāo)。

站在分析的角度來布局。假設(shè)你要做一張可視化報表，報表一定有明確的主題，比如項目經(jīng)營分析。有了明確的主題一定有幾個與之核心相關(guān)的指標(biāo)，比如項目銷售額、項目回款額、項目進(jìn)展進(jìn)度等等。然后指標(biāo)可以再多維度拆解。

比如從時間的維度。每個月項目銷售情況如何，在建項目的進(jìn)展如何？

從地理維度。各大區(qū)域項目情況如何？可以做個排名情況。

從計劃維度。和年初定的計劃相比，差了多少？

做好以上工作再去考慮每一塊展示用什么圖表和表格，怎么布局搭配，可以借鑒以下的思路。

?

另外一個點，領(lǐng)導(dǎo)所要看的報表其實和基礎(chǔ)報表不一樣，管理層的報表更多是想從數(shù)據(jù)的展示中分析出一些對業(yè)務(wù)有幫助的信息，更加注重數(shù)據(jù)分析和糾查甄錯。也就是帶著數(shù)據(jù)分析的思路去制作可視化報表。除了指標(biāo)排布是哪個需要著重考量，報表也要給與一些分析屬性。

比如一張報表只能展現(xiàn)全國的項目銷售額、項目回款額、項目進(jìn)展進(jìn)度，但假若發(fā)現(xiàn)某個月的數(shù)據(jù)極其低迷，想要分析原因，可以通過對地域、項目產(chǎn)品等維度進(jìn)行下鉆分析，分析到底是哪個環(huán)節(jié)出了問題。

?

?

?

這一塊finereport有很強(qiáng)大分析鉆取功能。

所以，總結(jié)來講，就是

① 對展現(xiàn)什么數(shù)據(jù)指標(biāo)思路要清晰

② 可視化要圍繞分析走

③ 巧用動態(tài)報表

總結(jié)

至此，關(guān)于原問題，我覺得可以從第二步開始展開，先以當(dāng)下業(yè)務(wù)流程為導(dǎo)向，梳理指標(biāo)體系，進(jìn)而梳理報表體系。

工具上，需要一個具有開放性的報表/BI系統(tǒng)來支撐，需要滿足的需求：

① 要能連接各系統(tǒng)數(shù)據(jù)，打通數(shù)據(jù)壁壘

② 能支撐底層的hadoop大數(shù)據(jù)平臺架構(gòu)，具有良好的數(shù)據(jù)處理性能

③ 前端可視化美觀，做報表方便，具有一定分析功能。（看臉的世界，美而有用，業(yè)務(wù)才認(rèn)同）

總結(jié)

以上是生活随笔為你收集整理的基于hadoop架构的企业数字化转型，阿里数据中台实战案例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。