看我如何用Dataphin实现自动化建模
前言:更多關于數智化轉型、數據中臺內容可掃碼加群一起探討
阿里云數據中臺官網?https://dp.alibaba.com/index
作者:數據小海豚
?
隨著大數據趨勢的迅速增長,數據的重要性與日俱增,企業內看數據、用數據的訴求越來越強烈,其中最常見的就是各種經營報表數據:
老板早晨9點準時需要看到企業核心的經營數據,以便進行企業戰略及方向決策
業務負責人不定期進行個性化的項目籌劃,需要多維、及時效果數據以優化項目安排
運營需要和高層一致但粒度不同的經營分析數據,并進行活動策略調整
……
舉個經營報表的例子:
這個例子并不復雜,但是對于分析師或者業務開發者,實際執行的復雜度和工作量并不小,而且類似的工作每日都在重復……業務發展越快,帶來的問題就越來越多:
? 加工時間長、人工成本高,招再多的分析師也難以滿足需求
? 代碼可讀性差,數據可維護性差,類似需求需要反復、重復開發
? 代碼開發不規范,加工過程中難以避免的計算存儲浪費
? 得到的數據指標,復用性差導致重復建設,數據越來越不標準規范
這種情況下,對業務的直接影響就是:決策周期長(數據需求滿足慢),決策易出錯(數據指標口徑不一致)。
既要保證數據生產時效性——及時產出數據并滿足需求,又要支持數據多樣性——企業自下而上不同業務分析場景,最后還要保證數據準確性——任何時間、不同崗位的人都能用同樣的數據解讀經營情況,怎么才能做到呢?
企業的發展加速,離不開20世紀的文檔管理轉到21世紀的信息管理。同樣的,如果繁復的指標代碼編寫工作,也可以如計算器一般,界面可視化點選,復雜的代碼研發過程由計算器自行處理完成就好了。
而Dataphin的自動化建模功能,就可以很好實現這個能力。
1、選擇組合條件
如下圖,確定需要統計計算的值,Dataphin里稱為“原子指標”——最小的數據值統計單元,比如用戶數這樣的統計值等,然后組合如下內容:
- A. 統計計算值需要應用的分析對象,Dataphin里稱為“統計粒度”——維度或維度的組合,比如用戶星級、用戶狀態等
- B. 數據統計計算的時間周期,Dataphin里稱為“統計周期”——統計數據需要跨越的時間長度,比如最近1天、最近30天、自然周、自然月的等
- C. 數據統計的其他個性化限定條件,Dataphin里稱為“業務限定”——數據記錄的篩選過濾條件,比如生鮮業務類型、PC端、女性等
2 預覽指標
選擇完畢組合條件后,可以預覽組合出來的派生指標:
1)組合的指標,默認名取“原子指標+時間周期+業務限定”組合名,保證命名標準規范。
2)歷史已生成的組合,不再生成,保證指標建設統一,無重復
3 一鍵自動化生成
確認需要提交的指標后,一鍵【提交】,分鐘級指標生成:
1)自動匯聚至以“統計粒度為主題”的匯總邏輯表表下,保證管理標準規范;
2)代碼和調度依賴關系,系統自動生成;
3)派生指標基于匯總邏輯表,可快速雪花模型查詢使用指標、分析對象的屬性信息。
①派生指標自動匯聚至匯總邏輯表
②派生指標所在匯總表節點,代碼及調度關系自動生成
③匯總表及派生指標可查詢消費
4 復雜需求實現
上面主要是基于簡單統計指標實現,實際上,報表需求還有類似 比率型、乘積型等復合統計方式,比如“客單價=銷售額/客戶數”,這類也可以通過Dataphin的衍生原子指標實現:
1)衍生原子指標是基于原子指標的再組合;
2)基于衍生原子指標新建派生指標時,需要保證拆解到最細粒度的原子指標,有相同的分析維度、時間周期,允許維度的計算路徑不同、設置的業務限定不同。
①新建衍生原子指標
②基于衍生原子指標新建派生指標
總結
上面步驟可以看到,派生指標的計算生成,離不開原子指標、業務限定、統計粒度的協助,這其中有什么奧秘呢?
其實很簡單,用Dataphin高效創建派生指標,掌握這1張圖就夠了:
1)原子指標為核心,原子指標的來源表為中心
2)統計粒度取自來源表的關聯維度,以及關聯維度上的關聯維度
3)業務限定基于來源表為中心的雪花模型做定義
4)統計周期可任意搭配使用
?
數據中臺是企業數智化的新基建,阿里巴巴認為數據中臺是集方法論、工具、組織于一體的,“快”、“準”、“全”、“統”、“通”的智能大數據體系。目前正通過阿里云數據中臺解決方案對外輸出,包括零售、金融、互聯網、政務等領域,其中核心產品有:
- Dataphin,一站式、智能化的數據構建及管理平臺;
- Quick BI,隨時隨地 智能決策;
- Quick Audience,全方位洞察、全域營銷、智能增長;
- Quick A+, 跨多端全域應用體驗分析及洞察的一站式數據化運營平臺;
官方站點:
數據中臺官網?https://dp.alibaba.com
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的看我如何用Dataphin实现自动化建模的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 阿里云李飞飞:今年将帮1000家企业“去
- 下一篇: 可用性SLA还不懂?看完这个故事就懂了