数据驱动是一种文化
數據驅動是一種文化
大數據這件事,整體上還是說的多一些,做的稍微少一點。大數據可以是荒涼高原上波瀾壯闊的機房,也可以潤物細無聲般融入到日常生活和工作。換句話說,大數據應該是一種文化。
在個人層面,很多人對數字和計算并不敏感,通過經驗進行判斷很容易出現偏差,因為所知所感與真實世界之間有很大差別。數據驅動的首要條件是要針對業務痛點提出問題,層層深入且具備邏輯推理特性;這之后才是進一步轉化為數據問題,然后從數據角度去建立決策邏輯。如果是可視化、動態的決策過程,那肯定是有助于提高效率,這也是目前智能化的一個重要目標,更加smart。
在企業層面,建立數據驅動型決策機制是數據治理的最高境界,對傳統企業來說任重道遠,能夠發揮些許數據價值已然是最佳實踐了。數據治理的好不好,關鍵還是看用的效果如何。伴隨數據應用的發展趨勢,數據治理的目標對象也將由基礎數據逐步變成以數據挖掘為核心的大數據資產化應用。換句話說,就是以前圍繞數據倉庫或BI系統完成的治理工作,目前可以很順暢的過渡到大數據智能化項目了,包括后面要討論的敏捷BI。
企業應當建立一套完整的從數據收集、整理、報告到轉化成行業洞見和決策建議的流程,當然最重要的是這些洞見和決策建議真正能夠被企業決策者使用,也就是數據價值變現。下面這張圖的每部分都可以展開,不再贅述,可以參考《創造數據驅動型企業》。后面主要聊的是數據驅動實踐中的一些經驗,從敏捷BI角度出發,討論相關概念、工具、組織、流程等內容。不是完整系統的闡釋,而是有所挑選的呈現。
傳統BI與敏捷BI
商業智能(BI)描述了一系列的概念和方法,通過應用基于事實的支持系統來輔助商業決策的制定;商業智能技術提供使企業迅速分析數據的技術和方法,包括收集、管理和分析數據,將這些數據轉化為有用的信息,然后分發到企業各處。
傳統BI系統,通常指企業內部大而全的統一報表或分析平臺;多為固定周期性報表,開發部署流程繁瑣耗時長,主要靠科技部門出工出力。
敏捷BI,極速BI,或者說自助式BI,面向的更多是不具備IT背景的業務分析人員,相比之下更靈活且易于使用,而且一定程度上能夠擺脫對IT部門的重度依賴。數據分析工作,逐漸向“業務主導的自助分析模式”發展。敏捷BI需要提供便于交互分析的可視化界面,快速響應用戶的探索式數據分析需求,同時能夠在企業內部分享和查看分析結果。
工具層面國外以Tableau和微軟的產品最佳,國內帆軟也是代表,其對應產品系列在功能上均能夠滿足敏捷BI的開發部署。也以Desktop為例,Tableau的可視化分析更加方便,PowerBI額外支持ER關系構建,FineBI的開發性能針對各種業務情況,可謂各有千秋。對銀行、電信等傳統企業來說,Tableau更適合一些,因為基礎數據服務能力能夠支持Tableau充分發揮可視化分析的優勢。對個人來說,PowerBI很厚道的提供了功能夠用的免費版本,且更新速度很快。
BIU與DSU
BIU這個名詞是有的,DSU的概念是我自己瞎掰的。BIU是business intelligence unit, DSU是data science unit。在目前的情況下,這兩個其實是等同的,個人更傾向于數據科學團隊的建立。
商業智能是對各項技術的綜合應用,其組織架構或者能力要求都包括了業務能力和數據開發能力,而數據科學更包括對機器學習、人工智能等高階能力的配備。數據科學家的要求在于全能,高精尖,實際很多傳統企業并不需要這類人才。企業需要一支能夠快速響應業務需求的數據科學團隊,包括業務人員、數據分析人員和數據開發人員,湊在一起匹配數據科學家。
這個團隊能夠幫助數據部門從成本中心逐漸轉化為利潤中心,這不是隨便說說,大數據應用除了幫助獲得同業競爭優勢,顯然也有直接創造利潤的潛力。看看現在頂尖的Fintech公司,都開始變成Techfin了。
如何建立DSU呢?或者說構建DSU的基礎有哪些呢?我認為這個需要業務和技術兩方面的基礎條件,缺一不可。在業務關鍵流程中需要應用數據挖掘模型以提升能力,并且在主要業務條線均存在這種訴求,這就是業務上的基礎條件。在技術上需要積極且堅定不移的探索大數據分析挖掘應用,具備能夠將學術和產業界新成果轉化為實踐應用價值能力的團隊。
對傳統甲方來說,這個領域的自主可控至關重要;至少做到一點,那就是甲方人不動,乙方可以隨便更換。我們都是數據科學工程師,致力于將學術界和產業界數據挖掘、機器學習領域先進成果轉化為企業生產力。探索性的工作中樂趣還是占主導的,但創新任務多了有時候也會很頭痛,大量操心操力亞歷山大。
套路化的開發流程
之所以說是套路化,因為是直接從管理辦法里面搬出來的,稍加改動。
首先是數據準備與開發,收集敏捷BI產品開發需求的相關企業內部、外數據,確定所需數據范圍、類型及數據量;針對所需企業內部數據,執行對應數據服務、數據調用等規范流程,完成數據采集準備;針對企業外部數據采集,記錄并整理相關數據資源信息,進行集中存儲及管理;建立數據間的關聯關系,并檢驗數據質量情況;基于需求目標、數據質量及技術限制等情況,選擇敏捷BI產品開發使用的數據集合,并對數據進行清理轉換,并根據要求執行格式化等操作。
然后是分析挖掘模型孵化與開發,結合實際任務,進行數據分析模型或數據挖掘模型的孵化;對模型進行開發,并持續優化以確定模型相關數據、特征、算法及參數;協同業務需求方共同驗證模型效果,同時在整個敏捷BI產品生命周期內對模型進行跟蹤,依據情況進行調整。
最后是可視化設計與開發,選擇合適的可視化方法對內容進行封裝,包括數據架構、頁面布局以及圖表各種功能設計;確定可視化需求方案,并完成前端交互開發及后臺對應數據開發;與業務需求方溝通,跟蹤反饋情況并對可視化方案進行優化。
數據之路漫漫
數據驅動應該是一種文化,不同于堅持增長黑客理念的互聯網企業,許多傳統行業似乎缺乏對應的目標及凝聚力,加上各種各樣的原因,數據驅動文化的構建過程異常緩慢。
大數據在持續發展,君不見3v、4v已經發展到了42個V。對處于業務轉型期的企業來說,見或不見,數據就在那里;做或不做,雖然早晚都會被淘汰,但晚點可能就會鳳凰涅槃了呢。
轉載于:https://www.cnblogs.com/fr2851322971/p/6840121.html
總結
- 上一篇: 【转载】PHP 常用的header头部定
- 下一篇: PHP 用each 和list配合 达到