智多星大数据分析云平台实践
2014年10月，江蘇銀行夏平董事長確立了利用 ** 大數據 ** 實現彎道超車的發展戰略，將
** 大數據 ** 應用提升到全行發展的戰略層面。2015年上半年，江蘇銀行完成了
大數據平臺 選型和建設，選擇發布版hadoop進行底層數據存儲加工。接著，進行內外部數據整合。
三個階段的完成，意味著大數據基礎設施建設工作已完成，如果把大數據建設工作看做一顆大樹，前兩個階段完成意味著樹干和樹枝已長成，接下來的大數據應用像樹枝上的樹葉一樣，熱點頻出，精彩紛呈。業務的創新帶來大量新增的大數據分析需求，傳統的數據庫工具和報表工具遭遇瓶頸。
傳統的取數模式是業務用業務語言提出需求，科技人員和業務部門就業務語言如何轉換成科技語言進行口徑確認，之后開發報表提供業務測試，測試中常常發現報表實現和業務需求有差距，還要反復溝通，從業務提出報表需求到最終投產，快則三五天，慢則個把月，而且做出的報表，到了分支行，還會有口徑上的調整，分支行人員還要導出excel再自行加工。
傳統方式的缺點顯而易見，因此，我們希望對于業務口徑一次性的加工成主題包，將定制好的主題包以可視化的方式、業務的語言提供給業務部門，業務人員根據自己的需要拖拉拽即可自由探索數據，不僅總行人員可以探索，分支行的人員都可以自由探索，這就是江蘇銀行智多星的由來。
周期／節奏
2015年9月到12月，針對業務自助分析進行需求探討、廠商交流、測試，最終定下適合江蘇銀行當前形勢的產品finebi，并且由江蘇銀行數據團隊全權負責自助查詢、分析的項目建設推廣；
2015年12月到2016年3月，針對業務部門需求，提供出第一批主題分析包，面向計財進行試點，通過溝通、培訓等方式完成了ERP多維盈利分析主題，針對ftp、成本分攤進行多維度自助分析，得到計財部領導認同，開始進入小步快跑階段；
2016年3月到2016年6月，逐步完成了計財部理財、中收檢測、資產負債等模塊，同時針對營運部設計并完成了電話客服、在線客服、智能語義、集中作業等主題；
2016年6月到2016年底，逐步推廣總行風險部、公司部、卡部、零售部、網金部、小企業金融部等部門，總行層次業務部門認可參與度不斷提高，達到千人千創意的雛形；
2016年底至2017年4月份，針對 帆軟
進行了升級處理，改變以往純粹index模式，index+direct的方式，協同處理，優化了響應時間，提高業務滿意度。同時平臺用于輔助串串盈業務的推廣分析，并及時發現了惡意刷豆行為，降低了行內的無效損失；
2017年4月至今，將智多星逐步推廣至分行科技、計財、營運、公司部門，消除以往集中式響應的低效弊端，同時上線了計財部門微信推送及直銷銀行實時大屏監控。
客戶名稱／所屬分類
江蘇銀行／大數據技術服務
目標及任務
銀行定制一張報表分析某個業務數據的傳統模式，主要通過業務部門提出需求，科技部門編寫程序實現的。從提出需求到科技部最終開發完報表，中間存在反復的口徑溝通、試驗取數的過程。一張報表，從考慮排期問題，提出需求，到最終完成快則一兩周，慢則幾個月。
先進的數據方式主要是科技人員和業務人員共同定制好業務可理解的主題包，由業務人員自行設計報表。其先進性主要體現在平臺、工具和理念三個方面。如果通過這種方式進行統計分析，在定制數據包的基礎上由業務人員自主查詢數據，所見即所得，在數據查詢、統計的過程中分析，可以大大提高工作效率。
在推出系統之外，還需在各個業務條線培養具有數據分析挖掘能力的人才，才能發揮智多星平臺的作用，真正解決日常工作中數據分析和報送的難題。
智多星平臺的建設目標主要有以下三個方面：
1、降低數據挖掘分析的門檻
智多星平臺提供各類智能化的分析工具，并且將技術的語言翻譯成了業務語言，使得數據分析的門檻大為降低， **[ 數據分析
](http://www.fanruan.com/) **
工作可以下沉到最基層。不需要了解數據庫，甚至不需要懂太多數理統計的專業知識，只要了解業務的人員，都可以根據自己的一個關注點自定義分析和挖掘，并可以分享給其他員工。
2、實現離散式管理
傳統模式的報表開發維護和管理都集中在部分開發和管理人員身上，面對日益增長的數據分析需求，這種模式顯露出響應能力的不足和資源的瓶頸。智多星平臺打破原來總行定制固定報表，分支機構只能查詢的集中式管理模式，變為了人人都可以是報表開發員的離散式管理模式，實現千人千創意，讓數據發揮最大價值。
3、數據安全和便捷的平衡
提升數據分析便捷性的同時，數據安全問題也是銀行關注的重點。智多星平臺在權限管理中也需做到智能化。
首先，對敏感字段，如客戶名稱、地址、手機等，在定義報表的同時就可實現自動脫敏；
其次，數據權限有報表和機構兩個維度，不同分支機構的用戶，即使獲得了同一張報表的權限，也僅能查看自己機構的數據，避免了數據的任意傳播。
挑戰
1、傳統數據分析門檻高的挑戰
需要將技術語言翻譯成業務語言，降低數據分析門檻，將數據分析工作下沉到最基層。業務人員不需要了解數據庫，甚至不需要懂太多數理統計的專業知識，只要了解業務的人員都可以自定義分析。
2、分支行日常報表、分析需求響應疲累的挑戰
都可以根據自己的一個關注點自定義分析和挖掘，并可以分享給其他員工。將原來總行定制固定報表，分支機構只能查詢的集中式管理模式，變為了人人都可以是報表開發員的離散式管理模式，實現千人千創意，讓數據發揮最大價值。
3、數據安全和便捷的挑戰
在權限管理中也需要做到智能化。對敏感字段，如客戶名稱、地址、手機等，在定義報表的同時就可實現自動脫敏；同時數據權限有報表和機構兩個維度，不同分支機構的用戶，即使獲得了同一張報表的權限，也僅能查看自己機構的數據，避免了數據的任意傳播。下載報表需要申請授權、并且有水印。
實施過程
平臺架構
（一）技術先行，做好架構設計
1、大數據平臺建設：
對于大體量內外部數據的高度自由的實時查詢，需要有可靠的底層數據處理平臺的支撐。從經濟成本和未來數據的非線性增長趨勢的角度分析。我們設計的架構時，傳統的交易系統運用關系型數據庫處理OLTP事務操作，產生的交易數據通過異構數據的批量復制方式或消息隊列的準實時方式更新至Hadoop平臺，Hadoop平臺可以進行大體量數據的分析和挖掘，并提供基于大數據的應用系統實時檢索的模式。
2、數據資源整合：
持續整合核心系統、信貸管理系統、信用卡系統、個貸系統等幾十個業務的交易數據、賬戶數據和客戶基礎數據，建立數據標準和數據治理體系，開發風險數據集市、資產負債管理集市、監管報送集市等多個內部數據集市。行外引入包括監管部門的客戶風險預警信息、人行客戶征信報告數據、工商總局企業注冊信息數據、企業納稅信息、海關進出口交易數據、法院客戶涉訴信息、失信被執行人信息、環保不達標信息、欠稅信息、工商處罰信息、公民身份證信息、個人學歷學籍信息、公共媒體負面信息等19項外部數據源，幾千項外部數據字段，并運用網絡爬蟲技術和命名實體識別技術，抓取公共網絡媒體輿情信息，形成海量的外部數據集市；
通過在大數據平臺上整合行內與行外數據，線上與線下數據，結構化與非結構化數據，有效解決了傳統銀行普遍面臨的“信息孤島”問題。在數據整合的基礎上，利用智能化大數據分析工具進行各類數據的統計、分析、查詢和建模成為可能。
3、工具選型：
調研了市場上各類數據挖掘和分析工具，針對不同需求不同數據分析能力的人集成了多種工具提供使用：
數據挖掘和建模人員：提供SAS和分布式R語言工具，可以使用專業的數據分析工具進行挖據和建模；
具有數據庫操作能力的人員：提供類SQL方式的自定義快速報表開發工具，所有報表設計和菜單控件均通過瀏覽器可視化配置；
對于了解業務系統數據的業務人員：提供智能BI多維分析工具FineBI，通過拖拽方式即可實現各類復雜的統計和圖表功能；
對于普通一線員工：可以方便的查詢平臺上已設計好的各類模板，并且可以使用客戶關系圖譜、互聯網輿情分析等可視化查詢工具。
（二）分步建設，快速發揮效用
智多星平臺于2015年7月開始建設，為實現系統的快速上線，采用迭代開發模式，分沖刺階段制定開發目標和投產功能，從同年10月起開始至次年2月，快速報表、固定報表集成、多維分析、關系圖譜、互聯網語義等主要功能模塊陸續投產，在新一輪功能開發期間，同步對上一輪的功能進行培訓和推廣，在極短時間內完成應用的普及。
（三）以點帶面，逐步推廣應用
初期首先選取有需求、專業人員較充裕的分行和條線進行試點；
業務部門則選擇計劃財務部，因為其日常需要對全行經營、成本、業績等數據進行多種維度的分析和挖掘；
分行選擇蘇州、南通、北京三家基層業務分析需求較多、科技實力較強的分行進行試點。
計財部首先在智多星平臺上自主實現多維盈利分析，無錫、南通、北京三家分行分別開發了《公私理財到期明細》、《柜員客戶信息未維護日報表》、《企業網銀可拓展客戶明細》等一系列貼近一線訴求的快速報表。
在試點過程中，我們聽取用戶使用意見，不斷優化和完善系統功能，在單位取得一定成效后，開始從條線橫向覆蓋，從分行縱向延伸，逐步覆蓋全行的各個層面。
主題設計：包括各個部門實際業務包及對應指標設計，以業務看得懂的方式提供數據，并用于業務自助取數、自助多維分析。
數據脫敏：
1）針對每一張報表，業務部門在一體化平臺提出數據需求并指定一名業務數據管理員。如果需對該報表開放下載權限，需在數據需求中勾選：
□PDF下載權限：【如需分配請填寫工號，并說明原因】
□EXCEL下載權限：【如需分配請填寫工號，并說明原因】
2）數據需求經審批后，信息科技部門按照需求定制開發數據報表，將開發好的報表交付業務數據管理員，交付前報表需根據安全管理要求，對如下字段進行默認脫敏設置：
? 后段脫敏-客戶名稱
? 中段脫敏-證件號碼、地址、聯系方式電話、賬號（卡號）等
3）業務數據管理員有權向其他普通用戶下發相關數據的查詢權限，并可針對部分使用人員解除脫敏。信息科技部門默認提供脫敏后的數據，如有解除脫敏的要求，請在需求中明確要求并說明理由。
4）報表的下載權限由信息科技部門報表開發員扎口管理，由需求人員提出書面申請并由其主管審批后提交信息科技部門，開發員根據需求進行分配。
5）信息科技部門需定期梳理相關業務部門數據下載的使用狀況，控制數據泄露的風險。如轄內發生從智多星平臺中下載數據對外泄漏的問題，各級信息科技部門需承擔相應責任。
多終端推送：
為深入挖掘實時數據的價值，充分運用數據的實時性特點，我行在智多星平臺上繼續引入了FineReport，該工具可以對數據進行多維度的統計分析，并將分析結果以圖表化、可定制化的方式呈現在用戶的移動終端或大屏幕上，實時為使用者提供智慧化的決策依據，進一步體現智多星平臺的建設初衷。
智多星實時數據分析工具的數據處理模塊建立在hadoop平臺的流處理引擎之上，利用StreamSQL處理kafka上的消息隊列，實現實時統計的需求，并且支持分布式擴展。另外相對于編程方式的流處理應用，如Spark
Streaming、Storm等，StreamSQL通過類SQL語句進行流計算，具有易用性高、遷移成本低等優勢。
1）
微信推送：只需在智多星平臺上簡單配置，實時數據就可以通過手動或定時的方式以微信的方式推送至移動客戶端，為用戶提供更實時、便捷的交互方式。后續分析工具還將實現移動端移動縮放、鉆取聯動等功能。
2）數據大屏：利用智多星實時數據分析工具，用戶可以構建強大、全面的“管理駕駛艙”，簡單拖拽就可以將企業的數據管理信息完美地投放在任何屏幕，比如生產運維中心等地的LED大屏上，單塊或拼接LED屏幕，不論大小，均可以自適應。同時大屏可視化組件可實時刷新，可以及時監控、及時預警。
效果總結：
平臺上線至今，日均分析量在300左右，參與分析人員30人次。
（一）手工報表線上化，釋放生產力
在使用智多星平臺之前，總行信科部開發的固定報表針對的是全局性的統一數據查詢，分行、網點的特色化需求只能依靠線下統計，或對固定報表結果手工再篩選加工。智多星在分行推廣使用后，分行科技部運用其將大量手工統計遷移至線上，釋放了基層的生產力。
（二）業務自主分析，讓理解業務的人分析業務
業務部室通過多維分析工具，可以自由分析各類業務指標，目前有計財、營運、卡部、網金、公司等部門在使用，并自定義了總共約100張報表，內容涵蓋對標上市銀行分析、ERP多維盈利分析、重點客戶利潤分析、客服中心話務信息分析、集中作業分析、理財客戶分析、網貸客戶信息分析等。
計財部定制了幾十張ERP多維分析模型，可以從產品、網點、部門、財務管理等不同維度挖掘分析數據，如多維盈利分析，可以分析撥備前利潤超1億的產品，可以利用各類圖形形象展現某產品在各分行機構的分布情況及由哪些客戶貢獻及該客戶的明細數據等。
業務人員積極利用該平臺獲取大量有價值的信息，提升了數據需求的響應速度，減少了手工報表工作量，增加了基層網點的精細化管理。
企業介紹
江蘇銀行
江蘇銀行是在江蘇省內無錫、蘇州、南通等10家城市商業銀行基礎上，合并重組而成的現代股份制商業銀行，開創了地方法人銀行改革的新模式。江蘇銀行于2007年1月24日正式掛牌開業，是江蘇省最大的法人銀行。
江蘇銀行秉承“融創美好生活”的使命，以“融合創新、務實擔當、精益成長”企業文化為引領，致力于建設“特色化、智慧化、綜合化、國際化”的一流商業銀行，已成長為一家綜合實力和市場競爭力較強的現代股份制銀行。截至2016年末，資產總額達15983億元，各項存款總額達9074億元，各項貸款總額達6494億元。
江蘇銀行下轄13家省內分行、4家省外分行，服務網絡輻射長三角、珠三角、環渤海三大經濟圈，實現了省內縣域全覆蓋。營業網點541家，員工1.4萬人。發起設立了蘇銀金融租賃公司和丹陽保得村鎮銀行。2016年8月2日，江蘇銀行首次公開發行A股在上海證券交易所成功上市，股票代碼600919。
江蘇銀行的發展得到了社會各界的肯定，獲得江蘇省委省政府“江蘇省優秀企業”、銀監會“全國銀行業金融機構小微企業金融服務先進單位”、《金融時報》“最具競爭力中小銀行”等多項榮譽稱號。在英國《銀行家》雜志2016年度全球1000強銀行排名中，按一級資本列126位，是中國排名提升最快的銀行之一。被美國《環球金融》雜志評為中國最佳城市商業銀行。
帆軟軟件
帆軟軟件有限公司（以下簡稱帆軟）成立于2006年，帆軟軟件是中國國內商業智能和數據分析平臺提供商，沉淀數據分析領域十余年，致力于為全球企業提供一站式數據分析解決方案；同時也是行業優質交流平臺的組織者。經過10余年的發展，帆軟在數據分析行業的品牌領導力和品牌影響力上已遙遙領先。
企業客戶企業客戶總計超過6000家，增量、總量均為業內第一。用戶開發者超20萬，每天有超過100萬人使用帆軟產品。
總結
以上是生活随笔為你收集整理的智多星大数据分析云平台实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 对于自我的反省 - 对底层人民认知产
- 下一篇： 原木加工