傳統(tǒng)來(lái)講，銀行定制一張報(bào)表，分析某個(gè)業(yè)務(wù)數(shù)據(jù)，主要通過(guò)業(yè)務(wù)部門提出需求，科技部門編寫程序來(lái)實(shí)現(xiàn)。從提出需求到科技部最終開發(fā)完報(bào)表，中間存在反復(fù)的口徑溝通、試驗(yàn)取數(shù)的過(guò)程。一張報(bào)表，從考慮排期問(wèn)題，提出需求，到最終完成快則一兩周，慢則幾個(gè)月。

?

傳統(tǒng)數(shù)據(jù)分析平臺(tái)遇到的問(wèn)題如下：

• 數(shù)據(jù)分析流程冗長(zhǎng)。業(yè)務(wù)人員對(duì)任何已有報(bào)表的調(diào)整需求，都要嚴(yán)重依賴IT人員重新開發(fā)并發(fā)布，流程復(fù)雜，效率低下。
• 報(bào)表查詢變慢。隨著數(shù)據(jù)量增加，已有的業(yè)務(wù)報(bào)表查詢時(shí)間越來(lái)越長(zhǎng)，單個(gè)報(bào)表查詢長(zhǎng)達(dá)數(shù)分鐘。
• 非結(jié)構(gòu)化數(shù)據(jù)分析難。對(duì)系統(tǒng)日志等非結(jié)構(gòu)化數(shù)據(jù)的分析需求難以實(shí)現(xiàn)，無(wú)法快速滿足新興業(yè)務(wù)場(chǎng)景。
• 原平臺(tái)擴(kuò)展性差。原有數(shù)據(jù)倉(cāng)庫(kù)的性能遇到嚴(yán)重瓶頸，可擴(kuò)展性極低，受制于國(guó)外廠商，成本高昂。
• 嚴(yán)重依賴IT。大量IT資源被浪費(fèi)在重復(fù)性的工作中，無(wú)法釋放出來(lái)使能新技術(shù)、新平臺(tái)以支撐快速發(fā)展的新業(yè)務(wù)。

國(guó)內(nèi)某頂尖銀行也曾遇到過(guò)這個(gè)問(wèn)題，那他們是怎么解決的？

• 把明細(xì)寬表他們可理解的數(shù)據(jù)，給到業(yè)務(wù)部門，交由業(yè)務(wù)人員自助探索分析。
• 基礎(chǔ)查詢類報(bào)表：來(lái)自于基層業(yè)務(wù)和日常工作，功能作用于某一項(xiàng)具體的工作，比如銷售業(yè)績(jī)查詢、商品庫(kù)存查詢、在途庫(kù)存查詢、采購(gòu)訂單查詢等，形成固定類目的查詢報(bào)表，用戶在工作需要時(shí)，會(huì)通過(guò)查詢此類報(bào)表，來(lái)得到自己想要的數(shù)據(jù)，以支撐自己的工作。

基于以上原因，搭建一套大數(shù)據(jù)分析平臺(tái)，支持快速靈活、交互式、探索性的數(shù)據(jù)查詢和分析，讓業(yè)務(wù)人員使用簡(jiǎn)單拖拉拽操作就能夠完成日常的數(shù)據(jù)分析工作，才是解決問(wèn)題的根本。

在搭建數(shù)據(jù)自助查詢平臺(tái)時(shí)，涉及技術(shù)架構(gòu)、數(shù)據(jù)模型和BI工具選型三方面，在這里以國(guó)內(nèi)某頂尖銀行的大數(shù)據(jù)平臺(tái)為例，和大家講一講。

?

1.技術(shù)架構(gòu)：

是三方面中相對(duì)比較容易的，并不是說(shuō)架構(gòu)這個(gè)東西簡(jiǎn)單，而是因?yàn)橐阅壳笆忻嫔系募夹g(shù)實(shí)現(xiàn)起來(lái)不難。不知題主目前是否有較為完善的數(shù)據(jù)倉(cāng)庫(kù)？如果沒(méi)有，則需要搭建一個(gè)收集業(yè)務(wù)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行加工的環(huán)境，用Hadoop就可以了。

對(duì)于大體量?jī)?nèi)外部數(shù)據(jù)的高度自由的實(shí)時(shí)查詢，需要有可靠的底層數(shù)據(jù)處理平臺(tái)的支撐。從經(jīng)濟(jì)成本和未來(lái)數(shù)據(jù)的非線性增長(zhǎng)趨勢(shì)的角度分析。設(shè)計(jì)的架構(gòu)時(shí)，傳統(tǒng)的交易系統(tǒng)運(yùn)用關(guān)系型數(shù)據(jù)庫(kù)處理OLTP事務(wù)操作，產(chǎn)生的交易數(shù)據(jù)通過(guò)異構(gòu)數(shù)據(jù)的批量復(fù)制方式或消息隊(duì)列的準(zhǔn)實(shí)時(shí)方式更新至Hadoop平臺(tái)，Hadoop平臺(tái)可以進(jìn)行大體量數(shù)據(jù)的分析和挖掘，并提供基于大數(shù)據(jù)的應(yīng)用系統(tǒng)實(shí)時(shí)檢索的模式。有了數(shù)據(jù)倉(cāng)庫(kù)之后，數(shù)據(jù)就可以按照數(shù)據(jù)模型進(jìn)行加工。

?

2.數(shù)據(jù)模型

是三方面中最難的部分。原因是數(shù)據(jù)模型牽涉面最廣，涉及到業(yè)務(wù)結(jié)構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)化、指標(biāo)定義等多方面，而每一方面又很難有客觀的標(biāo)準(zhǔn)，隨著時(shí)間的變化都會(huì)不斷變化，可以說(shuō)，數(shù)據(jù)模型的好壞直接決定了這個(gè)項(xiàng)目的成功與否。

?

持續(xù)整合核心系統(tǒng)、信用卡系統(tǒng)等幾十個(gè)業(yè)務(wù)的交易數(shù)據(jù)、賬戶數(shù)據(jù)和客戶基礎(chǔ)數(shù)據(jù)，建立數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)治理體系，開發(fā)風(fēng)險(xiǎn)數(shù)據(jù)集市、監(jiān)管報(bào)送集市等多個(gè)內(nèi)部數(shù)據(jù)集市。行外引入包括監(jiān)管部門的客戶風(fēng)險(xiǎn)預(yù)警信息、環(huán)保不達(dá)標(biāo)信息、公共媒體負(fù)面信息等19項(xiàng)外部數(shù)據(jù)源，幾千項(xiàng)外部數(shù)據(jù)字段，并運(yùn)用網(wǎng)絡(luò)爬蟲技術(shù)和命名實(shí)體識(shí)別技術(shù)，抓取公共網(wǎng)絡(luò)媒體輿情信息，形成海量的外部數(shù)據(jù)集市。

通過(guò)在大數(shù)據(jù)平臺(tái)上整合行內(nèi)與行外數(shù)據(jù)，線上與線下數(shù)據(jù)，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，有效解決了傳統(tǒng)銀行普遍面臨的“信息孤島”問(wèn)題。在數(shù)據(jù)整合的基礎(chǔ)上，利用智能化大數(shù)據(jù)分析工具進(jìn)行各類數(shù)據(jù)的統(tǒng)計(jì)、分析、查詢和建模成為可能。

數(shù)據(jù)模型應(yīng)該建的盡可能簡(jiǎn)單，特別要貼近業(yè)務(wù)結(jié)構(gòu)，具體如何建模呢？主要有三個(gè)步驟：

（1）調(diào)研業(yè)務(wù)：包括業(yè)務(wù)結(jié)構(gòu)和業(yè)務(wù)期望產(chǎn)出的指標(biāo)口徑，調(diào)研方法就是和業(yè)務(wù)人員泡在一起，從業(yè)務(wù)目標(biāo)、業(yè)務(wù)結(jié)構(gòu)、支撐業(yè)務(wù)的系統(tǒng)、到業(yè)務(wù)報(bào)表、指標(biāo)口徑都要詳細(xì)了解。其中最重要的當(dāng)屬業(yè)務(wù)結(jié)構(gòu)和指標(biāo)清單（含計(jì)算邏輯）。

（2）調(diào)研數(shù)據(jù)：根據(jù)支撐業(yè)務(wù)的系統(tǒng)清單，挨個(gè)調(diào)研每個(gè)系統(tǒng)所產(chǎn)生數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)、更新方式、數(shù)據(jù)質(zhì)量等等，如果題主有比較完善的數(shù)據(jù)倉(cāng)庫(kù)，那么這些材料都可以從數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)要到。

（3）建模：根據(jù)前兩步掌握的信息，按照業(yè)務(wù)結(jié)構(gòu)建立數(shù)據(jù)模型，這里不過(guò)多贅述。

3.BI平臺(tái)選擇

銀行業(yè)務(wù)系統(tǒng)眾多，對(duì)于數(shù)據(jù)分析平臺(tái)的維度要求就很高；數(shù)據(jù)量大，就需要大數(shù)據(jù)平臺(tái)有很強(qiáng)的敏捷性，能在幾秒之內(nèi)對(duì)海量數(shù)據(jù)做出反應(yīng)；要解決業(yè)務(wù)自助取數(shù)，自助分析，這里需要一個(gè)自助式BI平臺(tái)。

市面上的BI工具那么多，國(guó)外的powerBI，Tableau，國(guó)產(chǎn)的自助式FineBI等，我該去怎么選擇呢？

?

這幾個(gè)處理數(shù)據(jù)的能力都非常出色，Tableau功能非常強(qiáng)大，但也過(guò)于強(qiáng)大，以至于業(yè)務(wù)用戶很難上手，不是簡(jiǎn)單的拖拉操作可以駕馭的。

這里我推薦FineBI，我還特地為它做了一張圖哈哈哈哈，因?yàn)槭钦娴暮芎糜?#xff0c;上文提到的國(guó)內(nèi)某頂尖銀行也是基于FineBI去開發(fā)的，同時(shí)據(jù)我了解，國(guó)內(nèi)大多數(shù)銀行都在使用FineBI。

順便提一下，前兩個(gè)國(guó)外產(chǎn)品，就我使用的過(guò)程中出了問(wèn)題找不到任何解決辦法，只能靠自己摸索，費(fèi)時(shí)費(fèi)力，FineBI有自己的幫助文檔，絕大多數(shù)問(wèn)題都可以找到答案，甚至還有技術(shù)支持隨時(shí)待命，體驗(yàn)非常棒。

IT人員和業(yè)務(wù)人員共同定制好業(yè)務(wù)可理解的主題包（這里IT人員直接將數(shù)據(jù)按業(yè)務(wù)按主題準(zhǔn)備在FineBI的業(yè)務(wù)包中），可以將數(shù)據(jù)由業(yè)務(wù)人員自行設(shè)計(jì)報(bào)表。

通過(guò)這種方式進(jìn)行統(tǒng)計(jì)分析，在定制數(shù)據(jù)包的基礎(chǔ)上由業(yè)務(wù)人員自主查詢數(shù)據(jù)，所見即所得，在數(shù)據(jù)查詢、統(tǒng)計(jì)的過(guò)程中分析，可以大大提高工作效率。搭建這個(gè)系統(tǒng)之外，他們還做了一件事，就是在各個(gè)業(yè)務(wù)條線培養(yǎng)具有數(shù)據(jù)分析挖掘能力的人才，解決日常工作中的數(shù)據(jù)分析難題。

以客戶在銀行辦理業(yè)務(wù)的行為路徑，可以有這樣幾個(gè)主題，不同主題有對(duì)應(yīng)的場(chǎng)景及其指標(biāo)，使用FineBI即可做到精確分析。

搭建一個(gè)數(shù)據(jù)平臺(tái)可能是項(xiàng)目制的工作，在一段時(shí)間內(nèi)會(huì)完成，但是搭建數(shù)據(jù)分析體系這件事卻任重而道遠(yuǎn)。但是如果有人能在做產(chǎn)品的同時(shí)，將金融行業(yè)同類的數(shù)據(jù)應(yīng)用經(jīng)驗(yàn)也分享給你，幫助你去搭建數(shù)據(jù)分析體系，那就是真正的“良藥”了。

總結(jié)

以上是生活随笔為你收集整理的调研了32家银行，总结出了银行BI大数据平台建设的一套模式的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。