案例背景

東吳證券股份有限公司作為全國第18家上市券商，擁有全部證券類業務牌照，在全國建立了18家分公司，134個營業部，并實現在香港和新加坡兩個重要境外資本市場的布局，穩居地級市券商首位，堅定向著頭部券商看齊。

公司在2017年建設大數據平臺后，逐漸把30多套系統的數據通過ETL抽取并存儲在平臺上，但由于這些系統由不同的供應商設計實施，且經過多年的發展，幾乎每套系統的數據結構和數據一直在持續的變更，這給我們通過平臺提供數據服務，給業務部門或其他系統帶來很多困難，主要發現有以下幾方面的問題和痛點：

第一、缺少全局數據觀

主要是數據分散、雜亂、割裂，數據質量參差不齊，數據處理環節中產生大量錯誤和質量較差的數據，數據處理不及時，導致后續數據錯誤。

第二、數據標準不統一

統一的數據標準未完全落地，導致數據模型的相關含義比較模糊，令運維和開發的相關人員難以理解，增加溝通成本，降低了效率；同時亦使得不同應用間的數據集成和數據共享相對比較困難。

第三、存在數據安全隱患

現有的技術系統難以完全匹配和滿足數據管理需求，IT系統越來越多，其復雜度也越來越高，數據架構與業務流程、應用架構之間的關系不清晰，導致存在數據安全和風險隱患。

第四、數據處理提供復雜

很多數據存儲在不同的系統中，但現在的需求需要把各系統的數據關聯后提供，但由于各系統設計差異，雖然數據已經集中到大數據平臺上，但系統間的差異提高了每次數據需求處理難度和復雜度，對人員的要求也提高了。

第五、部分數據可能丟失

很多源系統在考慮數據存儲時對某些數據并未進行歷史歸檔，導致后續在這部分歷史數據需求提出后，需求處理人員將束手無策。

第六、業務人員自助數據分析

隨著證券業務的快速發展，傳統的純依賴后臺的技術人員在很多場景已經很難滿足業務需求，有不少的業務部門和業務人員亟需根據自己的需求自助的進行數據分析。

解決方案

為解決上述問題，在公司的數字化轉型中，讓數據發揮更大的價值，公司從數據治理和數據集市兩個層面開展工作。

在數據治理方面，公司主要以數據標準、數據質量、數據安全、元數據、主數據以及生命周期的管理作為重點領域，通過有效的數據資源控制手段，在保證數據安全的情況下，對數據進行有效的管理和控制，以提升數據質量進而提升數據變現的能力，為公司的業務和管理提供多樣化、統一的數據服務調用，在公司數字化轉型的過程中扮演極其重要的角色。

數據集市以數據治理為基礎，利用數據治理工具治理過的企業數據，按照公司各種業務需求主體，建設單獨的應用數據集市，確保滿足數據的完整性、及時性、準確性和一致性要求，同時為各類系統提供數據服務。

整個數據集市的體系架構結合東吳證券數據的實際現狀，參考市場技術熱點和同業建設情況，遵循按需建設、良性演變的原則，對應未來發展需求來進行統一規劃和建設。

在建設數據集市時，公司充分利用了工具和系統，前臺業務部門和后臺數字支撐部技術人員合理分工，緊密合作。數字支撐部主要提供數據基礎平臺及工具開發支持、數據治理的落地研發、建設數據集市、利用報表工具開發固定的數據報表；業務部門在數據集市上利用BI工具在自己的數據集市基礎上進行數據分析。

整體數據架構圖

應用場景和價值

場景一：經紀數據集市

通過數據治理體系的建設，零售客戶部利用構建的經紀業務數據集市，持續為經紀業務的經營發展、客戶信息屬性以及產品設計的發展奠定夯實的基礎。經紀業務數據集市由客戶主題、產品主題、團隊主題、渠道主題進行設計，四個主題對應著券商客戶服務流程四大要素：客戶、產品、團隊、渠道。

參考客戶服務流程模型，從產品端到客戶端主要是：產品向團隊和渠道提供產品組合，團隊和渠道了解客戶需求，并推送產品給客戶；而客戶端到產品端主要是：客戶提出意見，反饋信息給團隊和渠道，最終推送到產品端，來提升產品類型和管理。

?

帆軟BI報表工具建立了渠道方面的設備數據集、用戶數據集、客戶數據集、客戶資產匯總表以及客戶出入金匯總表等，然后在報表組件中加入了數據總覽模塊、渠道引流趨勢模塊、客戶出入金趨勢模塊以及客戶交易趨勢模塊，以便運營人員可以清晰的了解渠道引流效果以及客戶開戶之后的資產和交易活躍度。

?

渠道流量數字化匯總

在團隊方面的應用，零售客戶部為了能夠更好地量化員工的線上化率，通過帆軟來制作大屏展示。以在線活躍員工為指標維度，實時監測員工在線人數以及員工類型，幫助運營人員了解員工活躍時間以及登陸員工類型的分布。

此外，區分APP和PC端，可以看到不同平臺的在線員工數。

?

CRM在線活躍員工數實時監測

?

總之，經紀數據集市是通過數據基礎平臺與運營相關體系建設，形成數據運營、員工運營、產品經理、研發標準化的數據服務協作流程，提升數據服務效率，將數據轉化成數字化運營生產力。

場景二：風險數據集市

同一客戶管理要求是證券公司信用風險管理的關注重點之一。風險管理部通過利用風險數據集市，構建了同一客戶風險監控搜索展臺。

同時，FineBI系統作為可視化展示平臺，風險數據管理團隊通過模糊搜索結合多維篩選方式幫助用戶迅速定位目標同一客戶及關聯關系。在此基礎上完成了支持同一客戶在公司的資產負債情況查詢功能；支持按資產、負情況進行排名統計查詢。通過“關鍵字”及“篩選條件”進行模糊搜索，支持多維數據查詢與展示。

風險數據集市提取所需數據。風險數據集市積累了風險信息數據，為以后更好地實現對風險計量和分析提供數據支持。

?

?

場景三：信用業務數據集市

為強化監管，推動證券公司規范開展在上海、深圳證券交易所開展的質押式報價回購交易、約定購回式證券交易及股票質押式回購交易，信用業務部門按照證監會相關指引要求，利用管理駕駛艙的報表工具，建設了信用業務數據集市，完善了機構監管綜合信息系統（CISP）相關報表事項。

原先，月報數據生成需要業務人員在不同系統間進行數據取數、核對、填報，經常會遇到工作量大、重復性多、容易出錯的數據處理情況。這種傳統報表報送的方法對工作的質量和效率帶來很大的風險隱患。

所以，我們必須引入一些新的方法，為業務人員減負，讓其在現有工作基礎上有足夠的時間去高效及時地完成工作任務。新建或改造現有系統可以解決問題，但新建或改造系統需要不少的投入。而且，這種新建和改建系統某些情況下可能是殺雞用了牛刀，最后也不一定達到最佳效果。

?

數字支撐部根據現有系統架構，結合信用業務部實際需求，調研評估后，在大數據平臺建設了信用數據集市，快速地完成了功能開發，并通過基于帆軟報表工具建設的管理駕駛艙提供給相關業務人員使用。

管理駕駛艙不但是數據展示的應用層服務，而且給業務人員的工作上帶來了極大的好處。現在，信用業務人員只需通過輕松地點擊相關的功能菜單，就能處理原先一些既復雜，又耗時的工作，還能減少人工差錯率，直接節省每月3個人天的工作量，進一步保證了監管報表的正確性、及時性和安全性。

?

?

數據治理后提供了標準的模型，便利了數據集市的建設，而數據集市的建設又為后續的標準化數據分析服務提供了很好的數據基礎，在此基礎上極大的減少了業務部門提交給后臺業務部門的數據分析報表數量，目前已經有300張左右的報表為業務部門人員自主處理。

由于數據已標準化，業務部門在數據集市基礎上所提及技術部門的需求比以往容易被技術人員理解，也在一定程度上提升了技術人員實現需求的進度和質量。

項目心得

由于業務人員和技術人員的緊密協同，合理分工，短短半年時間，公司就把核心系統的重要數據進行治理，并在此基礎上根據業務需求建設了相應的數據集市，并快速投入了生產，產生了非常好的效果。我們覺得項目的成功，主要在以下幾個方面：

1、數據治理是基礎。

經過治理的數據能提高數據集市建設進度，降低數據集市建設難度，統一不同集市的數據標準，提高數據集市的數據質量。

2、明確分工，緊密協同。

在集市建設過程中，技術部門主要做基礎工作，并對業務部門提出的問題和需求進行及時反饋，業務部門主要提出集市建設的要求，及時對發現的問題像技術部門提出。

3、好的平臺和工具。

在集市建設過程中，我們根據公司實際情況，充分利用了現有的平臺和工具。公司的數據數據治理和數據集市的建設基礎是大數據平臺，平臺提供了非常實用的數據抽取和計算工具，大容量的數據存儲。同時我們也整合了BI工具和報表工具，使數據能夠適應不同的業務需求和場景，讓數據能夠真正地用起來。

總結

以上是生活随笔為你收集整理的一招彻底破除数据孤岛！这家企业用数据集市整合了30套系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。