【Hadoop应用案例】针对运营商支付业务的渠道推荐系统
一.?所用技術:
模塊 | 技術 | 用途 |
大數(shù)據(jù)平臺 | hadoop | 記錄每日分析數(shù)據(jù),并運行MR算法分析結(jié)果 |
數(shù)據(jù)庫 | SQL Server | 存儲業(yè)務數(shù)據(jù),以及計算結(jié)果數(shù)據(jù) |
開發(fā)語言 | java | MR算法,以及數(shù)據(jù)抽取和接收服務 |
C# | 大數(shù)據(jù)后臺管理站點 | |
Shell | MR腳本定時執(zhí)行 | |
大數(shù)據(jù)分析算法 | 貝葉斯 | 數(shù)據(jù)分析 |
?
二.?背景
目前大部分支付業(yè)務,涉及到大數(shù)據(jù)分析的主要是針對C端用戶的支付行為進行分析。
而基于運營商支付的業(yè)務,會涉及到眾多的支付渠道,所有的訂單都要在眾多的支付渠道中選擇一個來進行交互。而運營商的支付渠道并不是所有的支付都能成功,會受到風控,地理位置,時間段,系統(tǒng)質(zhì)量等多方面的原因。所以如何針對眾多的支付渠道,選擇一個針對當前的訂單的渠道并進行交互,就是業(yè)務的關鍵。
所以針對支付渠道的渠道推薦系統(tǒng),比基于C端用戶的推薦系統(tǒng)更加重要。
?
三.?項目介紹
大數(shù)據(jù)平臺基于hadoop搭建,并在此基礎上做了二次開發(fā),包括統(tǒng)一接入數(shù)據(jù)接口,數(shù)據(jù)分析監(jiān)控,以及數(shù)據(jù)轉(zhuǎn)化率監(jiān)控。同時數(shù)據(jù)分析結(jié)果,通過二次開發(fā)的接口回傳。
數(shù)據(jù)分析以貝葉斯算法為基礎,在此基礎上做出加權分析,算出給維度的成功率。同時通過不斷嘗試,設定加權變動值規(guī)則,以天為單位,系統(tǒng)自動設定每天加權值,通過加權值進行新訂單的渠道推薦。
?
四.?架構介紹
大數(shù)據(jù)平臺和支付平臺的架構圖如下:
由上圖所示,大數(shù)據(jù)平臺保證了支付平臺的無縫集成。具體流程如下:
1.?每日,支付平臺在后臺數(shù)據(jù)庫中抽取增量的訂單數(shù)據(jù),推送至大數(shù)據(jù)平臺
2.?大數(shù)據(jù)平臺進行數(shù)據(jù)存儲
3.?針對前一個月的訂單數(shù)據(jù),進行貝葉斯計算分析,按照指定維度
4.?針對貝葉斯分析結(jié)果,對各維度數(shù)據(jù)進行加權計算
5.?算出各維度組合的加權分值,并將計算結(jié)果回傳至小額支付平臺
6.?小額支付平臺針對大數(shù)據(jù)分析結(jié)果進行集成,針對所有新的訂單,通過分析結(jié)果,進行訂單準確性匹配。
????????
五.?算法介紹
在該專利中,針對每條訂單的地區(qū),下單時間段,面值,風控大小屬性,分為各不同維度,同時針對每個渠道,結(jié)合訂單的成功或失敗進行分析,分析出每個渠道的,每個維度的組合對應的成功幾率,并且通過加權算法,算出每一個渠道,在每一個維度組合下,對應的加權分值。
1.?獲取全部數(shù)據(jù)后,從全部數(shù)據(jù)中針對所有渠道進行分類。
2.?分類后,在每一個渠道中,按照不同維度進行貝葉斯算法分析;針對訂單維度,包括省份,面值,時間等。
3.?計算完成后,將結(jié)果按照維度組合進行重新整理,針對每一個維度組合,將各渠道加權成功率進行排序。
4.?維度組合結(jié)果規(guī)整
業(yè)務系統(tǒng)針對大數(shù)據(jù)推薦的結(jié)果,反向轉(zhuǎn)化,分析出在各維度組合下,記錄所有渠道的成功幾率分值排序。
關于貝葉斯理論,在博客專欄之前有專門的文章介紹。
?
六.?業(yè)務集成
具體業(yè)務實現(xiàn)上,需要集成大數(shù)據(jù)的推選結(jié)果,具體的交互流程如下:
1.?支付系統(tǒng)根據(jù)省份,面值,時間段等維度推選出所有可用渠道。
2.?支付系統(tǒng)剔除達到渠道類別風控的所有渠道。
3.?取出該訂單對應的維度組合中,所有可行的渠道的成功率加權值。
4.?取出加權值最大的渠道,和該渠道進行支付的交互。
?
七.?分析結(jié)果展示
針對渠道推薦的分析結(jié)果,將每天訂單分為兩份,如下圖所示,藍色部分為根據(jù)大數(shù)據(jù)分析結(jié)果進行推薦渠道的訂單,黃色為不通過大數(shù)據(jù)分析結(jié)果進行推薦渠道的訂單。進行測試90天,每天的成功率都是通過大數(shù)據(jù)的分析結(jié)果進行推薦的高,平均高5%左右。
如果讀者感興趣,歡迎關注公眾號-智能化IT系統(tǒng),進行進一步的溝通交流。
總結(jié)
以上是生活随笔為你收集整理的【Hadoop应用案例】针对运营商支付业务的渠道推荐系统的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 远离盛行道德绑架的团队
- 下一篇: 【代码规范】常见排版规范