飞天大数据平台助力轻松筹数字化运营
輕松籌數(shù)據(jù)平臺(tái)部高級(jí)總監(jiān) 孟奇奎
本文講述了輕松籌是如何利用阿里云大數(shù)據(jù)平臺(tái)搭建低成本的數(shù)據(jù)中臺(tái),實(shí)現(xiàn)數(shù)據(jù)化運(yùn)營。數(shù)據(jù)中臺(tái)支撐了輕松籌豐富的運(yùn)營活動(dòng),通過智能化的手段,為用戶和企業(yè)創(chuàng)造了價(jià)值。
輕松籌是一家聚焦于事前保障、事后救助的健康管理平臺(tái),數(shù)據(jù)驅(qū)動(dòng)是輕松籌最重要的文化。輕松籌的大數(shù)據(jù)平臺(tái)是基于經(jīng)過時(shí)間驗(yàn)證的飛天大數(shù)據(jù)組件構(gòu)建的。在輕松籌大數(shù)據(jù)平臺(tái)體系內(nèi),我們用到了MaxCompute、DataWorks、Hologres、Flink以及GDB、DataHub、PAI等各種成熟的阿里云技術(shù)組件。
MaxCompute主要解決我們大數(shù)據(jù)海量數(shù)據(jù)存儲(chǔ)和計(jì)算的需求問題,DataWorks是解決數(shù)據(jù)的調(diào)度問題,Hologres是我們實(shí)時(shí)數(shù)據(jù)倉庫的核心組件,這個(gè)組件解決實(shí)時(shí)數(shù)據(jù)采集以及交互式查詢問題。Flink是處理流數(shù)據(jù)的引擎,GDB是處理輕松籌復(fù)雜的圖數(shù)據(jù)的計(jì)算平臺(tái),DataHub是我們的數(shù)據(jù)的交互平臺(tái),PAI是用于我們深度學(xué)習(xí)和機(jī)器學(xué)習(xí)模型訓(xùn)練的平臺(tái)。
我們結(jié)合輕松籌的特點(diǎn),構(gòu)建了輕松籌的數(shù)據(jù)中臺(tái),包括我們的離線數(shù)據(jù)倉庫,實(shí)時(shí)數(shù)據(jù)倉庫,以及online和offline的AI訓(xùn)練平臺(tái)。那么在這些基礎(chǔ)平臺(tái)之上,我們構(gòu)建了一些數(shù)據(jù)應(yīng)用的工具和系統(tǒng),包括實(shí)時(shí)的或者是T+1的BI報(bào)表,數(shù)據(jù)自由的探索和分析,用戶行為采集與分析,用戶畫像平臺(tái),以及我們一些自然語言處理和推薦服務(wù)的一些在線的和離線的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)模型,以及我們成百上千的標(biāo)簽化的數(shù)據(jù)服務(wù),這些數(shù)據(jù)服務(wù)既包括T+1的,也包括實(shí)時(shí)的。在這些平臺(tái)之上的輕松籌的數(shù)據(jù)應(yīng)用,在大量的業(yè)務(wù)場(chǎng)景中支持了我們的精細(xì)化運(yùn)營。
包括我們每天基于大數(shù)據(jù)會(huì)生成我們的電銷線索,我們利用算法模型以及人工策略去優(yōu)化我們的微信推送,短信推送,提升ROI;也利用我們的推薦算法去優(yōu)化廣告流量,提升點(diǎn)擊轉(zhuǎn)化率,以及成長(zhǎng)轉(zhuǎn)化率。同時(shí)我們利用一些NLP以及推薦的算法去進(jìn)行風(fēng)險(xiǎn)控制,防范來自外部客戶的欺詐和內(nèi)部員工的欺詐。另外大數(shù)據(jù)平臺(tái)也會(huì)應(yīng)用于各種各樣的運(yùn)營決策場(chǎng)景,以及管理決策場(chǎng)景。同時(shí)在我們的平臺(tái)上面也有大量的商業(yè)分析人員進(jìn)行靈活的數(shù)據(jù)分析,去發(fā)現(xiàn)商業(yè)價(jià)值和機(jī)會(huì)。就到今天為止,我們輕松籌大數(shù)據(jù)平臺(tái)已經(jīng)深入的和各個(gè)業(yè)務(wù)場(chǎng)景進(jìn)行了結(jié)合,我們輕松籌的數(shù)據(jù)體系在輕松籌發(fā)揮越來越大的價(jià)值。
為什么選擇飛天大數(shù)據(jù)平臺(tái)?從輕松籌的實(shí)踐角度去思考,飛天大數(shù)據(jù)平臺(tái)是一種低成本的、高效率的全域數(shù)據(jù)管理基礎(chǔ)設(shè)施。以飛天平臺(tái)最核心的幾個(gè)產(chǎn)品為例,比如MaxCompute。MaxCompute是一個(gè)最具成本效益的全域的全歷史周期的數(shù)據(jù)存儲(chǔ)和運(yùn)算平臺(tái),它支持從TB級(jí)到PB級(jí)數(shù)據(jù)持續(xù)增長(zhǎng),不存在架構(gòu)上的瓶頸,支持基于海量數(shù)據(jù)復(fù)雜運(yùn)算邏輯的數(shù)據(jù)分析,而且成熟度比較高,具有良好的配套設(shè)施和兼容性。
另外Hologres支持低延時(shí)的交互式數(shù)據(jù)查詢,是實(shí)時(shí)數(shù)倉的最佳技術(shù)組件,可以與MaxCompute無縫結(jié)合,支持nearline和offline的數(shù)據(jù)組合應(yīng)用,并且可以與Flink結(jié)合,實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)抽取加載和轉(zhuǎn)換,并且可彈性擴(kuò)展。而GraphCompute是支持百億節(jié)點(diǎn)千億邊規(guī)模的超大圖存儲(chǔ),適用于關(guān)系圖數(shù)據(jù)庫的存儲(chǔ)和計(jì)算,為圖計(jì)算提供了一個(gè)低成本可擴(kuò)展的高效的計(jì)算平臺(tái),PAI是一個(gè)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的訓(xùn)練平臺(tái),提供了按需付費(fèi)、彈性擴(kuò)展的gpu,相比較于獨(dú)立gpu的服務(wù)器具有成本優(yōu)勢(shì),為復(fù)雜的模型訓(xùn)練提供了充足的算力資源。這就是我們選擇飛天平臺(tái)作為我們大數(shù)據(jù)平臺(tái)的基礎(chǔ)設(shè)施,構(gòu)建我們輕松籌的大數(shù)據(jù)體系的原因。
數(shù)據(jù)化運(yùn)營是構(gòu)建數(shù)據(jù)閉環(huán),利用數(shù)據(jù)和算力持續(xù)改進(jìn)的過程。數(shù)據(jù)化運(yùn)營不是一個(gè)靜態(tài)的過程,而是一個(gè)動(dòng)態(tài)的過程。我們通過構(gòu)建數(shù)據(jù)閉環(huán),利用數(shù)據(jù)和算力,持續(xù)改進(jìn)我們的運(yùn)營效率。在輕松籌的數(shù)據(jù)化運(yùn)營體系里面,我們的大數(shù)據(jù)平臺(tái)處于核心的位置。
一方面大數(shù)據(jù)平臺(tái)讓我們可以從所有的業(yè)務(wù)系統(tǒng)去抽取用戶數(shù)據(jù)、訂單數(shù)據(jù)、合約數(shù)據(jù)、項(xiàng)目數(shù)據(jù)、產(chǎn)品數(shù)據(jù);同時(shí)在我們的大數(shù)據(jù)平臺(tái)上面,我們所有的運(yùn)營人員可以進(jìn)行運(yùn)營活動(dòng)的創(chuàng)意分析、設(shè)計(jì)執(zhí)行以及評(píng)估,并形成我們的人工策略和算法策略。這些人工策略和算法策略,使我們可以通過各種各樣的客戶接觸渠道,進(jìn)行用戶觸達(dá)。
同時(shí)另一方面我們的大數(shù)據(jù)平臺(tái)也會(huì)采集我們所有的運(yùn)營活動(dòng)的過程數(shù)據(jù)、結(jié)果數(shù)據(jù)以及用戶反饋數(shù)據(jù),我們利用這些數(shù)據(jù)來進(jìn)行運(yùn)營活動(dòng)的評(píng)價(jià),并且對(duì)運(yùn)營活動(dòng)進(jìn)行持續(xù)的改進(jìn)和優(yōu)化,所以說我們利用大數(shù)據(jù)平臺(tái)構(gòu)建數(shù)據(jù)閉環(huán),同時(shí)也構(gòu)建運(yùn)營閉環(huán),通過運(yùn)營閉環(huán)實(shí)現(xiàn)我們數(shù)據(jù)化運(yùn)營的運(yùn)營策略的持續(xù)改進(jìn)。在這個(gè)過程中,我們實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)運(yùn)營,數(shù)據(jù)、算力和算法是最核心的三個(gè)要素。其中的算力我們主要是依賴于阿里的飛天大數(shù)據(jù)平臺(tái)解決方案。
從輕松籌的數(shù)據(jù)平臺(tái)建設(shè)角度來看,輕松籌在業(yè)務(wù)場(chǎng)景上有兩個(gè)大的場(chǎng)景,一個(gè)是數(shù)據(jù)驅(qū)動(dòng)運(yùn)營,另外一個(gè)是數(shù)據(jù)驅(qū)動(dòng)管理。我們希望把有限的人力和物力聚焦于我們數(shù)據(jù)發(fā)揮價(jià)值,而不是聚焦于底層平臺(tái)的建設(shè)和運(yùn)維。那么飛天數(shù)據(jù)平臺(tái)降低了我們輕松籌大數(shù)據(jù)平臺(tái)建設(shè)和運(yùn)維的復(fù)雜性,讓我們的人力和物力聚焦于數(shù)據(jù)驅(qū)動(dòng)價(jià)值。在任何一家企業(yè)里,所有人都認(rèn)為數(shù)據(jù)是有價(jià)值的,但是能夠讓數(shù)據(jù)發(fā)揮價(jià)值,在任何企業(yè)都不是一個(gè)簡(jiǎn)單的事情。
數(shù)據(jù)驅(qū)動(dòng)價(jià)值,從數(shù)據(jù)的角度來看,我們只是要做到下面5件事情:第一件事是基礎(chǔ)中臺(tái)能力建設(shè),第二件事是構(gòu)建數(shù)據(jù)閉環(huán),第三件事是數(shù)據(jù)產(chǎn)品和工具化,第4件事是指標(biāo)體系和數(shù)據(jù)治理,第5件事才是我們把數(shù)據(jù)聚焦于數(shù)據(jù)創(chuàng)造價(jià)值。而這里面的任何一件事情都不是簡(jiǎn)單的容易實(shí)現(xiàn)的。從數(shù)據(jù)驅(qū)動(dòng)運(yùn)營的角度來看,我們首先要把運(yùn)營目標(biāo)數(shù)據(jù)化,其次運(yùn)營過程數(shù)據(jù)化,然后我們需要把運(yùn)營數(shù)據(jù)形成閉環(huán),運(yùn)營策略數(shù)據(jù)化以及運(yùn)營的智能化。從數(shù)據(jù)驅(qū)動(dòng)管理的角度來看,我們需要把管理目標(biāo)指標(biāo)化,管理目標(biāo)的跟蹤和預(yù)警,實(shí)現(xiàn)數(shù)據(jù)支持管理決策,數(shù)據(jù)支持問題的快速定位和解決,數(shù)據(jù)支持機(jī)會(huì)的發(fā)現(xiàn)。所以說整個(gè)聚焦于數(shù)據(jù)驅(qū)動(dòng)價(jià)值這個(gè)場(chǎng)景和目標(biāo)來說,我們有大量的工作要做,那么我們希望把一些基礎(chǔ)平臺(tái)基礎(chǔ)能力的建設(shè)和運(yùn)維的工作讓阿里云來承擔(dān),而輕松籌主要聚焦于我們的數(shù)據(jù)應(yīng)用,數(shù)據(jù)的價(jià)值創(chuàng)造。
通過智能化手段為用戶和企業(yè)創(chuàng)造價(jià)值,這是任何數(shù)據(jù)平臺(tái)或者任何注重?cái)?shù)據(jù)的企業(yè)發(fā)展的必然結(jié)果。數(shù)據(jù)平臺(tái)的建設(shè),我們會(huì)積累大量的運(yùn)營案例,我們會(huì)記錄千百萬用戶的選擇,這些所有的選擇都隱藏在數(shù)據(jù)中,挖掘這些數(shù)據(jù)的價(jià)值,即對(duì)企業(yè)有價(jià)值,又對(duì)用戶有價(jià)值。
我們整個(gè)數(shù)據(jù)平臺(tái)體系的建設(shè)分為三個(gè)階段:
第一個(gè)階段是數(shù)據(jù)的原始積累階段,我們盡可能詳盡的全面的收集數(shù)據(jù)并保存歷史。這段時(shí)間我們對(duì)數(shù)據(jù)的存儲(chǔ)有比較大的需求。
第二個(gè)階段是我們?nèi)斯げ呗栽囼?yàn)階段,反復(fù)的定義策略,細(xì)分客戶并付諸執(zhí)行,觀察效果持續(xù)改進(jìn),同時(shí)積累數(shù)據(jù)。這個(gè)階段我們對(duì)平臺(tái)的計(jì)算能力有很高的要求。
第三階段是我們通過機(jī)器學(xué)習(xí)深度學(xué)習(xí)算法,挖掘數(shù)據(jù)中蘊(yùn)含的經(jīng)驗(yàn)和知識(shí),這些知識(shí)有可能來自于運(yùn)營人員,也可能來自于用戶,我們最終是要實(shí)現(xiàn)如下的目標(biāo):在合適的時(shí)間把合適的產(chǎn)品推薦給合適的用戶。在這個(gè)階段我們對(duì)我們的復(fù)雜的計(jì)算能力有很高的要求,這個(gè)時(shí)候PAI會(huì)進(jìn)入我們的視野。
今天在輕松籌的大數(shù)據(jù)中臺(tái)上支撐了豐富的運(yùn)營活動(dòng),那么從全公司來看,我們?nèi)緩母吖艿綀?zhí)行層,經(jīng)一半的員工每天都會(huì)通過數(shù)據(jù)中臺(tái)提供的看板了解公司的運(yùn)營狀況,每天在平臺(tái)上會(huì)計(jì)算1000+的各類標(biāo)簽,提供毫秒級(jí)的標(biāo)簽服務(wù),以及基于標(biāo)簽組合的選人服務(wù)。每日有千萬+的基于算法評(píng)分或者人工細(xì)分的客戶精準(zhǔn)推送,每天會(huì)生成近百萬的電銷線索,每日有千萬+的人群定向或者算法推薦支持我們的投放,我們要求的響應(yīng)時(shí)間都是小于50毫秒,每日通過AI審核1000+的大病籌款項(xiàng)目,包括數(shù)千+的文本資料和數(shù)萬+的圖片資料,防范我們的客戶欺詐。每日有50多位我們的高級(jí)分析用戶,通過各種工具執(zhí)行數(shù)千次的數(shù)據(jù)探索與分析。我們有數(shù)億節(jié)點(diǎn),幾十億條邊的關(guān)系數(shù)據(jù)運(yùn)行在阿里云的圖數(shù)據(jù)庫上,支持風(fēng)控和運(yùn)營,每日在大數(shù)據(jù)平臺(tái)上運(yùn)行有6000+的作業(yè)。另外我們利用阿里的gpu資源訓(xùn)練幾十個(gè)機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型,優(yōu)化推送、成單轉(zhuǎn)化、信息流推薦等場(chǎng)景的轉(zhuǎn)化率。
謝謝大家!
更多大數(shù)據(jù)客戶實(shí)戰(zhàn)案例:
https://developer.aliyun.com/article/772449
原文鏈接:https://developer.aliyun.com/article/777598?
版權(quán)聲明:本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn),版權(quán)歸原作者所有,阿里云開發(fā)者社區(qū)不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,填寫侵權(quán)投訴表單進(jìn)行舉報(bào),一經(jīng)查實(shí),本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的飞天大数据平台助力轻松筹数字化运营的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 云湖共生,下一代数据湖来了?
- 下一篇: 玩吧高速增长的数据上云实践