當(dāng)前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

东方明珠胡俊：「东方明珠数据中台」四年发展历史全解（内附彩蛋）

發(fā)布時間：2025/3/19 编程问答 34 豆豆

生活随笔收集整理的這篇文章主要介紹了东方明珠胡俊：「东方明珠数据中台」四年发展历史全解（内附彩蛋）小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

在以“矩·變”為主題的 2019 神策數(shù)據(jù)驅(qū)動大會現(xiàn)場，東方明珠新媒體資深研發(fā)總監(jiān)胡俊發(fā)表了名為《東方明珠數(shù)據(jù)中臺》的主題演講。以下內(nèi)容根據(jù)其現(xiàn)場演講整理所得，文末可免費下載完整版 PPT 及獲取三個精品彩蛋，彩蛋涵蓋東方明珠橫跨四年的數(shù)據(jù)中臺建設(shè)經(jīng)驗和技術(shù)精華。

本文將為你重點介紹：

前奏：廣電大數(shù)據(jù)背景及數(shù)字化轉(zhuǎn)型解讀
演進：東方明珠數(shù)據(jù)中臺演進全解
總結(jié)：數(shù)據(jù)中臺建設(shè)七大成功經(jīng)驗

一、前奏：廣電大數(shù)據(jù)背景及數(shù)字化轉(zhuǎn)型解讀

1.廣電大數(shù)據(jù)背景

東方明珠作為綜合文化傳媒集團，迎合新媒體轉(zhuǎn)型的浪潮，一直在積極構(gòu)建自己的“文娛+”生態(tài)圈。其作為中國最大的多渠道視頻集成與分發(fā)平臺，旗下有百視通，且是 3 大電信運營商的業(yè)務(wù)支撐中心，整個業(yè)務(wù)體系遍及全國 28 個省市，擁有國內(nèi)領(lǐng)先的多渠道視頻集成與分發(fā)平臺及豐富的文化娛樂消費資源，為用戶提供豐富多元、特色鮮明的視頻內(nèi)容服務(wù)及一流的視頻購物、文旅消費、影視劇及游戲等文娛產(chǎn)品，是上海廣播電視臺、上海文化廣播影視集團有限公司（SMG）旗下統(tǒng)一的產(chǎn)業(yè)平臺和資本平臺。

2015 年，東方明珠新媒體股份有限公司成立，這是我國第一家產(chǎn)業(yè)鏈一體化布局的傳媒文化上市公司，集團分設(shè)四大事業(yè)群，包括媒體網(wǎng)絡(luò)事業(yè)群、影視互娛事業(yè)群、視頻購物事業(yè)群、文旅消費事業(yè)群。

基于廣泛的的產(chǎn)業(yè)和業(yè)務(wù)，東方明珠目前擁有上億的用戶規(guī)模，是數(shù)據(jù)生產(chǎn)規(guī)模極大與數(shù)據(jù)活躍程度極高的領(lǐng)域，具有典型的大數(shù)據(jù)應(yīng)用潛質(zhì)。但過去也一直存在“有信息，難驗證”、“有覆蓋，難掌握”、“有流量，難變現(xiàn)”等顯著問題。為配合公司頂層戰(zhàn)略，研究院在 2016 年建立數(shù)據(jù)項目組，并啟動數(shù)據(jù)中臺建設(shè)。

2.傳統(tǒng)分析之殤

在建設(shè)數(shù)據(jù)中臺的過程中，傳統(tǒng)數(shù)據(jù)分析存在的較多弊端逐漸顯現(xiàn)，主要可概括為如下 6 個：

數(shù)據(jù)孤島仍然林立即使在若干個數(shù)據(jù)倉庫項目實施后；
基于數(shù)據(jù)倉庫的數(shù)據(jù)分析請求很難被高效響應(yīng)，比如，企業(yè)或業(yè)務(wù)方提出的需求，一般排期需等待 2-3 周；
高級的數(shù)據(jù)分析工具往往掌握在少數(shù)專業(yè)的人手中，比如基本上國有企業(yè)的業(yè)務(wù)人員不用數(shù)據(jù)分析工具，只用網(wǎng)頁報表查看數(shù)據(jù)；
數(shù)據(jù)口徑不一致，即企業(yè)的數(shù)據(jù)分布在各個系統(tǒng)，并未做好主數(shù)據(jù)與元數(shù)據(jù)的管理，如市場部門與銷售部門對銷售額的定義出現(xiàn)不一致；
主數(shù)據(jù)、元數(shù)據(jù)是永遠的痛，即企業(yè)數(shù)據(jù)質(zhì)量不高，無法支撐精細化分析；
數(shù)據(jù)離智慧運營仍隔著千山萬水。

3.數(shù)字化轉(zhuǎn)型節(jié)奏

我認為，數(shù)字化轉(zhuǎn)型可粗略分為四個節(jié)奏：

信息化與互聯(lián)網(wǎng)化的基礎(chǔ)，即企業(yè)優(yōu)先 IT 化；
數(shù)據(jù)資產(chǎn)平臺與數(shù)據(jù)倉庫的廣泛建立；
數(shù)據(jù)中臺的搭建，數(shù)據(jù)服務(wù)化；
數(shù)據(jù)支撐與數(shù)據(jù)創(chuàng)新體系。

以上也可以看作是傳統(tǒng)企業(yè)做數(shù)字化、大數(shù)據(jù)、數(shù)據(jù)中臺等的一些基礎(chǔ)節(jié)奏。

4.智慧廣電愿景

智慧廣電愿景主要分為兩部分：

第一步，公司亟需打造一個完整的大數(shù)據(jù)平臺，歸集核心業(yè)務(wù)的用戶信息和經(jīng)營數(shù)據(jù)，深挖數(shù)據(jù)價值，提供豐富的數(shù)據(jù)資產(chǎn)與數(shù)據(jù)產(chǎn)品服務(wù)，實現(xiàn)用戶精細化經(jīng)營；

第二步，基于廣電行業(yè)的共同目標(biāo)——智慧廣電，我們計劃做智能化的內(nèi)容制作、分發(fā)傳播、用戶服務(wù)、科技創(chuàng)新、生態(tài)建設(shè)、運行管理等具備廣電特色的創(chuàng)新。如下圖是東方明珠新媒體集團的業(yè)態(tài)分布，其中“用戶價值”“業(yè)務(wù)賦能”“會員體系”是舉措的關(guān)鍵所在。

5.數(shù)據(jù)中臺價值主張

我認為，數(shù)據(jù)中臺價值主張的兩個關(guān)鍵是：業(yè)務(wù)數(shù)據(jù)化+數(shù)據(jù)業(yè)務(wù)化。此外，大數(shù)據(jù)具有催生大創(chuàng)新的潛在能量亟待挖掘。

二、演進：東方明珠數(shù)據(jù)中臺演進全解

東方明珠數(shù)據(jù)中臺建設(shè)至今，走出了自主、創(chuàng)新、可控的建設(shè)之路。對大數(shù)據(jù)相關(guān)建設(shè)項目進行集中指揮、統(tǒng)籌調(diào)度、資源共享，分階段分批進行落地處理，每個階段融入一部分關(guān)鍵業(yè)務(wù)，產(chǎn)出階段性成果，再進行其他業(yè)務(wù)和平臺整合。大致經(jīng)歷了如下三個階段：

1.初探期：數(shù)據(jù)中臺?1.0

（2016.9~2017.6）

（1）痛點階段

在初探期，我們梳理了存在的 3 個主要痛點：第一，沒有統(tǒng)一門戶；第二，無法準確掌握各業(yè)務(wù)用戶增長情況；第三，對用戶群體特征缺少了解。

（2）立意階段

明確痛點后，在初探期我們設(shè)定的主要目標(biāo)是搭建“數(shù)據(jù)中臺雛形”，在這里強調(diào)一點，在初探期一定要進行數(shù)據(jù)中臺價值的快速驗證，否則效果將大幅下降，特別是在國有企業(yè)的公司立項、審批實施、結(jié)尾匯報等相關(guān)環(huán)節(jié)大概需要 6-9 個月的背景下，可用于實踐的時間非常有限。

（3）成果階段

該階段數(shù)據(jù)中臺雛形初現(xiàn)。平臺門戶上線，歸集了百視通 APP 和東方購物 APP 兩大核心業(yè)務(wù)移動客戶端的用戶基礎(chǔ)信息，并引入第三方用戶標(biāo)簽數(shù)據(jù)，形成業(yè)務(wù)線客群畫像。

最終，我在總裁會上匯報初探期的成果時，獲得了在場的 12 位高層的認可，且效果超過他們的預(yù)期。值得一提的是在這個過程中，整個建設(shè)團隊是從我 1 個人開始到結(jié)束時的 4 個人，取得該成績已經(jīng)很不錯，雖然采用的是引入第三方用戶標(biāo)簽數(shù)據(jù)的方式，但這實現(xiàn)了數(shù)據(jù)中臺價值的快速驗證，為后期的推進與建設(shè)打下了堅實基礎(chǔ)。

（4）收益

如下圖，為初探期的產(chǎn)品技術(shù)架構(gòu)：

可以看到，在初探期我們實現(xiàn)了數(shù)據(jù)中臺的雛形搭建，在這個過程中，我們?nèi)〉昧巳缦率找?#xff1a;

統(tǒng)一用戶數(shù)據(jù)門戶，幫助業(yè)務(wù)人員樹立數(shù)據(jù)門戶概念，為后期應(yīng)用打下基礎(chǔ)；
跨業(yè)務(wù)域用戶發(fā)展指標(biāo)看板
用戶通過手機號關(guān)聯(lián)打通、全域特征刻畫

總體上，在該階段我們建造了數(shù)據(jù)中臺 1.0，并實現(xiàn)了價值驗證的目標(biāo)。

2.升華期：數(shù)據(jù)中臺 2.0

（2017.7~2018.6）

（1）痛點

在升華期，我們確立了兩大痛點：其一，數(shù)據(jù)覆蓋不夠深、不夠廣；其二，第三方用戶畫像不夠貼合自有業(yè)務(wù)運營需要。這里強調(diào)一點，企業(yè)必須整合自身的業(yè)務(wù)數(shù)據(jù)，建立專屬用戶畫像，只有當(dāng)需要的數(shù)據(jù)自身業(yè)務(wù)無法獲取時，再考慮引入第三方數(shù)據(jù)。

（2）立意

該階段的重點目標(biāo)是集中建設(shè)數(shù)據(jù)資產(chǎn)，實現(xiàn)“業(yè)務(wù)數(shù)據(jù)化”。

（3）成果

全面歸集百視通 IPTV/ OTT / APP、東方購物全終端平臺、游戲群、會員中心的全量用戶數(shù)據(jù)，搭建業(yè)務(wù)數(shù)據(jù)倉庫，提供豐富的 BI 業(yè)務(wù)運營分析報表，并基于自有業(yè)務(wù)一手數(shù)據(jù)生產(chǎn)更貼合業(yè)務(wù)運營需求的用戶畫像標(biāo)簽，可通過短信營銷平臺等觸手進行個性化營銷投放。如下圖右邊相比初探期進行了美觀度和豐富度的雙升級。

以百視通視頻業(yè)務(wù)為例，數(shù)據(jù)中臺提供的報表有效支撐了業(yè)務(wù)智慧運營，除了基礎(chǔ)分析指標(biāo)外，還根據(jù)行業(yè)發(fā)展趨勢深化了一些列主題式分析洞察。在內(nèi)容為王的發(fā)展趨勢下，運營分析在內(nèi)容收視分析基礎(chǔ)上引入版權(quán)信息，深入洞察 IP 整體市場收益，支撐業(yè)務(wù)版權(quán)分賬模式；補充外部數(shù)據(jù)源，如工信部提供的寬帶用戶數(shù)、IPTV/OTT 全體用戶數(shù)，結(jié)合百視通自有業(yè)務(wù)的活躍用戶數(shù)，分析市場占有率與用戶滲透率；模擬整個內(nèi)容生命周期或用戶生命周期的管理流程，將數(shù)據(jù)指標(biāo)從頁面訪問、節(jié)目收視、按鈕點擊延展到增值訂購與復(fù)購，形成多級轉(zhuǎn)化漏斗及訂購歸因分析，指導(dǎo)產(chǎn)品與內(nèi)容運營的不斷優(yōu)化迭代。另外還為 BAPP 移動客戶端提供 APP 埋點分析服務(wù)。

針對東方購物業(yè)務(wù)，除了基礎(chǔ)的用戶、商品、定購分析外，還補充了 IPTV 電視購物直播頻道的收視數(shù)據(jù)以及 24 小時分片流量，將用戶分析的起點從電話呼入定購環(huán)節(jié)提前至節(jié)目播出觀看環(huán)節(jié)，為流量轉(zhuǎn)化漏斗提供更豐富的信息與洞察。

此外，在升華期進行了產(chǎn)品技術(shù)架構(gòu)的二次升級，如下圖

將數(shù)據(jù)產(chǎn)品端的固定報表升級為 FR，實現(xiàn)基于報表的定制開發(fā)，并建立了精準短信營銷系統(tǒng)；在數(shù)據(jù)資產(chǎn)層，新增用戶發(fā)展模型、內(nèi)容收視模型等，并進行了百視通、東購等全平臺數(shù)據(jù)的整合，且用戶畫像標(biāo)簽也真正基于業(yè)務(wù)自有數(shù)據(jù)生產(chǎn)，并無縫服務(wù)于各業(yè)務(wù)線；在基礎(chǔ)平臺層，新增 Spark、Storm 等，且與神策數(shù)據(jù)建立了正式合作，步入真正做大數(shù)據(jù)產(chǎn)品的軌道。

這里強調(diào)一點，企業(yè)在選型 SaaS 服務(wù)時需非常謹慎，使用某些 SaaS 服務(wù)確實有數(shù)據(jù)泄露的風(fēng)險，當(dāng)時我們除神策埋點外，還在使用其他埋點工具，今年我們計劃以后撤掉其他埋點，只用神策數(shù)據(jù)的埋點，我知道神策不是賣數(shù)據(jù)的公司。

（4）收益

在升華期，我們?nèi)〉昧巳缦率找?#xff1a;

基于統(tǒng)一的數(shù)據(jù)倉庫，支撐集團業(yè)務(wù)數(shù)據(jù)的“管”與“建”，固定報表系統(tǒng)提供各類分析主題的報表塊合計超 500 個，同時支持大屏和移動端以適應(yīng)各類使用場景。在線服務(wù)用戶數(shù)逾 500 人，為公司各項運營分析與業(yè)務(wù)結(jié)算等活動提供有效數(shù)據(jù)支撐。
數(shù)據(jù)中臺建成用戶畫像系統(tǒng)，聚合交易+交互+外部三重數(shù)據(jù)，自建用戶畫像分析平臺，已加工用戶收視類標(biāo)簽 195 個、購物類標(biāo)簽 66 個，并封裝接口服務(wù)給到業(yè)務(wù)線靈活調(diào)用，支持產(chǎn)品內(nèi)容受眾分析、廣告精準營銷、個性化推薦、營銷短信定向推送等多種應(yīng)用場景，實現(xiàn)用戶精細化運營，并通過投放反饋效果跟蹤，形成閉環(huán)的畫像迭代與運營使用。

3、質(zhì)變期：數(shù)據(jù)中臺 3.0

（2018.7~2019.8）

（1）痛點

在質(zhì)變期的核心痛點，如下：

其一，我們發(fā)現(xiàn)過去的數(shù)據(jù)多用于離線分析，這將涉及成本、人力問題，同時也并未直接在線服務(wù)于智慧運營，應(yīng)用場景局限，數(shù)據(jù)的再生產(chǎn)力無法充分體現(xiàn)；

其二，針對內(nèi)容分析、用戶畫像、智能推薦等數(shù)據(jù)應(yīng)用場景，精準的內(nèi)容標(biāo)簽至關(guān)重要，但是 CMS 內(nèi)容元數(shù)據(jù)的質(zhì)量不夠理想。

（2）立意

基于以上痛點，在質(zhì)變期，我們將重點放在全面提升數(shù)據(jù)面向業(yè)務(wù)的服務(wù)能力，進一步實現(xiàn)“數(shù)據(jù)業(yè)務(wù)化”。

（3）??成果

該階段的成果主要為搭建融合標(biāo)簽庫服務(wù)、智能推薦等服務(wù)，并有機整合數(shù)據(jù)中臺的各個產(chǎn)品模塊，譬如將用戶行為、視頻標(biāo)簽、用戶畫像等數(shù)據(jù)深度應(yīng)用于推薦服務(wù)，直接服務(wù)于面向終端用戶的業(yè)務(wù)場景，形成數(shù)據(jù)收集、加工、應(yīng)用、反饋的全閉環(huán)。

下面具體展開介紹，融合標(biāo)簽庫服務(wù)系統(tǒng)和智能推薦服務(wù)系統(tǒng)。

其一，融合標(biāo)簽庫服務(wù)系統(tǒng)，在數(shù)據(jù)中臺建設(shè)的逐步深入中，我們發(fā)現(xiàn)目前的內(nèi)容標(biāo)簽相對較匱乏，并未與互聯(lián)網(wǎng)接軌，事實上，在視頻制作和播出的領(lǐng)域中，標(biāo)注數(shù)據(jù)也稱為媒資元數(shù)據(jù)或媒資標(biāo)簽，即對節(jié)目、藝人、制作公司等加以描述的信息進行數(shù)字化和結(jié)構(gòu)化存儲、關(guān)聯(lián)和展示。這些信息散落在網(wǎng)絡(luò)上、企業(yè)業(yè)務(wù)平臺上、編輯們的電腦里，并且隨著行業(yè)的發(fā)展變化快速地更新、演化著。網(wǎng)絡(luò)上比較著名的娛樂行業(yè)數(shù)據(jù)庫有豆瓣、時光網(wǎng)、貓眼等。但從標(biāo)簽使用者角度來看，每個數(shù)據(jù)來源都有些片面，視頻運營企業(yè)根據(jù)自己的需要其實都在建立自己的標(biāo)簽庫，作為視頻基礎(chǔ)服務(wù)與更多 AI 智能服務(wù)提供基礎(chǔ)數(shù)據(jù)支撐。

因此，我們在行業(yè)詞庫、多源采集、應(yīng)用場景、技術(shù)架構(gòu)、服務(wù)輸出、租戶機等方面做了全方位建設(shè)升級，如下圖：

數(shù)據(jù)中臺建成融合標(biāo)簽庫服務(wù)，作為國內(nèi)廣電企業(yè)第一家大規(guī)模和標(biāo)準化的視頻內(nèi)容標(biāo)注系統(tǒng)和標(biāo)準，通過網(wǎng)絡(luò)爬蟲、數(shù)據(jù)交換、人工錄入等多種方式，采集并整合了歡網(wǎng)、豆瓣、貓眼、藝恩等多源數(shù)據(jù)，并通過知識圖譜、自然語義分析等技術(shù)，對采集的信息進行結(jié)構(gòu)化存儲，建立娛樂行業(yè)的行業(yè)詞庫及語義關(guān)系。內(nèi)容覆蓋點播節(jié)目 50 萬條、藝人 40 萬條、直播頻道 100 余個、直播節(jié)目（與點播節(jié)目關(guān)聯(lián)）、輿情數(shù)據(jù)等，標(biāo)簽類型超過 100 余種。管理后臺可通過標(biāo)簽樹等靈活管理手段，實現(xiàn)視頻節(jié)目、藝人、制作商、發(fā)行商、電視直播節(jié)目單、行業(yè)獎項等多種實體標(biāo)簽信息的匯聚、關(guān)聯(lián)、整合、審核、統(tǒng)一標(biāo)準與快速更新。

融合標(biāo)簽庫數(shù)據(jù)可直接服務(wù)于東方明珠版權(quán)采購、媒資生產(chǎn)、內(nèi)容編輯、前端展示、AI 智能應(yīng)用如智能推薦等業(yè)務(wù)板塊，并可通過受控的開放接口和 WEB 頁面向公司以外的企業(yè)提供數(shù)據(jù)服務(wù)，為視頻運營企業(yè)尤其是廣電行業(yè)內(nèi)的播出渠道聚焦數(shù)據(jù)、降低數(shù)據(jù)搜索成本。

其二，數(shù)據(jù)中臺建成智能推薦系統(tǒng)，作為一套完善的平臺架構(gòu)，采用業(yè)內(nèi)最前沿的人工智能 AI 推薦算法和技術(shù)架構(gòu)，擁有數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、推薦引擎、實驗分流、推薦模型訓(xùn)練與效果評估，并持續(xù)迭代優(yōu)化的能力。該系統(tǒng)的建立非常感謝神策數(shù)據(jù)團隊的助力，如下圖是神策數(shù)據(jù)智能推薦系統(tǒng)模型大體框架，其支持基于用戶行為數(shù)據(jù)、內(nèi)容畫像、用戶畫像的多樣化個性化推薦方式，以及多種先進的算法、多源數(shù)據(jù)應(yīng)用、人工干預(yù)等。

2018 年下半年至今，智能推薦系統(tǒng)已先后在上海電信、上海移動、福建電信、江西電信和新疆電信等駐地上線，支持 EPG7.0 等多個版本，每日處理億級數(shù)據(jù)，服務(wù)百萬級用戶，每日提供千萬次請求，智能推薦內(nèi)容的點擊率為人工編排的 3~6 倍、對推薦內(nèi)容的人均瀏覽次數(shù)提升了 1.9 倍。智能推薦系統(tǒng)在激活長尾內(nèi)容收視的同時，極大提升了用戶黏性，促進增值產(chǎn)品訂購轉(zhuǎn)化，并可直接替代或者輔助人工編排決策，實現(xiàn)運營降本增效。

質(zhì)變期的產(chǎn)品技術(shù)架構(gòu)同步進行了再次升級：

相比升華期，在數(shù)據(jù)產(chǎn)品端新增 Tableau；在數(shù)據(jù)服務(wù)層，新增智能推薦服務(wù)；在數(shù)據(jù)資產(chǎn)層，新增內(nèi)容標(biāo)簽、輿情熱點等功能。在這個過程中，與神策數(shù)據(jù)在神策分析的基礎(chǔ)上，新增神策智能推薦合作，實現(xiàn)了雙贏。（詳情可看：一文解讀神策智能推薦）

（4）收益

在質(zhì)變期，我們?nèi)〉昧巳缦率找?#xff1a;

智能推薦系統(tǒng)已先后在全國多個駐地運營商上線，每日處理億級數(shù)據(jù)、服務(wù)百萬級用戶，CTR 點擊率為人工編排的 3~6 倍、對推薦內(nèi)容的人均瀏覽次數(shù)提升了 1.9 倍。在降低人工編排成本的同時，極大提升了用戶黏性，促進增值產(chǎn)品訂購轉(zhuǎn)化，實現(xiàn)運營降本增效。
內(nèi)容標(biāo)簽庫已向內(nèi)容中臺提供服務(wù)，并通過租戶系統(tǒng)向電信運營商輸出。標(biāo)簽數(shù)據(jù)綜合應(yīng)用于版權(quán)采購、媒資編目、內(nèi)容精細化分析、智能推薦等應(yīng)用場景。

以上分享的東方明珠數(shù)據(jù)中臺演變的三個階段，可概括為如下進化軸：

在這個過程中，數(shù)據(jù)中臺功能模塊的新增與升級也是東方明珠數(shù)據(jù)中臺建造歷程圖譜，如下圖，灰色模塊代表我們未來的發(fā)力點。

在建造過程中核心技術(shù)的選擇起著關(guān)鍵作用，我認為企業(yè)可以嘗試一定的托管服務(wù)方式，以提高開發(fā)效率。

此外，數(shù)據(jù)中臺的建設(shè)，依托于自建 DevOps 研發(fā)一體化平臺。通過對東方明珠新媒體研發(fā)團隊多年來的研發(fā)工作流和經(jīng)驗總結(jié)和抽象，DevOps 平臺通過搭建項目管理、知識管理、代碼托管、流水線管理、持續(xù)構(gòu)建、制品管理、自動化測試、自動化部署、日志收集、監(jiān)控報警這 10 個系統(tǒng)，形成了從軟件設(shè)計、到編碼開發(fā)、到測試上線、到監(jiān)控運維的完整生命周期管理平臺，有效支撐智慧廣電背景下的軟件研發(fā)項目既“穩(wěn)”又“敏”的“雙態(tài)”要求。

另外，強調(diào)一點作為甲方一定要選所需比選全重要，有時候購買一套完整的解決方案可能 80% 的功能并未起作用，且很難更換，因此在建數(shù)據(jù)中臺 DevOps 平臺時，所有模塊均由我自己挑選并自由組合建成。

三、思考：數(shù)據(jù)中臺建設(shè)七大成功經(jīng)驗

總體上，東方明珠數(shù)據(jù)中臺建設(shè)已取得一定程度的成功，目前已真正做到賦能業(yè)務(wù)，并贏得了業(yè)務(wù)方和管理層的雙重肯定，我總結(jié)了建設(shè)過程中的 7 個成功經(jīng)驗，供大家參考：

1.成立戰(zhàn)略專項小組

東方明珠是黨委書記和總裁親自上陣，分別任組長和副組長，且各業(yè)務(wù)部門牽頭的都是集團副總，從上而下貫徹踐行大數(shù)據(jù)戰(zhàn)略。這與神策 2018 數(shù)據(jù)驅(qū)動大會上神策數(shù)據(jù)創(chuàng)始人&桑文鋒分享的一個觀點吻合，數(shù)據(jù)項目成功有三個關(guān)鍵要素：第一，一把手必須支持你；第二，業(yè)務(wù)要做相應(yīng)的數(shù)據(jù)主架構(gòu)調(diào)整，比如分配專門的數(shù)據(jù)專員配合IT區(qū)域做數(shù)據(jù)項目；第三，IT 能力建設(shè)，這三個缺一不可，數(shù)據(jù)項目一定是和業(yè)務(wù)緊密耦合的項目。

2.數(shù)據(jù)需求匯總管理

大數(shù)據(jù)相關(guān)需求，全部匯總到總部數(shù)據(jù)研發(fā)小組，不再進行獨立小數(shù)倉和報表系統(tǒng)的研發(fā)；規(guī)范和嚴格元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理，實現(xiàn)統(tǒng)一管理、統(tǒng)一發(fā)布、統(tǒng)一運營。

3.分步走、階段性項目推進機制

做數(shù)據(jù)項目需要一步一步讓業(yè)務(wù)和管理層深入進來，坐上一艘船，我在初探期做的數(shù)據(jù)中臺價值快速驗證便是為此打基礎(chǔ)。將大數(shù)據(jù)相關(guān)建設(shè)項目，實現(xiàn)集中指揮、統(tǒng)籌調(diào)度、資源共享，分階段分批落地、每個階段融入一部分關(guān)鍵業(yè)務(wù)，產(chǎn)出階段性成果，再進行其他業(yè)務(wù)和平臺整合。

4.充分擁抱開源系統(tǒng)

在選型時，企業(yè)需整體考量業(yè)務(wù)規(guī)模有多大，具體需求如何，以此匹配真正適合自身的開源系統(tǒng)體系。目前傳統(tǒng)商業(yè)軟件無法滿足東方明珠這個體量和業(yè)務(wù)復(fù)雜度的大數(shù)據(jù)需求，并且廣電行業(yè)對自主可控、數(shù)據(jù)保護、安全隱私要求較高。數(shù)據(jù)平臺基于 hadoop 的開源大數(shù)據(jù)生態(tài)，在核心技術(shù)方面堅持以自主研發(fā)為主。

5. 沙堆模型落地 DevOps

關(guān)于 DevOps，需考慮分布式驗證 DevOps 體系，采用“沙堆模型”在多個業(yè)務(wù)線開展 DevOps 的工具鏈落地，加速研發(fā)流程，逐步遷移、持續(xù)部署、持續(xù)集成，這對企業(yè)未來整個數(shù)據(jù)平臺體系建設(shè)起到極大的作用。

6.構(gòu)建大數(shù)據(jù)生態(tài)合作體系

企業(yè)要和供應(yīng)商實現(xiàn)共贏，篩選適合東方明珠大數(shù)據(jù)發(fā)展體系的生態(tài)合作伙伴，如公有云服務(wù)商、用戶行為分析和智能應(yīng)用解決方案服務(wù)商等，這些服務(wù)商在整個中國的大數(shù)據(jù)生態(tài)圈里，都扮演著舉足輕重的角色。

7.打造開放平臺、支持對外能力輸出

經(jīng)過支持自有業(yè)務(wù)發(fā)展的實戰(zhàn)歷練，持續(xù)沉淀技術(shù)，建立標(biāo)準，打造標(biāo)準化產(chǎn)品服務(wù)的開放能力，未來可以同業(yè)提供技術(shù)服務(wù)輸出，探索更多的數(shù)據(jù)業(yè)務(wù)合作模式，讓知識成果可以服務(wù)于整個行業(yè)與社會。

伴隨著數(shù)據(jù)中臺建設(shè)的成功，我們也獲得了一些殊榮的肯定，下圖是我們近期獲得的部分榮譽：

另外分享下管理團隊的心得，我有一個原則——團隊需要不斷的成長，而且團隊內(nèi)部要不斷地分享、交流、學(xué)習(xí)，比如我的團隊每兩周會組織個人向整個團隊介紹技術(shù)體系的分享會，下圖為我們團隊的榮譽證書：

未來四年，我們將聚焦開放平臺、數(shù)據(jù)智能、雙云支持三個關(guān)鍵方向，迎接已經(jīng)到來的數(shù)據(jù)中臺 4.0。

以上是我今天的全部分享，另外我準備的三個彩蛋，包含東方明珠整個技術(shù)架構(gòu)體系建設(shè)的詳細介紹，可在神策數(shù)據(jù)公眾號回復(fù)“彩蛋”獲取，“PPT”可點擊閱讀原文下載。

『不容錯過的精彩內(nèi)容』

▼▼▼