9月26日下午，愛(ài)奇藝技術(shù)產(chǎn)品團(tuán)隊(duì)舉辦了第19期“i技術(shù)會(huì)”，本次技術(shù)會(huì)的主題是“數(shù)據(jù)治理探索與應(yīng)用”，來(lái)自快手、美團(tuán)、快看的幾位資深專家同大家就相關(guān)議題進(jìn)行了深入探討。

愛(ài)奇藝研究員杜益凡分享了題為《愛(ài)奇藝埋點(diǎn)投遞治理實(shí)踐》的內(nèi)容。分享從埋點(diǎn)的定義、規(guī)范以及數(shù)據(jù)質(zhì)量要求開(kāi)始，介紹了愛(ài)奇藝在治理埋點(diǎn)數(shù)據(jù)、提高埋點(diǎn)數(shù)據(jù)質(zhì)量工作中的一些實(shí)踐經(jīng)驗(yàn)。

福利!!!?關(guān)注公眾號(hào)，在后臺(tái)回復(fù)關(guān)鍵詞“數(shù)據(jù)治理”，就可以獲得本次i技術(shù)會(huì)嘉賓分享PPT和錄播視頻。

以下為“《愛(ài)奇藝埋點(diǎn)投遞治理實(shí)踐》”干貨分享，根據(jù)【i技術(shù)會(huì)】演講整理成文。

01

什么是埋點(diǎn)

埋點(diǎn)在愛(ài)奇藝內(nèi)部習(xí)慣被稱為Pingback，其本質(zhì)是對(duì)事件的描述，在得到用戶允許的情況下，在一些特定過(guò)程中收集行為數(shù)據(jù)，來(lái)研究對(duì)象的使用狀況，為后續(xù)的優(yōu)化和運(yùn)營(yíng)策略提供數(shù)據(jù)支撐。

在愛(ài)奇藝最常見(jiàn)的埋點(diǎn)場(chǎng)景是在播放環(huán)節(jié)，例如在視頻“開(kāi)始播放”以及“快進(jìn)”“快退”這三種行為上做埋點(diǎn)，來(lái)獲取一個(gè)視頻具體的播放情況，進(jìn)而了解用戶更喜歡看哪個(gè)片斷。很明顯，如果某個(gè)片斷用戶不喜歡看，相應(yīng)的快進(jìn)會(huì)比較多，如果某個(gè)片斷被拖回來(lái)次數(shù)比較多，說(shuō)明用戶喜歡看這個(gè)片斷，這樣可以評(píng)估內(nèi)容具體的質(zhì)量，給后續(xù)的內(nèi)容策略做一些數(shù)據(jù)支撐。?

再比如在播放卡頓的時(shí)候增加埋點(diǎn)，來(lái)探測(cè)具體視頻播放的卡頓情況，就可以了解用戶在實(shí)際播放這個(gè)視頻的時(shí)候性能觀感如何，這樣可以給網(wǎng)絡(luò)優(yōu)化以及播放器性能優(yōu)化提供很好的數(shù)據(jù)支持。? ?

埋點(diǎn)主要的組成要素是什么？

首先對(duì)于埋點(diǎn)來(lái)說(shuō)很重要的一個(gè)因素是時(shí)機(jī)，因?yàn)闀r(shí)機(jī)選擇的好與壞和它定義的是否清晰直接影響了它所要研究事件的數(shù)據(jù)準(zhǔn)確性。比如剛才說(shuō)的開(kāi)始播放，如果要探查一個(gè)視頻真正起播的數(shù)據(jù)情況，一旦把時(shí)機(jī)錯(cuò)誤的選擇在用戶進(jìn)入播放器就開(kāi)始發(fā)送真正起播，那么這樣的埋點(diǎn)就會(huì)導(dǎo)致在計(jì)算視頻播放量的時(shí)候把廣告誤計(jì)進(jìn)來(lái)。正確的操作是在視頻真正開(kāi)始播放第一幀的時(shí)候發(fā)出來(lái)，這樣才是視頻的起播量，而不受廣告播放的影響。

為什么要治理埋點(diǎn)？

主要有四個(gè)方面：整體規(guī)劃、維護(hù)管理、質(zhì)量保障、業(yè)務(wù)價(jià)值。

隨著的業(yè)務(wù)的發(fā)展，先期可能沒(méi)有意識(shí)到對(duì)于埋點(diǎn)需要統(tǒng)一的定義規(guī)劃，導(dǎo)致在業(yè)務(wù)發(fā)展大了之后埋點(diǎn)的數(shù)據(jù)使用難度大。比如跨業(yè)務(wù)的情況，同樣是展示事件，A業(yè)務(wù)定義的是一種規(guī)范，B業(yè)務(wù)定義是另外一種規(guī)范，但需要對(duì)整個(gè)公司分析的時(shí)候就無(wú)法使用統(tǒng)一的規(guī)則去進(jìn)行分析，這樣跨業(yè)務(wù)打通很困難。

另外缺乏整體規(guī)劃，后期的埋點(diǎn)會(huì)泛濫，無(wú)用埋點(diǎn)會(huì)很多，造成資源浪費(fèi)，維護(hù)成本也高。同時(shí)如果缺少質(zhì)量標(biāo)準(zhǔn)，埋點(diǎn)的故障非常多，錯(cuò)誤數(shù)據(jù)非常多，數(shù)據(jù)信任度比較低。這樣數(shù)據(jù)的業(yè)務(wù)價(jià)值無(wú)法很好地體現(xiàn)，沒(méi)有正常產(chǎn)生應(yīng)有的業(yè)務(wù)價(jià)值，浪費(fèi)計(jì)算存儲(chǔ)和開(kāi)發(fā)資源。

要解決這些問(wèn)題，需要把埋點(diǎn)治理好。要建立統(tǒng)一的埋點(diǎn)規(guī)范，并把現(xiàn)有的存量埋點(diǎn)進(jìn)行梳理，把定義比較糟糕的埋點(diǎn)升級(jí)成新規(guī)范的埋點(diǎn)，并且把舊埋點(diǎn)下線，節(jié)省資源消耗和降低維護(hù)成本。同時(shí)建立流程和質(zhì)量規(guī)范，提高埋點(diǎn)數(shù)據(jù)質(zhì)量，同時(shí)也降低埋點(diǎn)數(shù)據(jù)的接入門(mén)檻，提高整體效率。

02

如何治理埋點(diǎn)

治理最大的挑戰(zhàn)是落地，因?yàn)闅v史慣性總是很強(qiáng)的，歷史存量埋點(diǎn)非常繁雜，梳理的成本就會(huì)很高，切換的成本也會(huì)很高，落地就是個(gè)巨大的考驗(yàn)。

在業(yè)務(wù)真正使用數(shù)據(jù)之前，對(duì)于切換埋點(diǎn)這件事情投入資源的動(dòng)力是不足的，因?yàn)樗漠a(chǎn)出價(jià)值無(wú)法立刻體現(xiàn)，所以要把埋點(diǎn)治理這件事更好的落地，需要強(qiáng)有力的組織，去確保這個(gè)事情能夠被很好的推進(jìn)。

此外還需要一個(gè)很好的方法論，讓治理達(dá)到很好的效果。同時(shí)依靠組織和方法論來(lái)制定一個(gè)新的、合理的流程。使整個(gè)規(guī)劃可以順利的進(jìn)行落地。為了支持這樣一個(gè)流程和整個(gè)規(guī)范管理，需要建立一套支撐的工具平臺(tái)，助力治理的落地。

從組織與專項(xiàng)來(lái)看，為了讓數(shù)據(jù)從公司策略角度發(fā)揮更大的價(jià)值，需要成立數(shù)據(jù)委員會(huì)，數(shù)據(jù)委員會(huì)是從整個(gè)公司策略的角度考慮來(lái)制定數(shù)據(jù)工作的方向和目標(biāo)。這些規(guī)劃和流程具體的實(shí)施是由業(yè)務(wù)數(shù)據(jù)BP組去執(zhí)行，業(yè)務(wù)數(shù)據(jù)BP組主要由各個(gè)業(yè)務(wù)具體的產(chǎn)品以及項(xiàng)目組成，對(duì)具體規(guī)劃的執(zhí)行落地負(fù)責(zé)。工作組會(huì)定期的跟蹤具體的執(zhí)行情況，然后再向數(shù)據(jù)委員會(huì)匯報(bào)執(zhí)行的具體成果，數(shù)據(jù)委員會(huì)會(huì)考核此項(xiàng)治理的具體運(yùn)轉(zhuǎn)情況。由這樣的一個(gè)組織就具體運(yùn)作埋點(diǎn)治理的專項(xiàng)，讓具體埋點(diǎn)治理能夠具體落地。

為此制定整個(gè)埋點(diǎn)投遞體系，首先制定好埋點(diǎn)規(guī)范，這是最基礎(chǔ)的一個(gè)方法論，由埋點(diǎn)規(guī)范去指導(dǎo)埋點(diǎn)平臺(tái)該如何去建立，再根據(jù)埋點(diǎn)規(guī)范開(kāi)發(fā)出埋點(diǎn)SDK，來(lái)助力具體的業(yè)務(wù)開(kāi)發(fā)。埋點(diǎn)平臺(tái)是對(duì)埋點(diǎn)SDK有一個(gè)控制策略的，可以控制埋點(diǎn)SDK具體能發(fā)出哪些投遞。埋點(diǎn)SDK主要發(fā)出的投遞進(jìn)入收集服務(wù)，測(cè)試數(shù)據(jù)進(jìn)入測(cè)試平臺(tái)，其它的直接進(jìn)入ETL處理，測(cè)試平臺(tái)是在測(cè)試階段使用的，以保證埋點(diǎn)質(zhì)量，灰度監(jiān)測(cè)是灰度階段使用，從線上數(shù)據(jù)中抽取灰度用戶的投遞數(shù)據(jù)，對(duì)它的投遞情況進(jìn)行質(zhì)量監(jiān)測(cè)。數(shù)據(jù)質(zhì)量平臺(tái)就是之前彭濤老師在《愛(ài)奇藝數(shù)據(jù)質(zhì)量監(jiān)控的探索和實(shí)踐》所講的數(shù)據(jù)質(zhì)量的產(chǎn)品化的結(jié)果，它會(huì)接收灰度策略、測(cè)試平臺(tái)的結(jié)果，同時(shí)給灰度監(jiān)測(cè)提供規(guī)則引擎的服務(wù)。

數(shù)據(jù)質(zhì)量平臺(tái)除了對(duì)灰度、測(cè)試階段起作用，還在上線之后的線上監(jiān)控起作用，會(huì)檢測(cè)整個(gè)埋點(diǎn)在線上的數(shù)據(jù)質(zhì)量情況。最終數(shù)據(jù)質(zhì)量沒(méi)有問(wèn)題的情況下會(huì)進(jìn)入統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)，來(lái)給上層提供服務(wù)，如果有問(wèn)題會(huì)對(duì)數(shù)據(jù)生產(chǎn)流程進(jìn)行攔截。

我們對(duì)存量埋點(diǎn)進(jìn)行梳理，從中歸納了7大類核心的事件，把核心事件的定義進(jìn)行了統(tǒng)一，同時(shí)對(duì)它的發(fā)送時(shí)機(jī)也進(jìn)行統(tǒng)一，避免各個(gè)業(yè)務(wù)有不一樣的發(fā)送時(shí)機(jī)，這樣讓整個(gè)數(shù)據(jù)統(tǒng)一，同時(shí)對(duì)核心事件的通用字段也做了統(tǒng)一，每個(gè)事件應(yīng)該有哪些必發(fā)的字段、選發(fā)的字段，或者建議發(fā)的字段，都在埋點(diǎn)工具里面。

對(duì)字段進(jìn)行全局的統(tǒng)一，因?yàn)樵谶M(jìn)行治理之前，同一個(gè)含義的內(nèi)容可能出現(xiàn)兩種不同的字段定義。使用的時(shí)候不知道該用哪個(gè)字段，所以把整個(gè)存量的幾千個(gè)字段進(jìn)行整體的梳理、合并并且剔除那些有歧義和重復(fù)字段之后得到幾百個(gè)字段，對(duì)字段進(jìn)行統(tǒng)一命名，并把含義進(jìn)行明確。

對(duì)于字典字段，進(jìn)行統(tǒng)一的梳理，把重復(fù)和沖突的字典項(xiàng)剔除或者合并，對(duì)于一些核心的字典也進(jìn)行統(tǒng)一的編碼。

另外對(duì)坐標(biāo)進(jìn)行統(tǒng)一，建立統(tǒng)一的坐標(biāo)體系，使所有新坐標(biāo)以及新坐標(biāo)的編制有了很好的依據(jù)。

制定埋點(diǎn)質(zhì)量體系，對(duì)于埋點(diǎn)數(shù)據(jù)更關(guān)注覆蓋率，需要衡量的事件都需要對(duì)其進(jìn)行埋點(diǎn)，對(duì)于埋點(diǎn)信息要有完整性，不能漏收集信息，字段信息必須要完整而且準(zhǔn)確。不能有漏發(fā)、多發(fā)，包括字段、埋點(diǎn)事件都不能有多發(fā)漏發(fā)，這樣才能保證完整性和準(zhǔn)確率。

除了埋點(diǎn)發(fā)送，數(shù)據(jù)生產(chǎn)鏈路也是要有很好的監(jiān)控機(jī)制，或者說(shuō)質(zhì)量衡量機(jī)制，要保證一個(gè)生產(chǎn)鏈路的穩(wěn)定性和可靠性，它必須在合理的時(shí)間到達(dá)數(shù)倉(cāng)能夠供下游使用。同時(shí)也要保證整個(gè)處理數(shù)據(jù)是比較可靠的情況，數(shù)據(jù)是沒(méi)有問(wèn)題的。所以基于這兩塊，制定統(tǒng)一的校驗(yàn)規(guī)則，在底層又有平臺(tái)支撐，這個(gè)平臺(tái)就是數(shù)據(jù)質(zhì)量平臺(tái)。在此基礎(chǔ)上建立積分機(jī)制，對(duì)所發(fā)生的埋點(diǎn)問(wèn)題建立定責(zé)定級(jí)機(jī)制，對(duì)具體的問(wèn)題責(zé)任方進(jìn)行積分的增加或者扣減的操作，這樣在每季度可以對(duì)具體業(yè)務(wù)的埋點(diǎn)治理執(zhí)行情況進(jìn)行衡量。

我們對(duì)整個(gè)埋點(diǎn)的需求的新增也制定了一個(gè)流程，首先在產(chǎn)品的新需求規(guī)劃階段，會(huì)考慮這個(gè)需求是否會(huì)涉及到埋點(diǎn)，如果涉及到埋點(diǎn)就需要先通過(guò)埋點(diǎn)系統(tǒng)進(jìn)行比較好的埋點(diǎn)設(shè)計(jì)，并把它落地在PRD里面。在需求系統(tǒng)提交需求的時(shí)候，如果設(shè)計(jì)了埋點(diǎn)，數(shù)據(jù)產(chǎn)品會(huì)對(duì)這個(gè)埋點(diǎn)進(jìn)行復(fù)查，確定埋點(diǎn)是否合理，是否需要補(bǔ)充信息或者有多余的信息或者涉及錯(cuò)漏的地方，確認(rèn)無(wú)誤之后這項(xiàng)需求進(jìn)入需求池，由開(kāi)發(fā)團(tuán)隊(duì)決定是否開(kāi)發(fā)。

在開(kāi)發(fā)階段具體開(kāi)發(fā)會(huì)使用埋點(diǎn)SDK進(jìn)行具體埋點(diǎn)需求的開(kāi)發(fā)。到測(cè)試階段測(cè)試根據(jù)埋點(diǎn)規(guī)范中產(chǎn)出的測(cè)試用例以及使用埋點(diǎn)測(cè)試工具進(jìn)行測(cè)試，最終產(chǎn)生的測(cè)試報(bào)告要同步給數(shù)據(jù)中臺(tái)的埋點(diǎn)治理團(tuán)隊(duì)，進(jìn)行審核，如果沒(méi)有問(wèn)題才能繼續(xù)下一步的上線階段。上線階段首先經(jīng)過(guò)灰度，灰度過(guò)程中會(huì)通過(guò)灰度監(jiān)測(cè)評(píng)估這個(gè)版本的埋點(diǎn)質(zhì)量，并出具灰度測(cè)試報(bào)告，沒(méi)有問(wèn)題上線，上線之后通過(guò)數(shù)據(jù)質(zhì)量平臺(tái)進(jìn)行正常的數(shù)據(jù)監(jiān)測(cè)。

針對(duì)這些制定的規(guī)范和方法、流程，建立了埋點(diǎn)設(shè)計(jì)的工具。在這個(gè)工具中提供對(duì)事件的管理，把事件劃分成啟動(dòng)、播放、展點(diǎn)、互動(dòng)、閱讀和投屏這些事件，具體的核心事件中分了一些細(xì)的子事件：播放分開(kāi)始播放、結(jié)束播放等展點(diǎn)分展示和點(diǎn)擊；閱讀有開(kāi)始、結(jié)束閱讀，閱讀計(jì)時(shí)，對(duì)核心事件在工具中統(tǒng)一維護(hù)了時(shí)機(jī)的定義以及具體的事件描述以及這些事件默認(rèn)的字段，就是具體的產(chǎn)品在勾選這些事件后會(huì)首先生成基礎(chǔ)的埋點(diǎn)規(guī)范，包含其中默認(rèn)要投的字段，這些字段會(huì)在埋點(diǎn)SDK中包含自動(dòng)的一個(gè)采集和發(fā)送。

QOS和自定義事件：這兩種事件自定義程度高，QOS事件偏重于開(kāi)發(fā)對(duì)于性能的監(jiān)測(cè)，可能在前端也可能在后端，自定義事件更多的是臨時(shí)的產(chǎn)品的探測(cè)類事件。這些都是可以進(jìn)行更加靈活的自定義處理。

字段和字典的管理：在全局字段庫(kù)中對(duì)字段名、中文含義以及具體的說(shuō)明進(jìn)行統(tǒng)一的維護(hù)，另外給字段打上標(biāo)簽，是環(huán)境信息字段還是內(nèi)容信息的字段，同時(shí)也給字段建立服務(wù)包。可能是一個(gè)字段屬于推薦服務(wù)所關(guān)注的服務(wù)包中，也可能是搜索類的可能放在搜索的服務(wù)包中，這樣的用戶在制定埋點(diǎn)規(guī)范的時(shí)候可以通過(guò)服務(wù)包或者通過(guò)標(biāo)簽去更加方便的字段庫(kù)中檢索他所需要的字段。

字段庫(kù)同時(shí)維護(hù)了字典類型字段的字典，把字典統(tǒng)一維護(hù)，這樣用戶在埋點(diǎn)中選擇了這個(gè)字段后，字典直接可以被引用。

03

坐標(biāo)管理

坐標(biāo)的管理把頁(yè)面展示情況分為三個(gè)層次，最外層是頁(yè)面，頁(yè)面中可以包含多個(gè)區(qū)塊，比如左邊這個(gè)頁(yè)面焦點(diǎn)圖就是一個(gè)區(qū)塊，中間“猜你喜歡”也是個(gè)區(qū)塊，下面熱播也是區(qū)塊，區(qū)塊里面又包含不同內(nèi)容，比如下面的熱播這部分在我截圖里面有四個(gè)內(nèi)容，按照這個(gè)層次去組織的坐標(biāo)信息。在埋點(diǎn)工具中進(jìn)行維護(hù)，然后所有產(chǎn)品的定義都需要先把坐標(biāo)錄入到埋點(diǎn)工具中去，錄入之后就可以在坐標(biāo)上綁定具體的事件了。可以綁定展示點(diǎn)擊事件、具體互動(dòng)事件，這樣可以更好的指導(dǎo)進(jìn)行開(kāi)發(fā)，這些事件綁定進(jìn)來(lái)有默認(rèn)字段，針對(duì)不同坐標(biāo)，針對(duì)坐標(biāo)設(shè)置個(gè)性化的字段。

坐標(biāo)管理除了維護(hù)這些信息之外，同時(shí)也會(huì)去和APP后端服務(wù)進(jìn)行交互，APP后端服務(wù)讀取具體坐標(biāo)定義，才能給前端下發(fā)具體的展示內(nèi)容，同時(shí)埋點(diǎn)收集、解析也會(huì)根據(jù)坐標(biāo)管理中的信息來(lái)進(jìn)行坐標(biāo)過(guò)濾，如果沒(méi)有進(jìn)行注冊(cè)的坐標(biāo)是無(wú)法正確入庫(kù)。這樣對(duì)埋點(diǎn)質(zhì)量進(jìn)行衡量。

有了坐標(biāo)+事件埋點(diǎn)定義可以解決很多問(wèn)題，但對(duì)于某些細(xì)節(jié)的投遞有規(guī)范定義過(guò)寬的情況，比如熱播可能前兩個(gè)內(nèi)容是編輯手動(dòng)編輯的內(nèi)容，后面有可能是個(gè)性化推薦內(nèi)容，這樣前兩個(gè)坐標(biāo)和后兩個(gè)坐標(biāo)所要投遞的字段是不一樣的，在這類直接的事件綁定中，雖然可以綁定兩個(gè)不同的事件，但對(duì)于開(kāi)發(fā)來(lái)說(shuō)是比較疑惑的，所以引入了場(chǎng)景管理。

一個(gè)場(chǎng)景可能是一系列事件的組合，一個(gè)場(chǎng)景可能依次發(fā)生包括展示、點(diǎn)擊、播放，這樣細(xì)粒度的定義可以讓一個(gè)具體事件某些字段有確定值，以及這個(gè)事件的某個(gè)字段是否需要在這個(gè)場(chǎng)景下需要發(fā)送，就有很精細(xì)的定義。這樣可以更好的指導(dǎo)開(kāi)發(fā)進(jìn)行具體的業(yè)務(wù)開(kāi)發(fā)。同時(shí)也可以更容易的生成一個(gè)測(cè)試校驗(yàn)規(guī)則和測(cè)試用例。

所以場(chǎng)景管理可以向埋點(diǎn)質(zhì)量監(jiān)測(cè)發(fā)送校驗(yàn)規(guī)則，同時(shí)給測(cè)試平臺(tái)傳輸具體的測(cè)試用例以及校驗(yàn)規(guī)則。這樣埋點(diǎn)質(zhì)量監(jiān)控就可以根據(jù)校驗(yàn)規(guī)則去生成具體質(zhì)量校驗(yàn)的結(jié)果，測(cè)試平臺(tái)也進(jìn)而可以根據(jù)生成的場(chǎng)景測(cè)試用例生成具體的測(cè)試報(bào)告。

埋點(diǎn)投遞的開(kāi)發(fā)是為了讓開(kāi)發(fā)更多地去專注于所有開(kāi)發(fā)的共有業(yè)務(wù)，而不用考慮這個(gè)埋點(diǎn)是如何構(gòu)造和發(fā)送的，所以可以給各個(gè)不同端提供SDK，SDK首先把發(fā)送和構(gòu)造全部包裝起來(lái)，這樣避免發(fā)送格式問(wèn)題。

對(duì)于個(gè)性投遞需求可以在此基礎(chǔ)上進(jìn)行擴(kuò)展，把需要增加的字段和自定義字段取值給擴(kuò)展，以擴(kuò)展的形式注入進(jìn)來(lái)。同時(shí)SDK會(huì)有云控的策略模塊，在有時(shí)發(fā)生埋點(diǎn)問(wèn)題的時(shí)候可以緊急下線一些埋點(diǎn)。同時(shí)可以對(duì)具體某個(gè)字段是不是發(fā)送，需不需要連接進(jìn)行控制。

埋點(diǎn)投遞測(cè)試平臺(tái)主要面向的用戶是具體的QA人員，這個(gè)平臺(tái)從剛才的埋點(diǎn)平臺(tái)中去取具體事件的校驗(yàn)規(guī)則和字段的校驗(yàn)規(guī)則，以及由場(chǎng)景管理所生成的場(chǎng)景測(cè)試用例來(lái)在測(cè)試階段進(jìn)行功能的測(cè)試。數(shù)據(jù)源也有幾個(gè)方面，一方面根據(jù)測(cè)試用例所生成的自動(dòng)化的測(cè)試執(zhí)行的腳本，這樣可以實(shí)現(xiàn)APP自動(dòng)測(cè)試，同時(shí)也提供手動(dòng)抓包的測(cè)試工具，在零散需要知道埋點(diǎn)投遞情況的時(shí)候提供有力的工具支持，在能看到抓包結(jié)果的同時(shí)就能看到這些具體埋點(diǎn)事件的質(zhì)量檢測(cè)的結(jié)果。

04

灰度數(shù)據(jù)

灰度數(shù)據(jù)經(jīng)過(guò)灰度監(jiān)測(cè)平臺(tái)的計(jì)算也可以進(jìn)入測(cè)試平臺(tái)，形成統(tǒng)一的測(cè)試報(bào)告。

數(shù)據(jù)質(zhì)量平臺(tái)在埋點(diǎn)上主要關(guān)注事件的投遞量，來(lái)確認(rèn)投遞量是否有問(wèn)題，另外是重點(diǎn)字段的空值率、核心字段取值的分布，來(lái)評(píng)估是否新上的版本可能在某個(gè)部分存在bug之類；還有字段校驗(yàn)規(guī)則的通過(guò)率，來(lái)評(píng)估沒(méi)有字典值的字段發(fā)送的質(zhì)量情況；另外就是場(chǎng)景校驗(yàn)的通過(guò)率，還有重要條件的數(shù)據(jù)量，其實(shí)就是一部分簡(jiǎn)單的核心指標(biāo)的監(jiān)測(cè)。

相關(guān)產(chǎn)出首先是報(bào)警，還有就是對(duì)于生產(chǎn)任務(wù)是否要進(jìn)行攔截，或者對(duì)于灰度是否要進(jìn)行攔截。

05

埋點(diǎn)升級(jí)流程

定義好了新的埋點(diǎn)規(guī)范，對(duì)于大存量的舊規(guī)范需要有一個(gè)升級(jí)的流程，所以說(shuō)也制定了整個(gè)升級(jí)流程、埋點(diǎn)規(guī)范的升級(jí)流程，這個(gè)不管是對(duì)于現(xiàn)在存量的埋點(diǎn)治理還是對(duì)于未來(lái)有可能會(huì)發(fā)生的同一個(gè)事件的埋點(diǎn)規(guī)范的升級(jí)，都是有作用的。

首先就是要制定新的合理的埋點(diǎn)規(guī)范，把它錄入到埋點(diǎn)工具當(dāng)中，然后在此過(guò)程中舊埋點(diǎn)先不下線，先讓開(kāi)發(fā)把新的埋點(diǎn)加入進(jìn)來(lái)，進(jìn)行雙發(fā)，對(duì)雙發(fā)的數(shù)據(jù)進(jìn)行數(shù)據(jù)驗(yàn)證。首先是正常情況下數(shù)據(jù)對(duì)得上，或者比以前的數(shù)據(jù)更好，在數(shù)據(jù)更好的情況下，也要分析出來(lái)舊的埋點(diǎn)數(shù)據(jù)為什么不對(duì)，有什么問(wèn)題，達(dá)到心中有數(shù)，才能確定雙發(fā)是否是通過(guò)的狀態(tài)。如果雙發(fā)通過(guò)后在統(tǒng)一數(shù)倉(cāng)中對(duì)數(shù)據(jù)進(jìn)行兼容，從某個(gè)版本之后開(kāi)始有新的埋點(diǎn)數(shù)據(jù)，某個(gè)版本之前還是使用老的數(shù)據(jù)，會(huì)通知下游，如果是沒(méi)有使用統(tǒng)一數(shù)倉(cāng)數(shù)據(jù)的下游，需要把他的消費(fèi)遷移到統(tǒng)一數(shù)倉(cāng)當(dāng)中，遷移之后對(duì)老的埋點(diǎn)進(jìn)行下線。

下線建立了埋點(diǎn)退出機(jī)制，對(duì)于埋點(diǎn)的事件和字段，通過(guò)數(shù)據(jù)圖譜來(lái)對(duì)其血緣進(jìn)行分析，根據(jù)使用情況、質(zhì)量情況，還有資源消耗情況以及最終是否產(chǎn)生應(yīng)有的價(jià)值來(lái)對(duì)它的熱度進(jìn)行評(píng)估。可以定期審查這樣的埋點(diǎn)事件的熱度或者字段的熱度，來(lái)決定一個(gè)埋點(diǎn)是否要下線或者說(shuō)埋點(diǎn)中某個(gè)字段是否沒(méi)用了，應(yīng)該要下線。如果決定要下線的埋點(diǎn)，可以先通過(guò)云控使它不再繼續(xù)發(fā)送，確定沒(méi)有問(wèn)題之后可以在后續(xù)版本中把它的代碼、發(fā)送代碼直接給刪除。這樣先通過(guò)云控下線，萬(wàn)一有問(wèn)題可以方便的讓它繼續(xù)發(fā)送。

重中之重是數(shù)據(jù)安全的治理，《數(shù)據(jù)安全法》近期實(shí)施，隱私安全越來(lái)越受重視，對(duì)于新的埋點(diǎn)規(guī)則的審核以及存量埋點(diǎn)的定期的審查都是關(guān)注的重點(diǎn)，需要查看其中是否有不應(yīng)該發(fā)的隱私信息，如果有要堅(jiān)決去掉，堅(jiān)決杜絕在埋點(diǎn)中有隱私的采集和傳輸。

數(shù)據(jù)安全，首先底層的數(shù)據(jù)是不對(duì)外開(kāi)放的，所有對(duì)下游開(kāi)放的是清洗處理之后的明細(xì)層，同時(shí)所有數(shù)據(jù)使用要經(jīng)過(guò)嚴(yán)格審批，而且審批的記錄都是要存檔并且定期審閱，數(shù)據(jù)使用記錄存檔并定期審閱。

愛(ài)奇藝2019年開(kāi)始治理埋點(diǎn)，經(jīng)過(guò)這兩年的治理，埋點(diǎn)量整體減少了40%，資源消耗直接節(jié)省一半。同時(shí)通過(guò)新的埋點(diǎn)規(guī)范，業(yè)務(wù)的接入從過(guò)去一周的時(shí)間，降低到現(xiàn)在最多兩天時(shí)間就可以完成，同時(shí)故障量大幅的下降，整體達(dá)到了提效和降低成本的目的。

福利!!!?關(guān)注公眾號(hào)，在后臺(tái)回復(fù)關(guān)鍵詞“數(shù)據(jù)治理”，就可以獲得本次i技術(shù)會(huì)嘉賓分享PPT和錄播視頻。

看完心動(dòng)了嗎？

戳👇“閱讀原文”直達(dá)招聘頁(yè)面

即刻加入愛(ài)奇藝！

也許你還想看

一切數(shù)據(jù)皆可配置：愛(ài)奇藝海外站的運(yùn)營(yíng)后臺(tái)設(shè)計(jì)實(shí)踐

愛(ài)奇藝x英特爾 “黑科技”讓你的 AI隔空手勢(shì)來(lái)了次“升級(jí)”

愛(ài)奇藝本地實(shí)時(shí)Cache方案愛(ài)奇藝數(shù)據(jù)質(zhì)量監(jiān)控的探索和實(shí)踐

愛(ài)奇藝數(shù)據(jù)質(zhì)量監(jiān)控的探索和實(shí)踐

?關(guān)注我們，更多精彩內(nèi)容陪伴你！

總結(jié)

以上是生活随笔為你收集整理的爱奇艺埋点投递治理实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。