數(shù)倉 DW層中主題表之頁面交互事件概況主題(分享,點贊,收藏)
1. 背景
在大數(shù)據(jù)開發(fā)中,本身的數(shù)據(jù)處理分析目的一般就是2類,一個是基于現(xiàn)有數(shù)據(jù)找出規(guī)律,做總結(jié)和分類統(tǒng)計。一個是基于現(xiàn)有數(shù)據(jù)找出規(guī)律,然后訓(xùn)練出模型,最后預(yù)測未來變化。
- 前者就是傳統(tǒng)的大數(shù)據(jù)分析和處理
- 后者就是近幾年火起來的機器學(xué)習(xí)
大數(shù)據(jù)處理中,數(shù)據(jù)來源一般是三大類,爬蟲數(shù)據(jù),行為日志埋點數(shù)據(jù),業(yè)務(wù)數(shù)據(jù)。當(dāng)然特殊場合還會有購買來的線程數(shù)據(jù)。行為日志數(shù)據(jù)中,顧名思義,一般就是對用戶行為記錄的數(shù)據(jù),由于目前都是互聯(lián)網(wǎng)迭代敏捷開發(fā),一個功能出現(xiàn)后,并不能很好確定對業(yè)務(wù)和業(yè)績帶來的變化是正面還是負(fù)面,以及影響程度。這時候就可以從行為日志中對一些基本指標(biāo)做統(tǒng)計,從側(cè)面來評估一個功能或者頁面,或者流程對現(xiàn)有用戶和業(yè)務(wù)業(yè)績的影響。贊,轉(zhuǎn),踩,收藏,很常見的四個指標(biāo),互聯(lián)網(wǎng)需求開發(fā)中會經(jīng)常遇到。本文就是解析基于行為日志數(shù)據(jù)對這幾個指標(biāo)做統(tǒng)計分析
2. 分享
分享的行為日志模擬數(shù)據(jù)
{"account":"","appId":"cn.doitedu.app1","appVersion":"3.4","carrier":"中國移動","deviceId":"8QEmr7ljihxQ","deviceType":"GALAXY-2","eventId":"share","ip":"237.104.179.108","latitude":26.48286080225125,"longitude":106.05814604570286,"netType":"3G","osName":"android","osVersion":"6.5","properties":{"pageId":"301","productId":"888","shareMethod":"qq空間","title":"PhT KoH yhG","url":"ril/wkL"},"releaseChannel":"檸檬助手","resolution":"1024*768","sessionId":"OQSWOhT8WsC","timeStamp":1602063077854}
需要的指標(biāo)數(shù)據(jù)統(tǒng)計思路
- 因為數(shù)據(jù)是每天產(chǎn)生的,所以每日滾動做分析,按照日期做分區(qū)存儲,這個指標(biāo)沒問題
- 商品品類,商品品牌,所在頁面,所述欄目,分享平臺都是現(xiàn)成的上報字段,直接獲取即可
- 時段,這里需要確定一下口徑,本文以時間向下取整,計算出所述的小時時段
- 設(shè)備類型,也是現(xiàn)成指標(biāo),但這里需要確定設(shè)備類型是大類型還是小類型(手機、平板;抑或是安卓,ios手機;抑或是精確到 手機品牌?)
- 分享次數(shù),顧名思義,就是統(tǒng)計eventId是share類型的數(shù)據(jù)條數(shù)
- 分享人數(shù),這里需要count時,基于guid進(jìn)行distinct統(tǒng)計
綜上,無法一次性拿到所有指標(biāo),所以分2部分獲取,一部分直接拿對應(yīng)的指標(biāo),并按照對應(yīng)字段做group by統(tǒng)計。注意加上guid作為group by字段;另外一部分直接計算分享次數(shù),分享人數(shù)等統(tǒng)計
3. 點贊
點贊的行為日志模擬數(shù)據(jù)
{"account":"wWRAho9y","appId":"cn.doitedu.app1","appVersion":"3.4","carrier":"騰訊移動","deviceId":"8MHvYuyzpkYB","deviceType":"MI-10","eventId":"thumbup","ip":"71.108.129.236","latitude":28.223969803957008,"longitude":106.58697132089286,"netType":"WIFI","osName":"android","osVersion":"8.0","properties":{"pageId":"744","productId":"215","title":"lAW cLb jmC","url":"Mat/akI"},"releaseChannel":"小米應(yīng)用商店","resolution":"1024*768","sessionId":"zJ6FB9XqKQw","timeStamp":1602063084875}
需要的指標(biāo)
分析思路,和上述分享是一樣的
4. 收藏
收藏的行為日志模擬數(shù)據(jù)
{"account":"OojqS36Vk","appId":"cn.doitedu.app1","appVersion":"4.0","carrier":"中國移動","deviceId":"5hZaxgYv2Vdp","deviceType":"REDMI-6","eventId":"collect","ip":"228.241.223.115","latitude":34.344448280621755,"longitude":105.58117092708984,"netType":"WIFI","osName":"android","osVersion":"7.5","properties":{"pageId":"890","productId":"959","title":"Baa kvn sIi","url":"rQY/iFa"},"releaseChannel":"拇指玩","resolution":"1024*768","sessionId":"6xyR0rGoA0Y","timeStamp":1602063085415}
所需要指標(biāo)分析思路,和分享是一樣的解決思路
總結(jié)
以上是生活随笔為你收集整理的数仓 DW层中主题表之页面交互事件概况主题(分享,点赞,收藏)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。