业务场景下数据采集机制和策略
一、場景描述
做面向C端用戶的產品,十分依賴用戶數據的收集,下面都見過這樣一張數據分析圖,通過鏈路上各個環節的數據采集,分析對比出曝光產品的交易量:
通過對商品的瀏覽-點擊-交易頁面-支付購買等,分析產品的交易場景,這里是從大的業務方面觀察數據的鏈路,實際上在分析的時候要考慮很多細節問題。
二、數據來源
用戶數據來衡量用戶或者產品的各方面緯度是最具有說服力的,所以在互聯網的產品后期開發和優化過程中,對數據的采集和管理一直都是非常重要操作。
現在產品常見的客戶端有PC端、H5端、APP端、小程序等各個場景的入口,更有一些物聯網設備或者專門做的數據采集機制,不同的場景下的數據類型都是要區分的。通過不同端口下各類數據埋點,獲取各個場景下的不同事件的數據來分析產品的優缺點,獲取具有建設性的分析結果。
例如模塊一中的案例:通過對端口的分析如果在APP端商品A的推薦和交易率最高,在小程序端推薦效果不好,那就可以考慮針對APP和小程序端采用不同的推薦機制。
三、事件類型劃分
數據需要采集,并且要區分不同端口的數據只是基本的意識層面,思考采集數據的事件類型是最基礎的操作。這里要從產品的特點去考慮,不同一概而論。下面提供一些基礎采集數據和一些常見案例,關于核心業務數據相對都是精細和完整的,基本具備讀庫直接分析的條件。
基礎信息
| 操作終端 | app_client | String | Android/IOS/小程序/H5等 |
| 終端版本 | app_version | String | 版本號標識 |
| 用戶標識 | user_id | Integer | 用戶ID |
| 網絡地址 | ip_address | String | 用戶IP信息 |
這些信息是存在任何采點數據中的,通過這些基礎信息采集,用來分析不同端口下用戶的特點,以此可以進行差異化的管理和運營。
登錄信息
| 登錄時間 | login_time | Date | 用戶登錄時間 |
| 在線時長 | online_time | Long | 在線使用系統的時間 |
通過對登錄和在線時間,以及一些使用信息,判斷該類用戶活躍度,是否需要重點運營或者營銷激活。
業務基礎
| 服務類型 | service_id | Integer | 不同的業務服務 |
| 模塊劃分 | model_type | Integer | 例如訂單/支付/物流等 |
以此作為業務數據采集的基礎信息,用來對業務數據做整體的劃分和分析,具體的細節數據需要根據具體場景設計。
商品案例
| 商品信息 | product_id | Integer | 商品信息 |
| 展現位置 | position_id | Integer | 例如:列表/推薦位/廣告位 |
| 店鋪信息 | shop_id | Integer | 所屬店鋪信息 |
| 搜索信息 | key_word | String | 搜索關鍵字 |
| 當前單價 | unit_price | Double | 商品當前單價 |
| 當前銷量 | sales_num | Long | 商品當前銷量 |
這里是按照用戶瀏覽行為做的一個簡單的數據采集信息,這種機制在實際的電商APP中很常見,產生點擊或者搜索的商品會被重點推薦,如果沒有這類動作,則根據日常瀏覽信息做推薦機制。在實際的開發中,采集的數據遠比這里復雜,需要根據實際業務需要去考量。
營銷案例
| 活動位置 | location_id | Integer | 入口位/引導頁/推薦位/分享鏈接等 |
| 營銷產品 | product_id | Long | 營銷活動主打產品類型 |
| 產品詳情流量 | detail_num | Long | 活動產品瀏覽量統計 |
| 訂單確認頁 | detail_num | Long | 活動產品瀏覽量統計 |
| 活動交易統計 | trade_num | Long | 活動最終轉化統計 |
通過運營活動進行產品營銷,活動結束后對數據進行復盤統計,然后根據活動軌跡數據的分析,平衡營銷產生的價值和成本,不斷調整活動策略,優化運營思路。
四、實現方式
1、業務層面
從業務角度來看,除了一些用戶無感知的采集操作之外,還可以基于問卷調查方式,例如很多APP在使用一段時間后都會彈出用戶評價類似的評分系統,或者意見留言的入口,更加直接的搜集用戶反饋信息。
2、技術層面
最常見的就是SDK埋點技術,針對特定用戶行為或事件進行捕獲、處理和發送給服務器的相關技術及其實施過程。這種方式用來處理一些非核心業務十分常見。如果是一些核心業務,可能需要自定義的方式采集數據,避免造成數據泄露的問題。
3、數據積累
當業務不斷發展,需要分析的場景會越來越復雜,而且采集的數據量達到一定規模之后,數據管理的和分析的難度就會變大,就會需要專業化的流程和智能工具,例如BI工具,可視化組件,數據大屏,多場景聯合分析等。
五、源代碼地址
GitHub·地址 https://github.com/cicadasmile GitEE·地址 https://gitee.com/cicadasmile推薦閱讀:編程體系整理
| 01 | Java描述設計模式,算法,數據結構 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆☆ |
| 02 | Java基礎、并發、面向對象、Web開發 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆ |
| 03 | SpringCloud微服務基礎組件案例詳解 | GitHub·點這里 | GitEE·點這里 | ☆☆☆ |
| 04 | SpringCloud微服務架構實戰綜合案例 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆☆ |
| 05 | SpringBoot框架基礎應用入門到進階 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆ |
| 06 | SpringBoot框架整合開發常用中間件 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆☆ |
| 07 | 數據管理、分布式、架構設計基礎案例 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆☆ |
| 08 | 大數據系列、存儲、組件、計算等框架 | GitHub·點這里 | GitEE·點這里 | ☆☆☆☆☆ |
總結
以上是生活随笔為你收集整理的业务场景下数据采集机制和策略的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MySQL基础篇(07):用户和权限管理
- 下一篇: MySQL基础篇(06):事务管理,锁机