業(yè)務(wù)介紹

AliExpress（簡稱AE）是從集團內(nèi)wholesale孵化出來面向全球消費者的B2C電商平臺，目前也是全球化電商業(yè)務(wù)的排頭兵。當(dāng)前AE為全球220+個國家提供在線購物服務(wù)，支持3端（PC、Msite和APP）、18+種語言，有5個獨立分站（印尼、俄羅斯、巴西、西班牙、法國）和2個本地站（西班牙Plaza和俄羅斯Tmall）為當(dāng)?shù)靥峁└毣姆?wù)。

業(yè)務(wù)挑戰(zhàn)

營銷是電商業(yè)務(wù)的核心場景，本質(zhì)是解決人貨場的匹配問題。而大數(shù)據(jù)時代，傳統(tǒng)的小二人工運營的方式越來越力不從心，AE數(shù)據(jù)智能中臺賦能小二們在海量用戶和商品里進行人貨匹配，釋放小二們的壓力，從而更快、更精準(zhǔn)的營銷。

去年AE數(shù)據(jù)智能中臺在雙十一中小試牛刀，效果得到了業(yè)務(wù)團隊的普遍認可。然而今年由于疫情等各種復(fù)雜的國際形勢，對AE智能化產(chǎn)生了更多的賦能場景，而這些場景對支撐業(yè)務(wù)的數(shù)據(jù)系統(tǒng)也提出了更高的要求和挑戰(zhàn)。

時效性---速度要快

AE的場景基本都是實時營銷，如果給用戶的營銷是基于非實時的數(shù)據(jù)計算出來的結(jié)果，會大幅降低運營的決策效率。以會場調(diào)控舉例，需要在雙十一大促期間從修改選品池條件到生效到會場整體時間穩(wěn)定在10分鐘以內(nèi)，運營根據(jù)實時看板的秒級粒度的大促數(shù)據(jù)表現(xiàn)，以修改選品規(guī)則進行實時調(diào)控，解決商品疲勞、會場投放效果差、調(diào)整會場貨品結(jié)構(gòu)布局等問題。

智能型---效果要準(zhǔn)

相對于傳統(tǒng)的小二憑借自身知識營銷，AE數(shù)據(jù)智能平臺需要支持各種分析需求，既有基于規(guī)則的簡單分析需求，又有大數(shù)據(jù)分析需求，越多的數(shù)據(jù)緯度，越多的成交數(shù)據(jù)，分析出來的結(jié)果就越精確，效果越好。以人群洞察為例，需要使用各種聚類算法嘗試對用戶進行分組，從而找到相似的客群。傳統(tǒng)的數(shù)據(jù)庫已經(jīng)不滿足這種復(fù)雜分析需求。

耐操型---使用要狠

在大促期間，既有來自于多用戶高QPS的分析查詢，又有各種復(fù)雜離線需求，同時這些離線計算不能影響用戶的即時分析。以用戶洞察為例，既需要秒級響應(yīng)用戶TGI的計算，又需要支持復(fù)雜聚類算法的計算；而實時會場調(diào)控也需要支持高QPS的在線統(tǒng)計和將大數(shù)據(jù)量結(jié)果同時導(dǎo)出給會場展現(xiàn)引擎，同時還有大數(shù)據(jù)量的實時寫入，還需要數(shù)據(jù)實時可見，這樣狠的使用方式，一般的數(shù)倉根本滿足不了。

簡易型---使用要省

在滿足以上條件的情況下，往往會使用鏈路很長的復(fù)雜大數(shù)據(jù)方案，同時對于開發(fā)者，既要去掌握多平臺的開發(fā)能力，又要在使用上區(qū)分不同的場景使用不同的系統(tǒng)，這個開發(fā)運維成本都非常的大。故AE數(shù)據(jù)智能平臺需要一個數(shù)倉，使用簡單的sql就可以滿足用戶的所以需求，達到事半功倍的效果。

AnalyticDB--快準(zhǔn)狠省的云原生實時數(shù)倉

AnalyticDB是阿里云自研的云原生數(shù)倉，全面兼容MySQL語法，為分析而生，擁有出色的分析性能。

數(shù)據(jù)寫入實時可見

會場實時調(diào)控對數(shù)據(jù)的時效性要求高，AnalyticDB數(shù)據(jù)寫入后實時可見，可以使運營小二的調(diào)控效果實時的反映到會場上，同時AE會場的實時效果數(shù)據(jù)，從產(chǎn)生到分析到?jīng)Q策應(yīng)用，從原來的天級別或者小時級別縮短在10分鐘以內(nèi)。數(shù)據(jù)寫入實時可見充分滿足了AE對時效性的要求。

高性能高并行度

AnalyticDB不僅數(shù)據(jù)寫入生效快，計算也快得當(dāng)仁不讓，AnalyticDB在業(yè)界權(quán)威性能TPC-DS榜上連續(xù)兩年奪得第一名，擁有行列混存、自適應(yīng)索引，結(jié)合向量化的分布式執(zhí)行引擎實現(xiàn)大部分復(fù)雜查詢在毫秒級完成，全面滿足AE智能營銷各個場景的性能需求：人群洞察場景中人群間的DiffScore計算秒級響應(yīng)；基于AnalyticDB的進行分析決策，在高峰期平均每小時進行了4800次有效流量調(diào)控，平均每分鐘進行80次。

支持各種大數(shù)據(jù)分析需求

? ??AnalyticDB不僅支持高QPS的即時查詢，同時也支持各種類型的大數(shù)據(jù)分析能力，用戶洞察業(yè)務(wù)里AnalyticDB支持了業(yè)務(wù)的多種聚類算法，從而滿足AE的智能化需求。

在離線一體化數(shù)倉

借助混合負載管理能力，不管用戶的查詢情況多“狠”，AnalyticDB都可以以最高性能完成用戶的所有查詢，同時保證在線查詢不受離線/batch查詢影響。在實時會場調(diào)控中，AnalyticDB支撐了平均每分鐘80次的導(dǎo)出，每次導(dǎo)出平均100w條記錄，1w/s的實時寫入、10qps的秒級查詢的混合壓力。

MySQL兼容

好用是數(shù)據(jù)庫價值真正的體現(xiàn)，AnalyticDB高度兼容MySQL，基本無需修改代碼即可像使用MySQL一樣使用AnalyticDB，簡單易用。對于AE智能平臺的用戶--商家和小二來講，會MySQL語法就掌握了全套的大數(shù)據(jù)分析能力。在AE業(yè)務(wù)里用戶圈選，分析一體化，tgi，聚類計算等等都是直接使用SQL全部完成。

業(yè)務(wù)實踐

業(yè)務(wù)架構(gòu)

業(yè)務(wù)概述

數(shù)據(jù)智能部使命：致力于全面集成 AliExpress 數(shù)據(jù)分析體系，以數(shù)據(jù)服務(wù)化的形式，支撐用戶增長、導(dǎo)購營銷、社交互動等業(yè)務(wù)場景，通過與 AnalyticDB 的深度合作與共建，將原有臃腫的離線數(shù)據(jù)服務(wù)鏈路，打造成快、準(zhǔn)、狠、省的實時化鏈路，通過人、貨、場等多維度的標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)，提升運營小二、商家的運營效率。

架構(gòu)升級

使用AnalyticDB之前的數(shù)據(jù)處理鏈路

在計算引擎框中因為多種計算需求的原因，引入了兩種計算引擎：

• MaxCompute: 滿足數(shù)據(jù)批計算需求
• Pai: 滿足算法分析需求

計算出來的結(jié)果會同步到兩個地方：

• 會場展現(xiàn)引擎： 分析的結(jié)果對線上生效。
• HBase：結(jié)果存儲在HBase里供其它業(yè)務(wù)高QPS查詢。

這樣的方案除了鏈路復(fù)雜外，更本質(zhì)的是滿足不了業(yè)務(wù)實時性需求以及高并發(fā)高性能需求。實時會場調(diào)控在這條鏈路下時效性日常30分鐘，大促繁忙時2小時以上。

使用AnalyticDB后的數(shù)據(jù)處理鏈路

AnalyticDB作為一個云原生實時倉庫，增加 Embedding Algorithm 模塊，實現(xiàn)了算法與分析的一體化能力，極大的縮短了數(shù)據(jù)處理鏈路。

如上，AnalyticDB解決了所有的計算需求。實時會場調(diào)控的時效性縮小到6分鐘。AnalyticDB MySQL作為鏈路核心，支撐了AE業(yè)務(wù)的快準(zhǔn)狠省的智能營銷。在數(shù)據(jù)時效性、高并發(fā)、低延時以及復(fù)雜分析等方面提供了強力的保障。

效果展示

圖示摘自 AE 數(shù)據(jù)銀行商家版，通過實時標(biāo)簽、AIPL 趨勢分析、實時人群畫像、秒級人群生成、效果監(jiān)控等核心能力，豐富了商家自主運營的手段，目前已成為商家店鋪運營的核心產(chǎn)品之一。

店鋪用戶分析

人群顯著性特征分析

人群畫像分析

投放效果分析

未來展望

今年AE智能中臺在營銷場景中借助AnalyticDB的能力得到了長足的進步，特別在雙十一大促中，表現(xiàn)絲般順滑。未來將繼續(xù)融入AnalyticDB的最新能力進行工程架構(gòu)上的升級。

全鏈路實時化演進

隨著業(yè)界軟硬件技術(shù)的發(fā)展，全鏈路實時化的路徑變得越來越清晰，數(shù)據(jù)智能部在關(guān)注數(shù)據(jù)內(nèi)容建設(shè)之外，也著手于全鏈路實時化的探索與演進。未來，數(shù)據(jù)智能部將投入大量的人力，將 AE 的離線鏈路遷移至實時化鏈路，從算法到工程，從數(shù)據(jù)到服務(wù)，依托于 AnalyticDB 的強大能力，加快小二與商家的運營效率，以應(yīng)對瞬息萬變的全球化電商市場。

數(shù)據(jù)服務(wù)成本降低研究

業(yè)務(wù)資源隔離

AE的業(yè)務(wù)繁多，經(jīng)常出現(xiàn)多個業(yè)務(wù)共用一個庫，其中有些是雙十一在線重點保障業(yè)務(wù)，而有些是測試需求臨時搭建的業(yè)務(wù)，在大促中出現(xiàn)未經(jīng)過壓測的復(fù)雜測試業(yè)務(wù)搶占重保業(yè)務(wù)的資源，作為AE平臺，要么增加成本，物理上嚴(yán)格分離這兩個業(yè)務(wù)；要么進行人工管理這兩個業(yè)務(wù)的資源。在 AnalyticDB MySQL版新推出的彈性形態(tài)下實現(xiàn)了資源組功能，通過新建資源組可以從現(xiàn)有實例劃分出部分計算節(jié)點，這些計算節(jié)點資源只歸屬該資源組。AE平臺直接將業(yè)務(wù)綁定到不同的資源組，從而滿足內(nèi)部多租戶隔離、混合負載的需求。資源組的創(chuàng)建、修改、刪除等操作都可以在線實時生效，并可以通過API與用戶業(yè)務(wù)系統(tǒng)進行深度融合，實現(xiàn)全自動調(diào)配。

存儲計算分離

AE智能營銷經(jīng)過這么多的工作取得了非常不錯的效果，但同時AE智能平臺仍時刻關(guān)注成本的投入，AnalyticDB高性能實例是按存儲能力來計費的，而不同的業(yè)務(wù)場景計算和存儲的開銷卻不是一致的，甚至相差很大。比如人群洞察業(yè)務(wù)來講，聚類算法的計算開銷要求更多的資源，相對于計算，存儲需要的資源是少量的，故后續(xù)也需要使用AnalyticDB彈性功能中的存儲計算分離能力進行成本的降低。

彈性擴容

在存儲計算分離的情況下，能夠自動根據(jù)負載進行彈性庫容，便于管控。AE業(yè)務(wù)作為典型的電商場景來講，具有很明顯的峰值和低谷流量時刻。而目前的AnalyticDB高性能模式是資源預(yù)分配模式，在絕大部分低谷流量時刻，資源也是在進行計費。而AnalyticDB新推出的彈性形態(tài)下自動彈性擴縮功能可以在保證業(yè)務(wù)服務(wù)能力的情況下，同時大幅度降低閑時成本。

數(shù)據(jù)查詢服務(wù)可行性研究

AE智能業(yè)務(wù)里很多數(shù)據(jù)都會在HBase里存一份，比如現(xiàn)在的架構(gòu)里會場的計算結(jié)果仍然會在HBase里放一份，用來后續(xù)業(yè)務(wù)高QPS點查，這個場景AnalyticDB已經(jīng)具備高QPS點查能力，目前正在展開前期相關(guān)工作，進行KV系統(tǒng)的替換，使用AnalyticDB為AE智能平臺提供全站數(shù)據(jù)服務(wù)。

智能化診斷

需要做好監(jiān)控和邊界問題的發(fā)現(xiàn)機制，在出現(xiàn)問題時能夠快速定位。期望能夠充分利用AnalyticDB的監(jiān)控能力，在出現(xiàn)問題前第一時間預(yù)警，規(guī)避問題的發(fā)生。為此，AnalyticDB將提供全方位、多維度以及準(zhǔn)實時的實例運行狀況洞察能力，通過對實例內(nèi)部的各類運行日志和時序指標(biāo)進行算法建模，提供出問題前準(zhǔn)確預(yù)測、出問題時及時告警、處理問題時精準(zhǔn)定位的能力，確保不影響用戶上層業(yè)務(wù)。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的AliExpress智能营销引擎大揭秘 - AnalyticDB如何做到快准狠省的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。