簡(jiǎn)介：AliExpress（簡(jiǎn)稱(chēng)AE）是從集團(tuán)內(nèi)wholesale孵化出來(lái)面向全球消費(fèi)者的B2C電商平臺(tái)，目前也是全球化電商業(yè)務(wù)的排頭兵。AnalyticDB MySQL作為鏈路核心，支撐了AE業(yè)務(wù)的快準(zhǔn)狠省的智能營(yíng)銷(xiāo)。在數(shù)據(jù)時(shí)效性、高并發(fā)、低延時(shí)以及復(fù)雜分析等方面提供了強(qiáng)力的保障。

作者：阿四（陳地樹(shù)）AliExpress-高級(jí)技術(shù)專(zhuān)家，發(fā)條（莫云鵬）AliExpress-資深開(kāi)發(fā)工程師

業(yè)務(wù)介紹

AliExpress（簡(jiǎn)稱(chēng)AE）是從集團(tuán)內(nèi)wholesale孵化出來(lái)面向全球消費(fèi)者的B2C電商平臺(tái)，目前也是全球化電商業(yè)務(wù)的排頭兵。當(dāng)前AE為全球220+個(gè)國(guó)家提供在線購(gòu)物服務(wù)，支持3端（PC、Msite和APP）、18+種語(yǔ)言，有5個(gè)獨(dú)立分站（印尼、俄羅斯、巴西、西班牙、法國(guó)）和2個(gè)本地站（西班牙Plaza和俄羅斯Tmall）為當(dāng)?shù)靥峁└?xì)化的服務(wù)。

業(yè)務(wù)挑戰(zhàn)

營(yíng)銷(xiāo)是電商業(yè)務(wù)的核心場(chǎng)景，本質(zhì)是解決人貨場(chǎng)的匹配問(wèn)題。而大數(shù)據(jù)時(shí)代，傳統(tǒng)的小二人工運(yùn)營(yíng)的方式越來(lái)越力不從心，AE數(shù)據(jù)智能中臺(tái)賦能小二們?cè)诤Ａ坑脩艉蜕唐防镞M(jìn)行人貨匹配，釋放小二們的壓力，從而更快、更精準(zhǔn)的營(yíng)銷(xiāo)。

去年AE數(shù)據(jù)智能中臺(tái)在雙十一中小試牛刀，效果得到了業(yè)務(wù)團(tuán)隊(duì)的普遍認(rèn)可。然而今年由于疫情等各種復(fù)雜的國(guó)際形勢(shì)，對(duì)AE智能化產(chǎn)生了更多的賦能場(chǎng)景，而這些場(chǎng)景對(duì)支撐業(yè)務(wù)的數(shù)據(jù)系統(tǒng)也提出了更高的要求和挑戰(zhàn)。

時(shí)效性---速度要快

AE的場(chǎng)景基本都是實(shí)時(shí)營(yíng)銷(xiāo)，如果給用戶的營(yíng)銷(xiāo)是基于非實(shí)時(shí)的數(shù)據(jù)計(jì)算出來(lái)的結(jié)果，會(huì)大幅降低運(yùn)營(yíng)的決策效率。以會(huì)場(chǎng)調(diào)控舉例，需要在雙十一大促期間從修改選品池條件到生效到會(huì)場(chǎng)整體時(shí)間穩(wěn)定在10分鐘以?xún)?nèi)，運(yùn)營(yíng)根據(jù)實(shí)時(shí)看板的秒級(jí)粒度的大促數(shù)據(jù)表現(xiàn)，以修改選品規(guī)則進(jìn)行實(shí)時(shí)調(diào)控，解決商品疲勞、會(huì)場(chǎng)投放效果差、調(diào)整會(huì)場(chǎng)貨品結(jié)構(gòu)布局等問(wèn)題。

智能型---效果要準(zhǔn)

相對(duì)于傳統(tǒng)的小二憑借自身知識(shí)營(yíng)銷(xiāo)，AE數(shù)據(jù)智能平臺(tái)需要支持各種分析需求，既有基于規(guī)則的簡(jiǎn)單分析需求，又有大數(shù)據(jù)分析需求，越多的數(shù)據(jù)緯度，越多的成交數(shù)據(jù)，分析出來(lái)的結(jié)果就越精確，效果越好。以人群洞察為例，需要使用各種聚類(lèi)算法嘗試對(duì)用戶進(jìn)行分組，從而找到相似的客群。傳統(tǒng)的數(shù)據(jù)庫(kù)已經(jīng)不滿足這種復(fù)雜分析需求。

耐操型---使用要狠

在大促期間，既有來(lái)自于多用戶高QPS的分析查詢(xún)，又有各種復(fù)雜離線需求，同時(shí)這些離線計(jì)算不能影響用戶的即時(shí)分析。以用戶洞察為例，既需要秒級(jí)響應(yīng)用戶TGI的計(jì)算，又需要支持復(fù)雜聚類(lèi)算法的計(jì)算；而實(shí)時(shí)會(huì)場(chǎng)調(diào)控也需要支持高QPS的在線統(tǒng)計(jì)和將大數(shù)據(jù)量結(jié)果同時(shí)導(dǎo)出給會(huì)場(chǎng)展現(xiàn)引擎，同時(shí)還有大數(shù)據(jù)量的實(shí)時(shí)寫(xiě)入，還需要數(shù)據(jù)實(shí)時(shí)可見(jiàn)，這樣狠的使用方式，一般的數(shù)倉(cāng)根本滿足不了。

簡(jiǎn)易型---使用要省

在滿足以上條件的情況下，往往會(huì)使用鏈路很長(zhǎng)的復(fù)雜大數(shù)據(jù)方案，同時(shí)對(duì)于開(kāi)發(fā)者，既要去掌握多平臺(tái)的開(kāi)發(fā)能力，又要在使用上區(qū)分不同的場(chǎng)景使用不同的系統(tǒng)，這個(gè)開(kāi)發(fā)運(yùn)維成本都非常的大。故AE數(shù)據(jù)智能平臺(tái)需要一個(gè)數(shù)倉(cāng)，使用簡(jiǎn)單的sql就可以滿足用戶的所以需求，達(dá)到事半功倍的效果。

AnalyticDB--快準(zhǔn)狠省的云原生實(shí)時(shí)數(shù)倉(cāng)

AnalyticDB是阿里云自研的云原生數(shù)倉(cāng)，全面兼容MySQL語(yǔ)法，為分析而生，擁有出色的分析性能。

數(shù)據(jù)寫(xiě)入實(shí)時(shí)可見(jiàn)

會(huì)場(chǎng)實(shí)時(shí)調(diào)控對(duì)數(shù)據(jù)的時(shí)效性要求高，AnalyticDB數(shù)據(jù)寫(xiě)入后實(shí)時(shí)可見(jiàn)，可以使運(yùn)營(yíng)小二的調(diào)控效果實(shí)時(shí)的反映到會(huì)場(chǎng)上，同時(shí)AE會(huì)場(chǎng)的實(shí)時(shí)效果數(shù)據(jù)，從產(chǎn)生到分析到?jīng)Q策應(yīng)用，從原來(lái)的天級(jí)別或者小時(shí)級(jí)別縮短在10分鐘以?xún)?nèi)。數(shù)據(jù)寫(xiě)入實(shí)時(shí)可見(jiàn)充分滿足了AE對(duì)時(shí)效性的要求。

高性能高并行度

AnalyticDB不僅數(shù)據(jù)寫(xiě)入生效快，計(jì)算也快得當(dāng)仁不讓，AnalyticDB在業(yè)界權(quán)威性能TPC-DS榜上連續(xù)兩年奪得第一名，擁有行列混存、自適應(yīng)索引，結(jié)合向量化的分布式執(zhí)行引擎實(shí)現(xiàn)大部分復(fù)雜查詢(xún)?cè)诤撩爰?jí)完成，全面滿足AE智能營(yíng)銷(xiāo)各個(gè)場(chǎng)景的性能需求：人群洞察場(chǎng)景中人群間的DiffScore計(jì)算秒級(jí)響應(yīng)；基于AnalyticDB的進(jìn)行分析決策，在高峰期平均每小時(shí)進(jìn)行了4800次有效流量調(diào)控，平均每分鐘進(jìn)行80次。

支持各種大數(shù)據(jù)分析需求

? ??AnalyticDB不僅支持高QPS的即時(shí)查詢(xún)，同時(shí)也支持各種類(lèi)型的大數(shù)據(jù)分析能力，用戶洞察業(yè)務(wù)里AnalyticDB支持了業(yè)務(wù)的多種聚類(lèi)算法，從而滿足AE的智能化需求。

在離線一體化數(shù)倉(cāng)

借助混合負(fù)載管理能力，不管用戶的查詢(xún)情況多“狠”，AnalyticDB都可以以最高性能完成用戶的所有查詢(xún)，同時(shí)保證在線查詢(xún)不受離線/batch查詢(xún)影響。在實(shí)時(shí)會(huì)場(chǎng)調(diào)控中，AnalyticDB支撐了平均每分鐘80次的導(dǎo)出，每次導(dǎo)出平均100w條記錄，1w/s的實(shí)時(shí)寫(xiě)入、10qps的秒級(jí)查詢(xún)的混合壓力。

MySQL兼容

好用是數(shù)據(jù)庫(kù)價(jià)值真正的體現(xiàn)，AnalyticDB高度兼容MySQL，基本無(wú)需修改代碼即可像使用MySQL一樣使用AnalyticDB，簡(jiǎn)單易用。對(duì)于AE智能平臺(tái)的用戶--商家和小二來(lái)講，會(huì)MySQL語(yǔ)法就掌握了全套的大數(shù)據(jù)分析能力。在AE業(yè)務(wù)里用戶圈選，分析一體化，tgi，聚類(lèi)計(jì)算等等都是直接使用SQL全部完成。

業(yè)務(wù)實(shí)踐

業(yè)務(wù)架構(gòu)

業(yè)務(wù)概述

數(shù)據(jù)智能部使命：致力于全面集成 AliExpress 數(shù)據(jù)分析體系，以數(shù)據(jù)服務(wù)化的形式，支撐用戶增長(zhǎng)、導(dǎo)購(gòu)營(yíng)銷(xiāo)、社交互動(dòng)等業(yè)務(wù)場(chǎng)景，通過(guò)與 AnalyticDB 的深度合作與共建，將原有臃腫的離線數(shù)據(jù)服務(wù)鏈路，打造成快、準(zhǔn)、狠、省的實(shí)時(shí)化鏈路，通過(guò)人、貨、場(chǎng)等多維度的標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)，提升運(yùn)營(yíng)小二、商家的運(yùn)營(yíng)效率。

架構(gòu)升級(jí)

使用AnalyticDB之前的數(shù)據(jù)處理鏈路

在計(jì)算引擎框中因?yàn)槎喾N計(jì)算需求的原因，引入了兩種計(jì)算引擎：

• MaxCompute: 滿足數(shù)據(jù)批計(jì)算需求
• Pai: 滿足算法分析需求

計(jì)算出來(lái)的結(jié)果會(huì)同步到兩個(gè)地方：

• 會(huì)場(chǎng)展現(xiàn)引擎： 分析的結(jié)果對(duì)線上生效。
• HBase：結(jié)果存儲(chǔ)在HBase里供其它業(yè)務(wù)高QPS查詢(xún)。

這樣的方案除了鏈路復(fù)雜外，更本質(zhì)的是滿足不了業(yè)務(wù)實(shí)時(shí)性需求以及高并發(fā)高性能需求。實(shí)時(shí)會(huì)場(chǎng)調(diào)控在這條鏈路下時(shí)效性日常30分鐘，大促繁忙時(shí)2小時(shí)以上。

使用AnalyticDB后的數(shù)據(jù)處理鏈路

AnalyticDB作為一個(gè)云原生實(shí)時(shí)倉(cāng)庫(kù)，增加 Embedding Algorithm 模塊，實(shí)現(xiàn)了算法與分析的一體化能力，極大的縮短了數(shù)據(jù)處理鏈路。

如上，AnalyticDB解決了所有的計(jì)算需求。實(shí)時(shí)會(huì)場(chǎng)調(diào)控的時(shí)效性縮小到6分鐘。AnalyticDB MySQL作為鏈路核心，支撐了AE業(yè)務(wù)的快準(zhǔn)狠省的智能營(yíng)銷(xiāo)。在數(shù)據(jù)時(shí)效性、高并發(fā)、低延時(shí)以及復(fù)雜分析等方面提供了強(qiáng)力的保障。

效果展示

圖示摘自 AE 數(shù)據(jù)銀行商家版，通過(guò)實(shí)時(shí)標(biāo)簽、AIPL 趨勢(shì)分析、實(shí)時(shí)人群畫(huà)像、秒級(jí)人群生成、效果監(jiān)控等核心能力，豐富了商家自主運(yùn)營(yíng)的手段，目前已成為商家店鋪運(yùn)營(yíng)的核心產(chǎn)品之一。

店鋪用戶分析

人群顯著性特征分析

人群畫(huà)像分析

投放效果分析

未來(lái)展望

今年AE智能中臺(tái)在營(yíng)銷(xiāo)場(chǎng)景中借助AnalyticDB的能力得到了長(zhǎng)足的進(jìn)步，特別在雙十一大促中，表現(xiàn)絲般順滑。未來(lái)將繼續(xù)融入AnalyticDB的最新能力進(jìn)行工程架構(gòu)上的升級(jí)。

全鏈路實(shí)時(shí)化演進(jìn)

隨著業(yè)界軟硬件技術(shù)的發(fā)展，全鏈路實(shí)時(shí)化的路徑變得越來(lái)越清晰，數(shù)據(jù)智能部在關(guān)注數(shù)據(jù)內(nèi)容建設(shè)之外，也著手于全鏈路實(shí)時(shí)化的探索與演進(jìn)。未來(lái)，數(shù)據(jù)智能部將投入大量的人力，將 AE 的離線鏈路遷移至實(shí)時(shí)化鏈路，從算法到工程，從數(shù)據(jù)到服務(wù)，依托于 AnalyticDB 的強(qiáng)大能力，加快小二與商家的運(yùn)營(yíng)效率，以應(yīng)對(duì)瞬息萬(wàn)變的全球化電商市場(chǎng)。

數(shù)據(jù)服務(wù)成本降低研究

業(yè)務(wù)資源隔離

AE的業(yè)務(wù)繁多，經(jīng)常出現(xiàn)多個(gè)業(yè)務(wù)共用一個(gè)庫(kù)，其中有些是雙十一在線重點(diǎn)保障業(yè)務(wù)，而有些是測(cè)試需求臨時(shí)搭建的業(yè)務(wù)，在大促中出現(xiàn)未經(jīng)過(guò)壓測(cè)的復(fù)雜測(cè)試業(yè)務(wù)搶占重保業(yè)務(wù)的資源，作為AE平臺(tái)，要么增加成本，物理上嚴(yán)格分離這兩個(gè)業(yè)務(wù)；要么進(jìn)行人工管理這兩個(gè)業(yè)務(wù)的資源。在 AnalyticDB MySQL版新推出的彈性形態(tài)下實(shí)現(xiàn)了資源組功能，通過(guò)新建資源組可以從現(xiàn)有實(shí)例劃分出部分計(jì)算節(jié)點(diǎn)，這些計(jì)算節(jié)點(diǎn)資源只歸屬該資源組。AE平臺(tái)直接將業(yè)務(wù)綁定到不同的資源組，從而滿足內(nèi)部多租戶隔離、混合負(fù)載的需求。資源組的創(chuàng)建、修改、刪除等操作都可以在線實(shí)時(shí)生效，并可以通過(guò)API與用戶業(yè)務(wù)系統(tǒng)進(jìn)行深度融合，實(shí)現(xiàn)全自動(dòng)調(diào)配。

存儲(chǔ)計(jì)算分離

AE智能營(yíng)銷(xiāo)經(jīng)過(guò)這么多的工作取得了非常不錯(cuò)的效果，但同時(shí)AE智能平臺(tái)仍時(shí)刻關(guān)注成本的投入，AnalyticDB高性能實(shí)例是按存儲(chǔ)能力來(lái)計(jì)費(fèi)的，而不同的業(yè)務(wù)場(chǎng)景計(jì)算和存儲(chǔ)的開(kāi)銷(xiāo)卻不是一致的，甚至相差很大。比如人群洞察業(yè)務(wù)來(lái)講，聚類(lèi)算法的計(jì)算開(kāi)銷(xiāo)要求更多的資源，相對(duì)于計(jì)算，存儲(chǔ)需要的資源是少量的，故后續(xù)也需要使用AnalyticDB彈性功能中的存儲(chǔ)計(jì)算分離能力進(jìn)行成本的降低。

彈性擴(kuò)容

在存儲(chǔ)計(jì)算分離的情況下，能夠自動(dòng)根據(jù)負(fù)載進(jìn)行彈性庫(kù)容，便于管控。AE業(yè)務(wù)作為典型的電商場(chǎng)景來(lái)講，具有很明顯的峰值和低谷流量時(shí)刻。而目前的AnalyticDB高性能模式是資源預(yù)分配模式，在絕大部分低谷流量時(shí)刻，資源也是在進(jìn)行計(jì)費(fèi)。而AnalyticDB新推出的彈性形態(tài)下自動(dòng)彈性擴(kuò)縮功能可以在保證業(yè)務(wù)服務(wù)能力的情況下，同時(shí)大幅度降低閑時(shí)成本。

數(shù)據(jù)查詢(xún)服務(wù)可行性研究

AE智能業(yè)務(wù)里很多數(shù)據(jù)都會(huì)在HBase里存一份，比如現(xiàn)在的架構(gòu)里會(huì)場(chǎng)的計(jì)算結(jié)果仍然會(huì)在HBase里放一份，用來(lái)后續(xù)業(yè)務(wù)高QPS點(diǎn)查，這個(gè)場(chǎng)景AnalyticDB已經(jīng)具備高QPS點(diǎn)查能力，目前正在展開(kāi)前期相關(guān)工作，進(jìn)行KV系統(tǒng)的替換，使用AnalyticDB為AE智能平臺(tái)提供全站數(shù)據(jù)服務(wù)。

智能化診斷

需要做好監(jiān)控和邊界問(wèn)題的發(fā)現(xiàn)機(jī)制，在出現(xiàn)問(wèn)題時(shí)能夠快速定位。期望能夠充分利用AnalyticDB的監(jiān)控能力，在出現(xiàn)問(wèn)題前第一時(shí)間預(yù)警，規(guī)避問(wèn)題的發(fā)生。為此，AnalyticDB將提供全方位、多維度以及準(zhǔn)實(shí)時(shí)的實(shí)例運(yùn)行狀況洞察能力，通過(guò)對(duì)實(shí)例內(nèi)部的各類(lèi)運(yùn)行日志和時(shí)序指標(biāo)進(jìn)行算法建模，提供出問(wèn)題前準(zhǔn)確預(yù)測(cè)、出問(wèn)題時(shí)及時(shí)告警、處理問(wèn)題時(shí)精準(zhǔn)定位的能力，確保不影響用戶上層業(yè)務(wù)。

隨時(shí)歡迎技術(shù)圈的小伙伴們過(guò)來(lái)交流^_^：
AnalyticDB詳情見(jiàn)：產(chǎn)品詳情
AnalyticDB知乎公眾號(hào)：云原生數(shù)據(jù)倉(cāng)庫(kù)
AnalyticDB開(kāi)發(fā)者社區(qū)公眾號(hào)：云原生數(shù)據(jù)倉(cāng)庫(kù)
AnalyticDB開(kāi)發(fā)者釘釘群：23128105

也歡迎大家加入 AliExpress 數(shù)據(jù)智能部，與我們一起，玩轉(zhuǎn)全球化電商用戶增長(zhǎng)及導(dǎo)購(gòu)營(yíng)銷(xiāo)。
JD：https://hire.alibaba-inc.com/i18n/positionDetail.html?spm=a1z2e.8101721.teamview.dposdetail.7f846a6cEmOH3f&positionId=626167

AnalyticDB相關(guān)文章：
AnalyticDB MySQL擁抱云原生，強(qiáng)力支撐雙十一
智穩(wěn)雙全--AnalyticDB如何助力菜鳥(niǎo)運(yùn)配雙十一
千萬(wàn)商家的智能決策引擎--AnalyticDB如何助力生意參謀雙十一

原文鏈接：https://developer.aliyun.com/article/779814?

版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開(kāi)發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě)侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的AliExpress智能营销引擎大揭秘-AnalyticDB如何做到快准狠省的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。