作者：算法&健兮，阿里巴巴數(shù)據(jù)技術(shù)及產(chǎn)品部技術(shù)專家

生意參謀介紹

生意參謀是阿里官方打造的全渠道、全鏈路、一站式數(shù)據(jù)平臺(tái)，致力于為用戶提供經(jīng)營(yíng)分析、市場(chǎng)洞察、客群洞察等多樣化數(shù)據(jù)服務(wù)，幫助用戶全面提升商業(yè)決策效率。自2011年誕生以來(lái)，生意參謀服務(wù)過(guò)的用戶已逾3000萬(wàn)，覆蓋了線上線下零售商（淘寶天貓）、品牌商（零售通）、智慧門店、內(nèi)貿(mào)批發(fā)商（1688）、內(nèi)容創(chuàng)作者（微淘等）、東南亞國(guó)際商家（LAZADA）等多個(gè)業(yè)態(tài)商業(yè)用戶。 目前，淘寶天貓商家中，月有交易的商家，99%以上都在使用生意參謀。
生意參謀經(jīng)過(guò)將近十年的發(fā)展，已經(jīng)支撐了99%淘寶天貓商家的決策運(yùn)營(yíng)，在如此龐大的商家群體下，每個(gè)商家對(duì)于數(shù)據(jù)的訴求都不一樣
? 對(duì)于中大型商家，有自己的數(shù)據(jù)分析師團(tuán)隊(duì)，更希望自己對(duì)原始數(shù)據(jù)進(jìn)行加工與展示，
? 對(duì)于中小型商家希望可以提供更加方便的一鍵式服務(wù)
? 對(duì)于一些品牌商，希望看到長(zhǎng)達(dá)數(shù)年的歷史數(shù)據(jù)分析
多種多樣的分析需求對(duì)生意參謀的架構(gòu)提出了巨大的挑戰(zhàn)，借助于云原生數(shù)據(jù)倉(cāng)庫(kù)AnalyticDB MySQL的強(qiáng)大能力，生意參謀與QuickBI團(tuán)隊(duì)強(qiáng)強(qiáng)聯(lián)合，打造了“商家自助分析”產(chǎn)品，幫助商家定制自己的數(shù)據(jù)報(bào)表，滿足商家對(duì)自身各維度數(shù)據(jù)進(jìn)行隨心所欲的分析需求，幫助千萬(wàn)商家實(shí)現(xiàn)“數(shù)據(jù)價(jià)值在線化”。

商家分析的業(yè)務(wù)挑戰(zhàn)

1）海量數(shù)據(jù)高并發(fā)復(fù)雜查詢

生意參謀服務(wù)幾百萬(wàn)商家，數(shù)據(jù)量是非常龐大的，如果存儲(chǔ)3年數(shù)據(jù)，僅一個(gè)商品維度數(shù)據(jù)表，就能到千億條記錄。但是我們要滿足商家對(duì)這些數(shù)據(jù)表，進(jìn)行任意維度的數(shù)據(jù)查詢、篩選、關(guān)聯(lián)、聚合、計(jì)算、排序等操作，并且要求毫秒級(jí)返回。例雙十一期間我們的復(fù)雜查詢QPS超過(guò)300，在這種高并發(fā)低延時(shí)場(chǎng)景下對(duì)數(shù)據(jù)庫(kù)帶來(lái)巨大的挑戰(zhàn)。

2）在線查詢和批處理混合負(fù)載

為了降低成本，生意參謀“商家自助分析”產(chǎn)品不能將所有的商家數(shù)據(jù)全部寫入分析庫(kù)，需要對(duì)訂購(gòu)的商家需要在商家當(dāng)天回補(bǔ)所有的歷史數(shù)據(jù)，要求單商家6000W數(shù)據(jù)分鐘級(jí)完成商家歷史數(shù)據(jù)回補(bǔ)。在數(shù)據(jù)回補(bǔ)時(shí)，高并發(fā)查詢與寫入要求同時(shí)運(yùn)行，相互不影響，對(duì)分析庫(kù)的混合負(fù)載要求很高。

3）任意維度的靈活報(bào)表能力

生意參謀“商家自助分析”產(chǎn)品的根本需求是滿足商家各式各樣的分析需求，需要為商家可以提供靈活配置報(bào)表的能力，這時(shí)候一個(gè)成熟的BI解決方案必不可少。

4）商家數(shù)據(jù)安全性要求高

商家對(duì)于自身的數(shù)據(jù)安全要求非常高，生意參謀“商家自助分析”產(chǎn)品既要讓商家能夠隨心所欲的進(jìn)行數(shù)據(jù)分析，又要避免數(shù)據(jù)的泄露，也要防止數(shù)據(jù)被爬取、防止水平越權(quán)泄露。

全套成熟BI方案 - AnalyticDB + QuickBI

生意參謀選擇了 AnalyticDB（以下簡(jiǎn)稱ADB） + QuickBI 一整套成熟的BI解決方案。

QuickBI介紹

Quick BI是阿里云成熟的自助分析報(bào)表平臺(tái)，是國(guó)內(nèi)首個(gè)且唯一入選Gartner魔力象限的BI產(chǎn)品。產(chǎn)品經(jīng)過(guò)幾年的沉淀已無(wú)縫對(duì)接各類云上數(shù)據(jù)庫(kù)和自建數(shù)據(jù)庫(kù)，0代碼鼠標(biāo)拖拽式操作，讓業(yè)務(wù)用戶也能一鍵輕松實(shí)現(xiàn)海量數(shù)據(jù)可視化分析。并且QuickBI提供彈內(nèi)部署能力，可以通過(guò)生意參謀為入口，對(duì)商家提供統(tǒng)一的服務(wù)。讓商家在產(chǎn)品心智上感受到，一個(gè)數(shù)據(jù)分析平臺(tái)，沒(méi)有考慮系統(tǒng)間切換的問(wèn)題。真正實(shí)現(xiàn)一個(gè)平臺(tái)，滿足用戶數(shù)據(jù)分析需求。

AnalyticDB云原生數(shù)據(jù)倉(cāng)庫(kù)

AnalyticDB是阿里云自研的云原生數(shù)倉(cāng)庫(kù)，全面兼容MySQL語(yǔ)法，為分析而生，擁有出色的分析性能。

1）MySQL兼容，好用是數(shù)據(jù)庫(kù)價(jià)值真正的體現(xiàn)，AnalyticDB高度兼容MySQL，基本無(wú)需修改代碼即可像使用MySQL一樣使用AnalyticDB，遷移使用成本極低。對(duì)于MySQL社區(qū)周邊工具也可以無(wú)縫接入，因此和QuickBI的配合就像使用MySQL一樣簡(jiǎn)單。
2）高性能高并發(fā)，AnalyticDB為分析而生，擁有業(yè)界最快的查詢性能，通過(guò)行列混存、自適應(yīng)索引，結(jié)合向量化的分布式執(zhí)行引擎實(shí)現(xiàn)大部分查詢復(fù)雜可以在毫秒級(jí)完成；同時(shí)通過(guò)在線化的調(diào)度和云原生的彈性擴(kuò)展能力，可以支持大量商家的在線并發(fā)訪問(wèn)。
3）混合負(fù)載，在存儲(chǔ)計(jì)算分離的架構(gòu)下，AnalyticDB可以混合計(jì)算負(fù)載能力，在經(jīng)典的在線（online）/交互式（interactive）查詢執(zhí)行模式之外，也支持了離線/批處理(batch)查詢執(zhí)行模式。因此針對(duì)在大量商家高并發(fā)在線查詢的同時(shí)，同時(shí)可以進(jìn)行并發(fā)的數(shù)據(jù)寫入、加載和回補(bǔ)，實(shí)現(xiàn)業(yè)務(wù)一套系統(tǒng)的混合負(fù)載處理。?
4）安全可靠，AnalyticDB基于云原生的VPC網(wǎng)絡(luò)構(gòu)建，同時(shí)對(duì)數(shù)據(jù)有庫(kù)、表、列等多級(jí)權(quán)限保護(hù)，同時(shí)還支持通過(guò)內(nèi)容數(shù)據(jù)的加解密，可以滿足商家數(shù)據(jù)的安全性要求。
總結(jié)下，AnalyticDB可以從任意維度進(jìn)行查詢、篩選、聚合、計(jì)算、排序等操作，性能支持亞秒返回，并且支持實(shí)時(shí)寫入，支持大型ETL與高并發(fā)查詢混合負(fù)載等特性非常契合商家自助分析業(yè)務(wù)。并且，QuickBI 完美支持AnalyticDB作為數(shù)據(jù)源頭，與商家自助分析業(yè)務(wù)完美契合。

生意參謀業(yè)務(wù)架構(gòu)

生意參謀自助服務(wù)的本質(zhì)是一套安全可靠，穩(wěn)定靈活的BI方案。在底層，生意參謀將訂購(gòu)商家數(shù)據(jù)存放在AnalyticDB中，依托于AnalyticDB + QuickBI的生態(tài)，建立商家項(xiàng)目空間，同時(shí)打通生意參謀與QuickBI權(quán)限體系，支撐起商家自助分析需求。

數(shù)據(jù)同步

生意參謀自助分析，借助AnalyticDB支持高吞吐實(shí)時(shí)寫入的特性，通過(guò)訂購(gòu)當(dāng)天回補(bǔ)歷史數(shù)據(jù)的方式， 解決了客戶對(duì)于長(zhǎng)周期數(shù)據(jù)的分析訴求。對(duì)于新訂閱用戶，需要將歷史數(shù)據(jù)按天級(jí)別增量同步至AnalyticDB中，這個(gè)是系統(tǒng)設(shè)計(jì)的一個(gè)難點(diǎn)。借助AnalyticDB實(shí)時(shí)數(shù)據(jù)寫入的能力，我們?cè)O(shè)計(jì)了自助分析-數(shù)據(jù)增量同步方案，有效解決了歷史數(shù)據(jù)的增量同步。

數(shù)據(jù)安全

生意參謀整體數(shù)據(jù)架構(gòu)是全部用戶共享AnalyticDB存儲(chǔ)，不同商家是通過(guò)商家ID來(lái)區(qū)分，針對(duì)此種特殊場(chǎng)景，QuickBI的數(shù)據(jù)集支持了邏輯隔離，商家開(kāi)通時(shí)，通過(guò)后臺(tái)接口初始化好商家數(shù)據(jù)集，注入商家ID參數(shù)，即使用戶編輯模擬也無(wú)法替換掉，保證了商家數(shù)據(jù)的安全性。同時(shí)通過(guò)行級(jí)權(quán)限，將不同版本的付費(fèi)商家查看指標(biāo)做了管控，確保了產(chǎn)品的利益不受損害。

業(yè)務(wù)價(jià)值

所有自助分析自定義配置的報(bào)表，都可以選擇配置到生意參謀首頁(yè)，這樣商家的所有子賬號(hào)，都能在生意參謀首頁(yè)看到，真正達(dá)到了用戶定制生意參謀頁(yè)面能力的效果。其中我們通過(guò)店鋪經(jīng)營(yíng)分析，店鋪流量分析，單品深度洞察報(bào)告等BI模板，吸引了大量商家自助配置自己的BI報(bào)表。

未來(lái)展望

未來(lái)我們希望可以繼續(xù)在數(shù)據(jù)價(jià)值上的探索，希望持續(xù)與AnalyticDB + QuickBI保持共建，推動(dòng)數(shù)據(jù)價(jià)值在線化，讓商家數(shù)據(jù)分析更加簡(jiǎn)單高效。

業(yè)務(wù)資源隔離

在 AnalyticDB MySQL版新推出的彈性形態(tài)下實(shí)現(xiàn)了資源組功能，通過(guò)新建資源組可以從現(xiàn)有實(shí)例劃分出部分計(jì)算節(jié)點(diǎn)，這些計(jì)算節(jié)點(diǎn)資源只歸屬該資源組。用戶可將數(shù)據(jù)庫(kù)賬號(hào)綁定到不同的資源組，SQL查詢時(shí)根據(jù)綁定關(guān)系自動(dòng)路由至對(duì)應(yīng)的資源組執(zhí)行，滿足用戶實(shí)現(xiàn)內(nèi)部多租戶隔離需求。我們對(duì)于不同的大商家，可以進(jìn)行隔離，確保大商家業(yè)務(wù)的穩(wěn)定性，提供更好的業(yè)務(wù)體驗(yàn)。

查詢負(fù)載管理

在自助BI的系統(tǒng)中一直存在一個(gè)痛點(diǎn)，單個(gè)用戶配置了不合理的報(bào)表，讀取超大量的數(shù)據(jù)，進(jìn)行超出預(yù)期的計(jì)算，影響其他商家的報(bào)表展示，為此我們?cè)谙到y(tǒng)中需要做諸多限制，比如用戶報(bào)表只能基于單表，不可以做多表聯(lián)合分析，這樣大大限制了商家報(bào)表的靈活性。為此我們期望AnalyticDB提負(fù)載管理的能力，通過(guò)我們指定查詢資源消耗，讀取數(shù)據(jù)消耗等維度限制，來(lái)對(duì)查詢進(jìn)行 KILL，切換資源組等行為，保障數(shù)據(jù)庫(kù)穩(wěn)定性。

智能化診斷

需要做好監(jiān)控和邊界問(wèn)題的發(fā)現(xiàn)機(jī)制，在出現(xiàn)問(wèn)題時(shí)能夠快速定位。期望能夠充分利用AnalyticDB的監(jiān)控能力，在出現(xiàn)問(wèn)題前第一時(shí)間預(yù)警，規(guī)避問(wèn)題的發(fā)生。為此，AnalyticDB將提供全方位、多維度以及準(zhǔn)實(shí)時(shí)的實(shí)例運(yùn)行狀況洞察能力，通過(guò)對(duì)實(shí)例內(nèi)部的各類運(yùn)行日志和時(shí)序指標(biāo)進(jìn)行算法建模，提供出問(wèn)題前準(zhǔn)確預(yù)測(cè)、出問(wèn)題時(shí)及時(shí)告警、處理問(wèn)題時(shí)精準(zhǔn)定位的能力，確保不影響用戶上層業(yè)務(wù)。

?

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的千万商家的智能决策引擎--AnalyticDB如何助力生意参谋双十一的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。