在AI領(lǐng)域調(diào)參是一件十分常見的事情，每個(gè)模型的訓(xùn)練過程可能包含幾十個(gè)可調(diào)節(jié)參數(shù)，每個(gè)參數(shù)的細(xì)微變化對(duì)于模型效果有很大的影響，如何正確的在業(yè)務(wù)流量下評(píng)估不同參數(shù)帶來的不同的模型效果需要A/B Test系統(tǒng)實(shí)現(xiàn)。

今天就基于Google的一篇論文《Overlapping Experiment Infrastructure :More, Better, Faster Experimentation》介紹一下如何基于流量去做不同模型的A/B Test。

A/B Test系統(tǒng)的設(shè)計(jì)原則

?

在介紹具體做法之前先給大家介紹一下Google這篇論文介紹的A/B Test系統(tǒng)的3個(gè)設(shè)計(jì)原則，分別是More、Better、Faster。

More：要同時(shí)支持盡可能多的實(shí)驗(yàn)，無論是大改動(dòng)的實(shí)驗(yàn)還是小改動(dòng)的實(shí)驗(yàn)，都需要盡可能的同步支持

Better：需要建立一套實(shí)驗(yàn)的評(píng)估體系，不好的實(shí)驗(yàn)不應(yīng)該執(zhí)行，效果不好的實(shí)驗(yàn)需要快速被發(fā)現(xiàn)

Faster：構(gòu)建實(shí)驗(yàn)和實(shí)驗(yàn)評(píng)估的鏈路需要自動(dòng)化和迅速

A/B Test系統(tǒng)設(shè)計(jì)方案

首先設(shè)計(jì)一個(gè)A/B Test系統(tǒng)需要包含3層概念，分別是Domain、Layer、Experiment

Domain：指的是一個(gè)領(lǐng)域的流量，比如在業(yè)務(wù)中我們可以把男用戶和女用戶的流量做一個(gè)分割，屬于不同的Domain。

Layer：Layer是一個(gè)流量縱向分割的概念，我們可以把流量的從上到下的流動(dòng)分成不同的Layer，Layer間彼此正交（正交的意思是相互不影響）。舉個(gè)例子，在推薦業(yè)務(wù)中流量需要先通過召回模塊，再通過排序模塊，那么召回和排序就可以作為兩個(gè)Layer，并且這兩個(gè)Layer是同享流量的，相互正交

Experiment：Experiment指的是一個(gè)單點(diǎn)的實(shí)驗(yàn)，Experiment可能是Layer或者Domain的組成部分。對(duì)應(yīng)AI流程，可能某個(gè)訓(xùn)練參數(shù)的變化就是一個(gè)Experiment

接下來針對(duì)幾個(gè)典型場(chǎng)景介紹下在A/B Test系統(tǒng)設(shè)計(jì)中以上3個(gè)概念是如何運(yùn)用的。

（1）單Domain、多層、多實(shí)驗(yàn)?zāi)Ｊ?/p>

圖A展示的是3層，每層一個(gè)實(shí)驗(yàn)的模式。3層流量直接相互正交，每一層都可以享受全部的流量做不同的實(shí)驗(yàn)。

（2）多Domain、多層、多實(shí)驗(yàn)?zāi)Ｊ?/p>

可以看下，實(shí)驗(yàn)被分為兩個(gè)大的Domain，一個(gè)是non-over lapping domain，另一個(gè)是右邊的domain。右側(cè)的domain可以增加實(shí)驗(yàn)。這樣的分布經(jīng)常被用于新實(shí)驗(yàn)上線的時(shí)候，橫向?qū)⒘髁孔霰壤指?#xff0c;一邊保持原樣，另一邊做新的實(shí)驗(yàn)嘗試。

（3）多層、多Domain、多實(shí)驗(yàn)?zāi)Ｊ?/p>

C圖展示的是先縱向多層實(shí)驗(yàn)區(qū)分，再橫向Domain劃分的模式。流量需要先通過兩個(gè)launch layer，再做各種實(shí)驗(yàn)對(duì)比。

總結(jié)一下，Google這篇論文用很簡(jiǎn)潔的概念大體描述清楚了在各種復(fù)雜場(chǎng)景下該如何做各種橫向、縱向的實(shí)驗(yàn)劃分，并且給整個(gè)系統(tǒng)元素做了很好地概念定義，是一篇介紹AB Test的好文章。

?

總結(jié)

以上是生活随笔為你收集整理的Google的AI模型是如何做A/B Test的的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。