統(tǒng)計檢驗

下面以產(chǎn)品改版為例，則：

• H0：改動有用
• H1：改動沒用

Significance level of a test (α):

• 原假設(shè)為真時, 卻拒絕原假設(shè)（Type I Error / 改動實際沒用，但錯誤地認(rèn)為它有用 / 取真）的概率；
• 本質(zhì)上是人為規(guī)定的閾值，為了明確p值到底要多小才可以傾向于認(rèn)為原假設(shè)是錯誤的，從而接受備擇假設(shè)；即犯第一類錯誤的概率小于α這個閾值，就可以認(rèn)為拒絕原假設(shè)

Power of a test?(1???β)：

原假設(shè)為假時，卻接受原假設(shè)（Type II Error / 改動實際有用，但錯誤地認(rèn)為它沒用 / 存?zhèn)?#xff09;的概率

p-value:

當(dāng)H0成立時，取得像樣本這樣或者比樣本還要極端的數(shù)據(jù)的概率

設(shè)計方式

分流方式：

• 隨即分流：單端 / 雙端 / session
• 時空分流：地區(qū)(適用于網(wǎng)絡(luò)效用大，無法按用戶分組) / 時間片(輪轉(zhuǎn)/隨機/隔日反轉(zhuǎn)）

時長設(shè)計：

• 不宜過長：干擾多
• 不宜過短：
  • 滿足最小樣本量要求，增強可靠性
  • 規(guī)避新奇效應(yīng)：指標(biāo)短期激增
  • 提前透支消費：如某促銷活動會刺激短期集中消費，提前透支了后續(xù)消費需求
• 考慮工作日與節(jié)假日

因果分析：

• AA差異顯著情況下，考慮DID (DID前需對核心指標(biāo)進行平行趨勢檢驗）
• 滲透率低情況下，考慮matching
• 地區(qū)實驗無法找到理想的對照組情況下，考慮synthetic control

Notes

樣本和總體：

• 描述總體的是參數(shù)值
• 描述樣本的是統(tǒng)計值

參數(shù)統(tǒng)計和非參數(shù)統(tǒng)計：

非參數(shù)統(tǒng)計問題是指統(tǒng)計總體分布形式未知或雖已知卻不能用有限個參數(shù)刻畫的統(tǒng)計問題

Reference

T檢驗

總結(jié)

以上是生活随笔為你收集整理的AB实验的基本概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。