使用場景

語言模型平滑化等

公式

沒有出現過的單詞出現的概率

$P_{mle}=0$ （mle的方式）

$P_{gt}=\frac{N_1}{N}$ （good-turning的方式）

出現過的單詞出現的概率

$P_{mle}=\frac{c}{N}$（mle的方式）

$P_{gt}=\frac{(c+1)N_{c+1}}{N_c\times N}$（good-turning的方式：網絡上的公式分母沒有乘以N,這里的解釋是：分母不乘以N計算的是預計出現的次數，分母乘以N后就是在全部次數N中出現的概率）

舉例說明

例：假設在摸球，已經摸了22個球了。其中10個球是白色，5個是黑色，3個球是灰色，2個球是褐色，1個是紅色，1個是綠色，1個是黃色。

需要先計算出出現的次數：

$N=22$ (一共摸了22次)
$N_{10}=1$ (有一個顏色的球出現了10次)
$N_5=1$ (有一個顏色的球出現了5次)
$N_3=1$ (有一個顏色的球出現了3次)
$N_2=1$ (有一個顏色的球出現了2次)
$N_1=3$ (有三個顏色的球出現了1次)

問題1.求摸到紫色球的概率：

mle的方式只考慮過去，沒有出現的顏色概率是0

$P_{mle}(紫色)=0$

摸第20個球的時候出現了紅色，這時的紅色相當于新的顏色 類比可以把出現一次的紅色、綠色、黃色看做新的顏色

$P_{gt}(新的顏色)=P_{gt}(紫色)=\frac{N_1}{N}=\frac{3}{22}$


問題2. 摸到紅球的概率:

$P_{mle}(紅色)=\frac{1}{22}$

$P_{gt}(紅色)=\frac{(c+1)N_{c+1}}{N_c\times N}=\frac{(1+1)N_{1+1}}{N_1\times N}=\frac{2N_2}{N_1\times N}=\frac{2\times 1}{3\times 22}=\frac{1}{33}$

可能遇到的問題

舉個例子，在日常使用中，如預計文章中單詞出現的頻率時。
比如有2個單詞在文章中出現了115次，但是不一定有單詞恰好出現了116次。而通過gt的方式預計115次單詞出現個數時候是需要116次單詞的數據的。這時就沒有辦法計算了。

計算已經出現115次的某個單詞出現個數應使用公式：

$P_{gt}=\frac{(c+1)N_{c+1}}{N_c}=\frac{(115+1)N_{116}}{N_{115}}$

可以通過一些其他方式補上缺失的數據，比如機器學習算法。

ps

內容來自日常學習中的一些教程，網上的資料等。個人也還是初學者，如有問題期望指正！

總結

以上是生活随笔為你收集整理的Good-Turning Smothing 学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。