在線學習 online learning

Online learning并不是一種模型，而是模型的訓練方法。能夠根據線上反饋數據，實時快速的進行模型調優，使得模型能夠及時反映線上的變化，提高線上預測的準確率。

在線模型的評估之--Mistake Bound

假設有一個模型完全預測正確，Mistake Bound表示的就是找到這個模型最多犯錯的次數。

用Halving算法來解決這個問題，算法步驟如下：

所以犯錯次數小于等于對模型集合數量求以2為底的對數。

在線模型的評估之--Regret 后悔度

Regret的求解舉例

Regret練習：

在線學習模型的有效必要條件就是

Online Learning訓練過程也需要優化一個目標函數（紅框標注的），但是和其他的訓練方法不同， Online Learning要求快速求出目標函數的最優解，最好是能有解析解。

在線學習流程：
Learning的流程包括：將模型的預測結果展現給用戶，然后收集用戶的反饋數據，再用來訓練模型，形成閉環的系統。

在線學習模型之FTRL--Follow The Regularized Leader

算法基本思想：

在這里最后一步更新w的時候需要找到使得損失函數之和最小的w，在線學習是速度需要很快，但是一般這個損失函數不是很快可以求解的，需要找到一個代理的損失函數，使得損失函數可以快速求解。代理損失函數需要滿足幾個要求：
1.代理損失函數比較容易求解，最好是有解析解
2.Regret滿足

關于次梯度

ftrl相關學習資料

總結

以上是生活随笔為你收集整理的在线学习--online learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。