深度学习中batch_size、epoch和iteration的含义
生活随笔
收集整理的這篇文章主要介紹了
深度学习中batch_size、epoch和iteration的含义
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
iteration:1個iteration等于使用batchsize個樣本訓練一次;
epoch:1個epoch等于使用訓練集中的全部樣本訓練一次,通俗的講epoch的值就是整個數據集被輪幾次。
比如:
我這邊的數據量是4670,batch設置為6,那么一輪的iteration就是4670//6+1=779
而epoch是這樣:
參考文章1:深度學習中的batch、epoch、iteration的含義
參考文章2:深度學習中的epochs,batch_size,iterations理解
20210822:復習一下
mnist 數據集有張圖片作為訓練數據,張圖片作為測試數據。 假設現在選擇 Batch_Size = 對模型進行訓練。迭代次。每個 Epoch 要訓練的圖片數量:(訓練集上的所有圖像) 訓練集具有的 Batch 個數: 每個 Epoch 需要完成的 Batch 個數: 每個 Epoch 具有的 Iteration 個數:(完成一個Batch訓練,相當于參數迭代一次) 每個 Epoch 中發生模型權重更新的次數: 訓練 10 個Epoch后,模型權重更新的次數: 不同Epoch的訓練,其實用的是同一個訓練集的數據。 第1個Epoch和第10個Epoch雖然用的都是訓練集的圖片,但是對模型的權重更新值卻是完全不同的。 因為不同Epoch的模型處于代價函數空間上的不同位置,模型的訓練代越靠后,越接近谷底,其代價越小。 總共完成30000次迭代,相當于完成了個Epoch參考文章:深度學習 | 三個概念:Epoch, Batch, Iteration
我的理解:
比如我訓練集有100個數據樣本,我batch_size是20,我采用SGD隨機梯度下降,從中隨機抽20個樣本計算平均損失,然后用梯度下降法更新一次參數,就相當于做了一次iteration。然后我做5次iteration就相當于做了一次epoch
不知道這樣理解對不對,日后再回查下!
總結
以上是生活随笔為你收集整理的深度学习中batch_size、epoch和iteration的含义的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 深度学习中的batch理解(batch
- 下一篇: 如何用pycharm对比两段代码(或两个