• object.grad.zero_()的意思是清0object的梯度值。
  下面做個實驗。

x = torch.arange(4.0) x.requires_grad_(True) x.grad # 注意此時為None，不為0 y = 2 * torch.dot(x, x) y.backward() x.grad # tensor([ 0., 4., 8., 12.]) x.grad.zero_() x.grad # tensor([0., 0., 0., 0.])

• 在默認情況下，PyTorch會累積梯度，我們需要清除之前的值，假如不清0會出現什么現象，看下面的實驗。

x = torch.arange(5.0) x.requires_grad_(True) y = 2 * torch.dot(x, x) y.backward() x.grad # Out[58]: tensor([ 0., 4., 8., 12., 16.]) z = 2 * torch.dot(x, x) z.backward() x.grad # Out[61]: tensor([ 0., 8., 16., 24., 32.])，結果不對

• 那么上面這個錯誤結果是怎么來的呢？
  PyTorch會累積梯度，tensor([ 0., 8., 16., 24., 32.]) = tensor([ 0., 4., 8., 12., 16.]) + tensor([ 0., 4., 8., 12., 16.])得到的結果；

• 所以下面這段代碼的意思是迭代param時不需要構建計算圖，并且迭代完成后就把param.grad清0，因為再一次調用sgd時就是下一個batch得到的param.grad，batch和batch是沒有關系的。

def sgd(params, lr, batch_size): #@save"""小批量隨機梯度下降。"""with torch.no_grad():for param in params:param -= lr * param.grad / batch_sizeparam.grad.zero_()

參考資料

https://zh-v2.d2l.ai/chapter_preliminaries/autograd.html；

總結

以上是生活随笔為你收集整理的pytorch之object.grad.zero_()的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。