autograd
1、torch.autograd.backward
torch.autograd.backward(tensors,grad_tensors=None,retain_graph=None,create_graph=False)作用:自動求取梯度tensors: 用于求導的張量,如loss, torch.autograd.backward(aa) == a.backward()retain_graph: 保存計算圖create_graph: 創建導數計算圖,用于高階求導grad_tensors: 多梯度權重2、torch.autograd.grad
torch.autograd.grad(outputs,inputs,grad_outputs=None,retain_graph=None,create_graph=False)功能: 求取梯度outputs: 用于求導的張量,如lossinputs: 需要梯度的張量create_graph: 創建導數計算圖,用于高階求導retain_graph: 保存計算圖grad_outputs: 多梯度權重?
總結
- 上一篇: 计算图与动态图
- 下一篇: Graph Attention Netw