設置學習率衰減

if (self.e+1) > (self.num_epochs - self.num_epochs_decay):g_lr -= (self.g_lr / float(self.num_epochs_decay))d_lr -= (self.d_lr / float(self.num_epochs_decay))self.update_lr(g_lr, d_lr)print('Decay learning rate to g_lr: {}, d_lr:{}.'.format(g_lr, d_lr))def update_lr(self, g_lr, d_lr):for param_group in self.g_optimizer.param_groups:param_group['lr'] = g_lrfor param_group in self.d_A_optimizer.param_groups:param_group['lr'] = d_lrfor param_group in self.d_B_optimizer.param_groups:param_group['lr'] = d_lr

總結(jié)

以上是生活随笔為你收集整理的pytorch 训练过程学习率设置衰减的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。