訓(xùn)練集：使用訓(xùn)練集來對某個(gè)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，使用梯度下降法來更新普通參數(shù)，如權(quán)重和偏置。

驗(yàn)證集：使用驗(yàn)證集來對訓(xùn)練集訓(xùn)練的模型調(diào)節(jié)他的超參數(shù)（如：網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率、正則化參數(shù)），這些超參數(shù)在訓(xùn)練集訓(xùn)練時(shí)候不會(huì)更改，在驗(yàn)證的時(shí)候是通過認(rèn)為設(shè)定某個(gè)超參數(shù)，來得到準(zhǔn)確率，并選擇該模型準(zhǔn)確率最好的一組超參數(shù)。

測試集：通過驗(yàn)證集選擇的一組超參數(shù)，結(jié)合訓(xùn)練集得到的普通參數(shù)（如：權(quán)重、移動(dòng)平均值），求正確率為多少，來評判該模型如何。

?

簡單來說，就是訓(xùn)練集在某組超參數(shù)下訓(xùn)練得到普通參數(shù)（如，權(quán)重、移動(dòng)平均值）；

驗(yàn)證集多選取幾組超參數(shù)，結(jié)合該模型訓(xùn)練集得到的普通參數(shù)，求正確率，選取該模型準(zhǔn)確率最好的一組超參數(shù)；

測試集：通過驗(yàn)證集選擇的一組超參數(shù)，結(jié)合訓(xùn)練集得到的普通參數(shù)（如：權(quán)重、移動(dòng)平均值），求正確率為多少，來評判該模型如何。

?

下面是我個(gè)人的理解：

針對網(wǎng)絡(luò)層數(shù)和網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)這種超參數(shù)，我覺得是你選擇某種網(wǎng)絡(luò)層數(shù)或者網(wǎng)絡(luò)節(jié)點(diǎn)之后，你還得使用訓(xùn)練集進(jìn)行訓(xùn)練，得到普通參數(shù)。但是對于學(xué)習(xí)率和迭代次數(shù)這類超參數(shù)，不需要在重新訓(xùn)練，只需要使用訓(xùn)練集訓(xùn)練得到的普通參數(shù)，即可。

cs231n的課后作業(yè)，特征提取那一章的做法是：限定某個(gè)網(wǎng)絡(luò)模型（比如LinearSVM或TwoLayerNet），對于每組超參數(shù)（他只考慮了正則化參數(shù)、學(xué)習(xí)率）的選擇，都會(huì)進(jìn)行訓(xùn)練集的訓(xùn)練，然后在訓(xùn)練集和驗(yàn)證集上求準(zhǔn)確率，保留驗(yàn)證集準(zhǔn)確率最好的那一個(gè)準(zhǔn)確率。

總結(jié)

以上是生活随笔為你收集整理的【深度学习】训练集、验证集、测试集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。