神經(jīng)網(wǎng)絡(luò)的隱藏層的節(jié)點(diǎn)數(shù)越少網(wǎng)絡(luò)的速度越快，那么神經(jīng)網(wǎng)絡(luò)的隱藏層的節(jié)點(diǎn)數(shù)是否有一個(gè)可以保證性能的極小值，本文用mnist數(shù)據(jù)集做了實(shí)驗(yàn)。

首先制作一個(gè)784*n*2的神經(jīng)網(wǎng)絡(luò)，用于測(cè)試0-9中的任意兩個(gè)數(shù)的隱藏層的極小值。后經(jīng)實(shí)驗(yàn)證明0-9中任意兩個(gè)數(shù)的784*n*2的神經(jīng)網(wǎng)絡(luò)的隱藏層的極小值都是2，也就是說(shuō)784*2*2的神經(jīng)網(wǎng)絡(luò)可以區(qū)分從0-9的任意兩個(gè)數(shù)的組合。

比如這組數(shù)據(jù)，表明可以用784*2*2的網(wǎng)絡(luò)來(lái)區(qū)分5和8,0.91是可以達(dá)到的準(zhǔn)確率，統(tǒng)計(jì)方法是當(dāng)準(zhǔn)確率>0.98時(shí)停止，或者取幾次計(jì)算得到的最大值，5-8這個(gè)結(jié)果0.91，表明mnist的5和8的圖片看起來(lái)很像，相比較其他數(shù)字的組合特征要模糊一些。

由此很容易推算如果計(jì)算0,1,2三個(gè)數(shù)的784*n*3的神經(jīng)網(wǎng)絡(luò)的隱藏層的節(jié)點(diǎn)數(shù)的極小值一定是一個(gè)小于等于6的數(shù)，經(jīng)實(shí)測(cè)這個(gè)數(shù)是4.說(shuō)明0-1,0-2,1-2這幾組神經(jīng)網(wǎng)絡(luò)的特征有重疊。

用實(shí)驗(yàn)數(shù)據(jù)去驗(yàn)證這個(gè)方法

測(cè)試集4，是0,1,2,3

比如制作一個(gè)784*2*4的神經(jīng)網(wǎng)絡(luò)用來(lái)區(qū)分mnist的0,1,2,3可能達(dá)到的最大值是53.07，當(dāng)n=9時(shí)，準(zhǔn)確率可以達(dá)到90.56，這個(gè)不是最大值，只是可以達(dá)到的值?；蛟S有n<9的點(diǎn)也可以達(dá)到>90%的準(zhǔn)確率。784*9*4只是可能的最小網(wǎng)絡(luò)，是理論最小值的9/（4*3）*2/2 =75%，

同樣784*n*5網(wǎng)絡(luò)測(cè)得的隱藏層節(jié)點(diǎn)數(shù)的可能最小值是15，是理論值的75%。

用這種方法估算784*n*6的網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)數(shù)的最小值應(yīng)該小于等于30個(gè)，實(shí)測(cè)值是16個(gè)，是理論值的53%。

所以一個(gè)神經(jīng)網(wǎng)絡(luò)的任意兩個(gè)測(cè)試元素的隱藏層的極小值的平均值是a，目標(biāo)函數(shù)的數(shù)量是y個(gè)，那這個(gè)神經(jīng)網(wǎng)絡(luò)的隱藏層節(jié)點(diǎn)數(shù)的極小值是一個(gè)小于等于

y*（y-1）*a/2的值.

?

實(shí)驗(yàn)數(shù)據(jù)784*n*3，784*n*4，784*n*5，784*n*6的n的極小值

實(shí)驗(yàn)測(cè)量0-9中任意兩組數(shù)據(jù)的784*n*2的神經(jīng)網(wǎng)絡(luò)的隱藏層的極小值

總結(jié)

以上是生活随笔為你收集整理的计算神经网络隐藏层节点数极小值的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。