(mnist 0 ,2)---81*30*2---(1,0)(0,1)

分類mnist的0和2。讓訓練集的數量n分別等于5000,4500,4000,3500,3000,2500,2000,1500,1000,500,400,300,200,100,50,40,30,20,10,5,4,3,2共22個值。觀察n是如何影響迭代次數的分布的。

?

讓收斂標準δ等于1e-5，數據已經在<神經網絡訓練集量最少可以是多少個？>里算出來了。

首先觀察n=5000的圖片

讓網絡在1e-5處收斂了199次，只有12個不同的迭代次數，其中7604出現了83次。出現了高度簡并的現象。

無論n怎么變化都有這種簡并現象嗎？

當n=2時，有199個不同的迭代次數，迭代次數沒有簡并現象。

?

當n=3時，同樣有199個不同的迭代次數，沒有簡并。

當n=4時，有195個不同的迭代次數，其中179751，181035，188895，190863都出現了兩次，第一次出現了簡并的現象。

當n=5時，有197個不重復的值，174435，175267出現了兩次。

當n=10時，有185個不同的值，其中43305和47661個出現了3次，規律明顯當n增大時簡并度提高。

當n=20時，有167個不同的值。

當n=30時，有141個不同的值。

當n=40時，有102個不同的值。其中13270出現了10次。

當n=50時，有71個不同的值。

當n=100時，有27個不同的值，

7086	7284	7482	7680	7878	8076	8274	8472	8670	8868	9066	9264	9462	9660	9858	10056	10254	10452	10650	10848	11046	11244	11442	11640	12828	13224	15798
?	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	198	1188	396	2574

這27個值的差值都是198的倍數。

當n=200時，只有14個不同的值

4668	4682	5066	5080	5464	5478	5862	5876	6260	6274	6658	6672	7056	7454
?	14	384	14	384	14	384	14	384	14	384	14	384	398

這14個值只有14，384，398這3個間距。

當n=300時，只有14個不同的值，

5088	5672	5686	6270	6284	6868	6882	7094	7466	7480	8064	8078	8290	8662
?	584	14	584	14	584	14	212	372	14	584	14	212	372

出現了14，212，372，584共4個間距

當n=400時，有11個不同的值，

當n=500時，有18個不同的值。

當n=1000時，有12個不同的值

當n=1500時，有17個不同的值

當n=2000時，有16個不同的值。

當n=2500時，有13個不同的值

當n=3000時，有14個不同的值

當n=3500時，有10個不同的值

當n=4000時，有7個不同的值

當n=4500時，有13個不同的值。

?

統計迭代次數不同值的數量對n的變化

n	5000	4500	4000	3500	3000	2500	2000	1500	1000	500	400	300	200	100	50	40	30	20	10	5	4	3	2
不同值的數量	12	13	7	10	14	13	16	17	12	18	11	14	14	27	71	102	141	167	185	197	195	199	199

?

很明顯10<=n<=200,是迭代次數的分布的過度區間，當n>200個以后迭代次數不同值就維持在約13個，在前文<神經網絡訓練集量最少可以是多少個？>已經證實5000到200隨著n的減小迭代次數減小，n=200應該是保持這個網絡基本特征的最小n值。

而光譜的等距變化區間就出現在過度區間，因此神經網絡光譜隨著n的增加，由等距變化變為不等距變化。

?

總結

以上是生活随笔為你收集整理的训练集数量对神经网络光谱的影响的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。