平均分辨准确率对网络隐藏层节点数的非线性变化关系03
（0，3）-81*n*2-(1,0)(0,1)
制作一個(gè)二分類的網(wǎng)絡(luò)分類mnist的0和3，收斂標(biāo)準(zhǔn)1e-6,收斂次數(shù)是1999次，隱藏層節(jié)點(diǎn)數(shù)從3到1000共實(shí)驗(yàn)了79組值。統(tǒng)計(jì)每次收斂的迭代次數(shù)，觀察分辨準(zhǔn)確率和迭代次數(shù)對同一收斂標(biāo)準(zhǔn)的對應(yīng)規(guī)律。
?
| 隱藏層節(jié)點(diǎn)數(shù) | 迭代次數(shù)的均值 | 平均分類準(zhǔn)確率 | δ | 耗時(shí)ms/次 | 最大峰值占比% | 不同峰值數(shù)量 |
| 3 | 225528.8639 | 0.99216191 | 1E-06 | 1017.794397 | 3.2 | 920 |
| 4 | 180492.6073 | 0.992873572 | 1E-06 | 874.8694347 | 1 | 977 |
| 5 | 153176.2796 | 0.993332093 | 1E-06 | 849.8394197 | 2.5 | 701 |
| 6 | 140841.2446 | 0.993333601 | 1E-06 | 823.3416708 | 2.9 | 505 |
| 7 | 132496.8744 | 0.993346673 | 1E-06 | 850.7328664 | 3.7 | 376 |
| 8 | 127019.8734 | 0.993389157 | 1E-06 | 890.1555778 | 6 | 292 |
| 9 | 121743.1321 | 0.993315502 | 1E-06 | 855.1110555 | 6.4 | 245 |
| 10 | 117795.6293 | 0.99328609 | 1E-06 | 869.6633317 | 5.6 | 205 |
| 20 | 91179.56428 | 0.992468345 | 1E-06 | 1202.25913 | 14.3 | 87 |
| 30 | 71645.70185 | 0.990856735 | 1E-06 | 1283.252626 | 34.9 | 47 |
| 40 | 52466.62381 | 0.98786001 | 1E-06 | 1286.266133 | 40.5 | 21 |
| 50 | 28288.04652 | 0.985970372 | 1E-06 | 844.4602301 | 35.3 | 10 |
| 60 | 14117.54027 | 0.984868816 | 1E-06 | 533.1965983 | 53.1 | 7 |
| 70 | 10979.98449 | 0.985028192 | 1E-06 | 445.3021511 | 62 | 6 |
| 80 | 10638.81541 | 0.984156903 | 1E-06 | 524.6763382 | 69.6 | 8 |
| 90 | 9757.722361 | 0.982007335 | 1E-06 | 570.4182091 | 29.2 | 7 |
| 100 | 8878.603802 | 0.977207951 | 1E-06 | 648.2546273 | 90.6 | 7 |
| 110 | 7560.581791 | 0.970227073 | 1E-06 | 551.4747374 | 50.2 | 7 |
| 120 | 6046.066533 | 0.961413621 | 1E-06 | 571.1925963 | 89.1 | 3 |
| 130 | 5021.085543 | 0.970240899 | 1E-06 | 508.1095548 | 53.1 | 3 |
| 140 | 4089.464732 | 0.980966865 | 1E-06 | 427.3106553 | 91.8 | 3 |
| 150 | 3914.265133 | 0.982963341 | 1E-06 | 450.4702351 | 99.2 | 3 |
| 160 | 3897 | 0.983089283 | 1E-06 | 538.0455228 | 100 | 1 |
| 200 | 3871.009005 | 0.977139575 | 1E-06 | 639.2601301 | 93.1 | 4 |
| 210 | 3696.18009 | 0.974980204 | 1E-06 | 671.5392696 | 72.3 | 6 |
| 215 | 3286.678339 | 0.94333423 | 1E-06 | 641.4507254 | 38 | 4 |
| 220 | 2702.929465 | 0.853601172 | 1E-06 | 567.7673837 | 86.5 | 4 |
| 240 | 2596 | 0.814743804 | 1E-06 | 601.4292146 | 100 | 1 |
| 260 | 2596 | 0.795055317 | 1E-06 | 640.7138569 | 100 | 1 |
| 280 | 2595.533267 | 0.783086015 | 1E-06 | 722.8294147 | 99.9 | 2 |
| 290 | 2566.129065 | 0.782319803 | 1E-06 | 765.3481741 | 96.8 | 2 |
| 295 | 2482.834417 | 0.797667929 | 1E-06 | 762.1890945 | 87.4 | 4 |
| 300 | 2293.785393 | 0.837000661 | 1E-06 | 730.7393697 | 66 | 5 |
| 301 | 2244.909955 | 0.847812097 | 1E-06 | 655.6713357 | 60.3 | 4 |
| 302 | 2177.41921 | 0.864338451 | 1E-06 | 677.3711856 | 51.4 | 6 |
| 305 | 2022.012006 | 0.899884113 | 1E-06 | 695.0115058 | 57.8 | 5 |
| 310 | 1803.558779 | 0.944903105 | 1E-06 | 659.4802401 | 81.1 | 6 |
| 320 | 1673.505253 | 0.96343071 | 1E-06 | 611.7878939 | 98.2 | 5 |
| 340 | 1663 | 0.962203715 | 1E-06 | 685.9094547 | 100 | 1 |
| 360 | 1663 | 0.960327903 | 1E-06 | 733.4092046 | 100 | 1 |
| 380 | 1663 | 0.958766821 | 1E-06 | 717.7158579 | 100 | 1 |
| 400 | 1663 | 0.957284421 | 1E-06 | 859.5852926 | 100 | 1 |
| 420 | 1662.861931 | 0.955882967 | 1E-06 | 817.0575288 | 99.9 | 2 |
| 440 | 1646.682341 | 0.951288207 | 1E-06 | 834.7243622 | 93.9 | 3 |
| 460 | 1472.213607 | 0.915313938 | 1E-06 | 897.7098549 | 68.3 | 5 |
| 480 | 1389.0005 | 0.89510509 | 1E-06 | 824.6728364 | 83.7 | 5 |
| 500 | 1385.537269 | 0.880267772 | 1E-06 | 932.2776388 | 100 | 1 |
| 520 | 1378.798899 | 0.854598153 | 1E-06 | 778.1770885 | 79.2 | 3 |
| 540 | 1353.688344 | 0.779361037 | 1E-06 | 839.8534267 | 97.8 | 2 |
| 560 | 1352.927464 | 0.767775345 | 1E-06 | 756.9969985 | 99.9 | 2 |
| 580 | 1346.689345 | 0.766967906 | 1E-06 | 854.7538769 | 95.6 | 2 |
| 590 | 1332.218609 | 0.784895966 | 1E-06 | 824.3956978 | 85.8 | 3 |
| 595 | 1315.088044 | 0.810554775 | 1E-06 | 887.1685843 | 74.1 | 3 |
| 600 | 1297.293647 | 0.833875983 | 1.00E-06 | 864.6323162 | 62.6 | 3 |
| 610 | 1251.265133 | 0.884327842 | 1E-06 | 799.5957979 | 58 | 3 |
| 620 | 1202.116558 | 0.909436879 | 1E-06 | 847.2341171 | 67.3 | 3 |
| 630 | 1148.246623 | 0.891357236 | 1E-06 | 868.3021511 | 56.9 | 3 |
| 640 | 1102.215608 | 0.847185402 | 1E-06 | 830.2316158 | 62.9 | 5 |
| 650 | 1062.614307 | 0.797253149 | 1E-06 | 859.0775388 | 85.6 | 5 |
| 660 | 1042.4007 | 0.755573515 | 1E-06 | 810.5287644 | 88.6 | 5 |
| 670 | 1018.533767 | 0.671164728 | 1E-06 | 832.953977 | 65.4 | 4 |
| 680 | 993.12006 | 0.563521208 | 1E-06 | 856.5077539 | 74.2 | 3 |
| 690 | 978.7268634 | 0.510132453 | 1E-06 | 848.3081541 | 94.9 | 3 |
| 700 | 968.6573287 | 0.512699314 | 1E-06 | 877.2486243 | 96 | 3 |
| 720 | 920.2506253 | 0.606602045 | 1E-06 | 815.4517259 | 74.1 | 2 |
| 740 | 850.9024512 | 0.746866901 | 1E-06 | 827.106053 | 57.6 | 2 |
| 760 | 792.8514257 | 0.86296314 | 1E-06 | 873.7658829 | 83.1 | 4 |
| 780 | 604.5072536 | 0.741864148 | 1E-06 | 758.8714357 | 55.1 | 4 |
| 800 | 405.188094 | 0.516227209 | 1E-06 | 690.7433717 | 95.1 | 2 |
| 820 | 387 | 0.493433651 | 1E-06 | 728.7133567 | 100 | 1 |
| 840 | 387 | 0.493246623 | 1E-06 | 749.058029 | 100 | 1 |
| 860 | 387 | 0.493043758 | 1E-06 | 766.5687844 | 100 | 1 |
| 880 | 386.877939 | 0.492933401 | 1E-06 | 820.8094047 | 99.9 | 2 |
| 900 | 379.066033 | 0.492794136 | 1E-06 | 797.971986 | 93.5 | 2 |
| 920 | 349.4052026 | 0.492643055 | 1E-06 | 743.5397699 | 69.2 | 2 |
| 940 | 303.2661331 | 0.492528676 | 1E-06 | 793.4982491 | 68.6 | 2 |
| 960 | 275.1310655 | 0.492479908 | 1E-06 | 792.1855928 | 91.7 | 2 |
| 980 | 266.5837919 | 0.492474378 | 1E-06 | 800.042021 | 98.5 | 3 |
| 1000 | 264.821911 | 0.492487953 | 1E-06 | 819.8394197 | 98.8 | 3 |
一個(gè)很意外的發(fā)現(xiàn)，網(wǎng)絡(luò)的平均分辨準(zhǔn)確率隨著隱藏層節(jié)點(diǎn)數(shù)n的增加并不是簡單的線性變化的，在3-1000這個(gè)區(qū)段至少發(fā)現(xiàn)了5個(gè)精細(xì)結(jié)構(gòu)
?
分別是n=100，290，580，690.在這個(gè)4個(gè)節(jié)點(diǎn)數(shù)分辨準(zhǔn)確率對隱藏層節(jié)點(diǎn)數(shù)有明確的拐點(diǎn)，也就表明隱藏層節(jié)點(diǎn)數(shù)對網(wǎng)絡(luò)的分辨準(zhǔn)確率不存在簡單的線性關(guān)系。當(dāng)n=6時(shí)pave=0.993389156890011是最大值，也就是在3-1000這個(gè)區(qū)段上至少有1個(gè)峰，4個(gè)谷。
?
峰值占比
當(dāng)n=6時(shí)網(wǎng)絡(luò)pave取得最大值，這個(gè)網(wǎng)絡(luò)收斂了1999次產(chǎn)生了505個(gè)不同的峰值，其中最大峰136347也只不過占了總數(shù)的2.9%，綜合所有實(shí)驗(yàn)數(shù)據(jù)表明pave比較大的網(wǎng)絡(luò)峰值占比都顯著的比較低.
?
峰值占比低于10的網(wǎng)絡(luò)的pave都顯著的更高。當(dāng)n>800以后峰值占比接近100，也就是只有一個(gè)特征主峰。這時(shí)的pave約為0.5.如果不同的峰值越多表明網(wǎng)絡(luò)的不同特征越多，則這個(gè)實(shí)驗(yàn)表明隨著n的增加網(wǎng)絡(luò)的特征反而降低了。或者說隱藏層節(jié)點(diǎn)數(shù)越小網(wǎng)絡(luò)可以表現(xiàn)出越多的特征，不同的特征越多越有利分類。
?
不同峰值數(shù)量
當(dāng)n=4時(shí)不同峰值數(shù)量為977是實(shí)驗(yàn)的79組數(shù)據(jù)中不同峰值數(shù)量最大的。
特別是當(dāng)n大于10以后不同峰值數(shù)量就已經(jīng)下降到個(gè)位數(shù)。表明網(wǎng)絡(luò)隨著n的增加正變得更加特征單一，而單一的特征卻不利于分類。
?
觀察不同峰值數(shù)量表格
?
| 隱藏層節(jié)點(diǎn)數(shù) n | 峰值占比% | 不同峰值數(shù)量 | 1/n^2 | 不同峰值數(shù)量/(1/n^2) |
| 3 | 3.2 | 920 | ? | ? |
| 4 | 1 | 977 | 0.0625 | 15632 |
| 5 | 2.5 | 701 | 0.04 | 17525 |
| 6 | 2.9 | 505 | 0.027778 | 18180 |
| 7 | 3.7 | 376 | 0.020408 | 18424 |
| 8 | 6 | 292 | 0.015625 | 18688 |
| 9 | 6.4 | 245 | 0.012346 | 19845 |
| 10 | 5.6 | 205 | 0.01 | 20500 |
| 20 | 14.3 | 87 | 0.0025 | 34800 |
| 30 | 34.9 | 47 | 0.001111 | 42300 |
| 40 | 40.5 | 21 | 0.000625 | 33600 |
| 50 | 35.3 | 10 | 0.0004 | 25000 |
| 60 | 53.1 | 7 | 0.000278 | 25200 |
| 70 | 62 | 6 | 0.000204 | 29400 |
| 80 | 69.6 | 8 | 0.000156 | 51200 |
| 90 | 29.2 | 7 | 0.000123 | 56700 |
| 100 | 90.6 | 7 | 0.0001 | 70000 |
| 110 | 50.2 | 7 | 8.26E-05 | 84700 |
| 120 | 89.1 | 3 | 6.94E-05 | 43200 |
| 130 | 53.1 | 3 | 5.92E-05 | 50700 |
| 140 | 91.8 | 3 | 5.1E-05 | 58800 |
?
可以非常明確的觀察到不同峰值數(shù)量與1/n^2有非常明顯的對應(yīng)關(guān)系。
由此可以假設(shè)一個(gè)關(guān)系式
num是不同峰值數(shù)量
C03是mnist的0和3之間的特征差異總量
假設(shè)C03是一個(gè)定值，而將一次收斂理解成是一次躍遷，有n*n種可能的躍遷路徑也就是能級，如n=4則共有4*4個(gè)能級，這個(gè)假設(shè)可以解釋特征峰數(shù)量隨著n的增加而減小的現(xiàn)象。
?
?
?
?
?
?
總結(jié)
以上是生活随笔為你收集整理的平均分辨准确率对网络隐藏层节点数的非线性变化关系03的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 神经网络波动方程∂f（x）/ ∂x=f（
- 下一篇： 由隐藏层节点数引起的网络准确率的不规则变