二分类神经网络的特征光谱---1-2至1-9
制作一個二分類的神經網絡來分類mnist的1和2到1和9,網絡結構是
(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)
將28*28的圖片壓縮到9*9,三層網絡的節點數量分別是81*30*2,讓1向(1,0)收斂讓x向(0,1)收斂,讓x分別等于2-9.網絡的迭代停止的標準是:
|輸出函數-目標函數|<δ
讓δ=1e-6,重復收斂999次,統計平均值和分布,然后用得到的迭代次數的分布數據畫圖
網絡性能的綜合數據
| ? | f2[0] | f2[1] | 迭代次數n | 平均準確率p-ave | δ | 耗時ms/次 | 耗時ms/999次 | 最大值p-max | 主峰位置 | 主峰強度 | 峰數量 |
| 1-2 | 0.999999 | 7.91E-07 | 28623.66 | 0.988459836 | 1.00E-06 | 550.6747 | 550142 | 0.993536 | 25547 | 80.10% | 8 |
| 1-3 | 0.004005 | 0.9959951 | 106917.1 | 0.993804439 | 1.00E-06 | 2078.573 | 2076495 | 0.998134 | 111024 | 28.10% | 38 |
| 1-4 | 0.999999 | 6.39E-07 | 22685.28 | 0.99255541 | 1.00E-06 | 247.5656 | 247350 | 0.994802 | 18067 | 51.70% | 4 |
| 1-5 | 0.826826 | 0.1731737 | 78103.31 | 0.993875909 | 1.00E-06 | 1479.884 | 1478416 | 0.996051 | 75699 | 13.40% | 56 |
| 1-6 | 0.999999 | 8.06E-07 | 20213.1 | 0.993139889 | 1.00E-06 | 345.5656 | 345240 | 0.994264 | 20187 | 68.20% | 9 |
| 1-7 | 0.999999 | 7.83E-07 | 24778.82 | 0.977754699 | 1.00E-06 | 464.7958 | 464363 | 0.987348 | 27857 | 49.50% | 9 |
| 1-8 | 0.010011 | 0.9899891 | 154130.7 | 0.991875707 | 1.00E-06 | 2846.962 | 2844120 | 0.996681 | 154366 | 19.80% | 53 |
| 1-9 | 0.997997 | 0.0020028 | 40372.43 | 0.9907244 | 1.00E-06 | 784.5295 | 783778 | 0.99347 | 35239 | 55.50% | 15 |
比如第一組數據用網絡分類mnist的1和2,重復收斂了999次,平均迭代次數是28623次,平均準確率是98.8%,共耗時大約9分鐘,準確率最大的一次是99.3%。
得到的迭代次數統計數據
| 1-2 | 25547 | 31479 | 32789 | 35543 | 40279 | 41475 | 42785 | 50275 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 801 | 1 | 5 | 7 | 82 | 34 | 66 | 3 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 1-3 | 84958 | 88690 | 91032 | 91680 | 91706 | 93548 | 94900 | 94954 | 97972 | 98686 | 100876 | 101028 | 101676 | 101702 | 102049 | 103544 | 104810 | 104896 | 104950 | 105120 | 107968 | 108226 | 108682 | 109751 | 110872 | 111024 | 111698 | 113540 | 114624 | 114892 | 114946 | 115116 | 117964 | 119747 | 120868 | 121020 | 124942 | 130864 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 1 | 2 | 5 | 3 | 4 | 1 | 1 | 43 | 1 | 2 | 2 | 221 | 10 | 18 | 1 | 6 | 2 | 10 | 213 | 1 | 3 | 2 | 2 | 1 | 35 | 281 | 4 | 1 | 1 | 3 | 54 | 1 | 1 | 2 | 28 | 28 | 1 | 4 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 1-4 | 18067 | 23467 | 25243 | 28063 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 517 | 23 | 35 | 424 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 1-5 | 48178 | 48398 | 57659 | 58394 | 65703 | 67655 | 68170 | 68304 | 68390 | 68748 | 69045 | 70499 | 70519 | 70813 | 72409 | 73431 | 75699 | 77651 | 78166 | 78274 | 78300 | 78386 | 78458 | 78744 | 79041 | 79121 | 79267 | 79587 | 80495 | 80515 | 80809 | 82405 | 83427 | 85302 | 85695 | 87647 | 88162 | 88270 | 88296 | 88382 | 88454 | 88740 | 89263 | 89583 | 90491 | 90805 | 92401 | 93423 | 95691 | 97643 | 98266 | 98292 | 98450 | 98736 | 103419 | 113415 | ? | ? |
| ? | 1 | 2 | 3 | 10 | 106 | 66 | 10 | 10 | 14 | 1 | 1 | 1 | 1 | 94 | 1 | 1 | 134 | 51 | 20 | 1 | 25 | 10 | 1 | 2 | 1 | 1 | 4 | 11 | 15 | 1 | 111 | 11 | 57 | 1 | 20 | 19 | 14 | 4 | 21 | 8 | 2 | 2 | 1 | 7 | 7 | 6 | 6 | 69 | 1 | 4 | 3 | 8 | 1 | 2 | 13 | 2 | ? | ? |
| 1-6 | 19407 | 19731 | 20187 | 20777 | 20803 | 27211 | 29403 | 29727 | 30183 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 135 | 59 | 682 | 86 | 26 | 5 | 4 | 1 | 1 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 1-7 | 17861 | 24259 | 25511 | 27857 | 34255 | 34827 | 43731 | 44251 | 44823 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 312 | 121 | 9 | 495 | 46 | 6 | 1 | 8 | 1 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 1-8 | 124378 | 126998 | 132682 | 132714 | 134374 | 136994 | 141292 | 141394 | 142286 | 142678 | 142710 | 144370 | 144686 | 146528 | 146990 | 148986 | 151288 | 151390 | 152282 | 152674 | 152706 | 154366 | 154682 | 156524 | 156986 | 158893 | 161090 | 161284 | 161386 | 162278 | 162670 | 162702 | 164362 | 166520 | 166982 | 167645 | 168889 | 171280 | 171382 | 172274 | 172666 | 172698 | 174358 | 176978 | 178885 | 180244 | 181276 | 181378 | 184354 | 186974 | 191374 | 194350 | 196970 | ? | ? | ? | ? | ? |
| ? | 4 | 4 | 2 | 5 | 47 | 27 | 4 | 1 | 1 | 4 | 11 | 176 | 1 | 1 | 75 | 1 | 7 | 7 | 2 | 26 | 27 | 198 | 1 | 2 | 83 | 6 | 1 | 7 | 11 | 1 | 12 | 14 | 87 | 2 | 41 | 1 | 1 | 4 | 9 | 3 | 1 | 1 | 38 | 18 | 2 | 1 | 2 | 2 | 7 | 5 | 2 | 1 | 2 | ? | ? | ? | ? | ? |
| 1-9 | 25243 | 35239 | 45235 | 55231 | 65227 | 75223 | 85219 | 107303 | 115095 | 117299 | 119793 | 122751 | 129301 | 136446 | 156438 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 68 | 555 | 266 | 77 | 18 | 4 | 2 | 1 | 1 | 1 | 1 | 2 | 1 | 1 | 1 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
比如第一組1-2,雖然平均值是28623但是只有8個離散的迭代次數,其中25547占比達到80.1%。
將1-2畫成圖
只有一個主峰非常明顯,這也是1-2至1-9共8個譜中信號強度最強的一個主峰。雖然主峰如此明顯但是1-2并不是分類準確率最高的。按照準確率排名1-2僅好于1-7
1-5>1-3>1-6>1-4>1-8>1-9>1-2>1-7
| ? | 平均準確率p-ave | 最大值p-max | 主峰位置 | 主峰強度 | 峰數量 |
| 1-7 | 0.977755 | 0.987348 | 27857 | 49.50% | 9 |
| 1-2 | 0.98846 | 0.993536 | 25547 | 80.10% | 8 |
| 1-9 | 0.990724 | 0.99347 | 35239 | 55.50% | 15 |
| 1-8 | 0.991876 | 0.996681 | 154366 | 19.80% | 53 |
| 1-4 | 0.992555 | 0.994802 | 18067 | 51.70% | 4 |
| 1-6 | 0.99314 | 0.994264 | 20187 | 68.20% | 9 |
| 1-3 | 0.993804 | 0.998134 | 111024 | 28.10% | 38 |
| 1-5 | 0.993876 | 0.996051 | 75699 | 13.40% | 56 |
直觀上2和7的外形與1比較相近,因而分辨準確率較低,因為外形相近峰數量比較少,并進而導致峰的分布比較集中。3和5的外形與1的外形差異比較大,因而有比較多的比較位點,并進而產生了更多的峰,并導致主峰相對強度不是很高,但是分辨準確率很高。
但這種方法不能解釋1-4,1-6和1-8,1-9,因為1-4,1-6的峰數量更少但是準確率卻更高,或許可以假設除了峰數量和峰強度外還有一個表示峰價值的參數存在,三個參數共同作用決定分類準確率。
1-3的譜
有3個明顯的主峰分別是101028,104950,111024強度分別是22.1%,21.3%,28.1%,
這張圖里有非常明顯的一個等距的關系
101028-94954=111024-104950=121020-114946=6074
?
1-4的譜
這張譜只有4個峰值,18067占比51.7%,28063占比42.4%。
這個測試的網絡的進樣順序是一樣的,也就是999次的實驗除了每次的權重不同以外沒有其他的差別,但是只有明顯的4個峰值,這個現象表明如果把權重看作一個隨機數列,這個隨機數列對網絡
(mnist 0 ,mnist 4)81-30-2-(1,0) || (0,1)
只有4種可能。也就是可以把神經網絡的迭代次數的分布理解成是對隨機數列的分類。
1-5的譜
1-5的三個主峰分別是65703,75699,80809,強度分別是10.6%,13.4%,11.1%。這三個主峰分別有三個伴峰67655,77651,83427,這三個伴峰大約都在主峰1.03%的位置。
70813-65703,80809-75699這4個峰是等間距分布的,間距5110.
1-6的譜
1-6有一個非常明顯的主峰20187,占比68.2%。8張圖里峰值強度排名第二的峰,特征非常明顯。
1-7的譜
1-7前3個主峰17861,24259,27857占比31.2%,12.1%,49.5%。
這張圖里也有一個等距的關系24259-17861=34255-27857=6398
?
1-8的譜
1-8的譜中強度大于10%的只有兩個峰144370,154366強度分別是17.6%,19.8%。
這張圖的等距關系更為明顯
| 主峰 | ? | 伴峰 |
| 144370-134374 | 146990-136994 | |
| 154366-144370 | 156986-146990 | |
| 164362-154366 | 166982-156986 | |
| 174358-164362 | 176978-166982 | |
| 9996 | ? | 9996 |
5個主峰和5個伴峰他們之間都是等間距分布。
1-9的譜
1-9中強度大于10%的峰值有兩個35239,45235強度分布是55.5%,26.6%,
這張圖的等距關系更為明顯35239-25243=45235-35239=55231-45235=65227-55231=75223-65227=85219-75223=9996
?
?這8張譜的峰值的位置和強度都特征明顯,足以將對應的網絡分開。
?
?
總結
以上是生活随笔為你收集整理的二分类神经网络的特征光谱---1-2至1-9的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 用特征光谱分类神经网络
- 下一篇: 卷积核一定可以提升网络性能吗?-分类0,