用特征光谱分类神经网络
雖然拿不出數學證明,但是現在我個人的實驗表明對應特定的收斂標準神經網絡的迭代次數和迭代次數的分布都是特征的。這種特征非常類似化學上的光譜,所以是否有可能利用這種光譜來分類神經網絡?
(mnist 0 ,mnist x)81-30-2-(1,0) || (0,1)
分別制作了9個網絡來二分類mnist的0-1到0-9.
網絡結構是81*30*2,讓0向(1,0)收斂,讓x向(0,1)收斂。
設定這個網絡停止迭代的標準是
|輸出函數-目標函數|<δ
讓δ=1e-6,重復999次,統計平均值和分布,然后用得到的數據畫圖。
得到的數據表格
| 0-1 | 53882 | 63878 | 72108 | 73874 | 75502 | 82104 | 83870 | 85498 | 92100 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 5 | 348 | 1 | 435 | 68 | 30 | 74 | 36 | 2 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0-2 | 14610 | 17600 | 18466 | 24606 | 27596 | 28462 | 34602 | 37592 | 40288 | 44598 | 47502 | 47588 | 54594 | 57572 | 57584 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 1 | 26 | 46 | 34 | 287 | 29 | 31 | 338 | 1 | 18 | 3 | 159 | 3 | 1 | 22 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0-3 | 50729 | 60411 | 60631 | 60725 | 68981 | 69862 | 70341 | 70407 | 70547 | 70605 | 70627 | 70721 | 76308 | 78977 | 79858 | 80337 | 80403 | 80425 | 80543 | 80623 | 80717 | 82132 | 84161 | 85946 | 86304 | 86375 | 87046 | 88973 | 89226 | 89854 | 90333 | 90399 | 90421 | 90619 | 90713 | 92128 | 95942 | 98969 | 1E+05 | ? | ? |
| ? | 4 | 9 | 7 | 176 | 3 | 1 | 2 | 77 | 2 | 1 | 70 | 350 | 2 | 13 | 7 | 8 | 43 | 3 | 2 | 22 | 142 | 1 | 2 | 7 | 4 | 1 | 1 | 5 | 1 | 7 | 1 | 1 | 3 | 1 | 15 | 1 | 2 | 1 | 1 | ? | ? |
| 0-4 | 17072 | 23196 | 26250 | 27068 | 32080 | 33192 | 37064 | 42076 | 43188 | 47060 | 52072 | 53184 | 57056 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 1 | 1 | 9 | 322 | 1 | 1 | 497 | 10 | 16 | 127 | 4 | 4 | 6 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0-5 | 14646 | 15898 | 19942 | 22618 | 24642 | 25816 | 25894 | 29478 | 29924 | 29938 | 32614 | 39934 | 39940 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 199 | 70 | 241 | 59 | 32 | 2 | 2 | 1 | 1 | 376 | 9 | 6 | 1 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0-6 | 50757 | 52575 | 52621 | 57079 | 57275 | 58649 | 58791 | 58837 | 60463 | 60753 | 62571 | 62617 | 63525 | 67073 | 67075 | 67271 | 67349 | 68645 | 68787 | 68833 | 69117 | 69237 | 70459 | 70749 | 72567 | 72613 | 77071 | 77267 | 77345 | 78517 | 78641 | 78783 | 78829 | 79113 | 79233 | 80455 | 80745 | 87067 | ? | ? | ? |
| ? | 6 | 8 | 2 | 1 | 1 | 2 | 2 | 22 | 74 | 204 | 29 | 38 | 1 | 3 | 48 | 34 | 14 | 17 | 21 | 45 | 8 | 3 | 220 | 117 | 7 | 6 | 15 | 10 | 3 | 4 | 3 | 6 | 3 | 2 | 1 | 12 | 4 | 3 | ? | ? | ? |
| 0-7 | 14416 | 15788 | 17210 | 18460 | 21218 | 24412 | 25784 | 27206 | 28456 | 34408 | 35780 | 38452 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 6 | 3 | 82 | 538 | 54 | 160 | 8 | 51 | 91 | 3 | 2 | 1 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| 0-8 | 43373 | 43851 | 43963 | 50729 | 51547 | 51643 | 52485 | 52869 | 52905 | 53369 | 53469 | 53639 | 53643 | 53663 | 53847 | 53959 | 55743 | 55749 | 56805 | 57147 | 60725 | 60911 | 61543 | 61639 | 62481 | 63659 | 63843 | 63955 | 63997 | 65739 | 66109 | 66801 | 67143 | 71539 | 72477 | 73127 | 73655 | 73839 | 73993 | 75735 | 76797 |
| ? | 1 | 1 | 2 | 24 | 13 | 44 | 1 | 1 | 1 | 2 | 3 | 2 | 1 | 94 | 100 | 57 | 58 | 3 | 37 | 39 | 54 | 2 | 134 | 36 | 20 | 102 | 65 | 7 | 2 | 50 | 2 | 16 | 4 | 4 | 1 | 1 | 1 | 3 | 2 | 5 | 4 |
| 0-9 | 50560 | 52046 | 52236 | 57582 | 60556 | 62042 | 62232 | 67578 | 70552 | 70870 | 70982 | 72038 | 72228 | 77574 | 80866 | 80914 | 80978 | 82034 | 90910 | 90974 | 92030 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | 1 | 11 | 12 | 3 | 15 | 249 | 26 | 10 | 6 | 1 | 72 | 394 | 8 | 6 | 1 | 1 | 71 | 89 | 1 | 11 | 11 | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? | ? |
?
| ? | f2[0] | f2[1] | 迭代次數n | 平均準確率p-ave | δ | 耗時ms/次 | 耗時ms/999次 | 最大值p-max |
| 0-1 | 8.35E-07 | 0.999999 | 71843.86 | 0.999622 | 1.00E-06 | 1177.159 | 1175999 | 1 |
| 0-2 | 7.96E-07 | 0.999999 | 34757.467 | 0.985059 | 1.00E-06 | 647.1351 | 646488 | 0.988569 |
| 0-3 | 0.965965 | 0.034035 | 72074.481 | 0.990897 | 1.00E-06 | 1297.528 | 1296247 | 0.99397 |
| 0-4 | 7.68E-07 | 0.999999 | 35365.608 | 0.989317 | 1.00E-06 | 651.8589 | 651238 | 0.995413 |
| 0-5 | 7.46E-07 | 0.999999 | 22971.994 | 0.983244 | 1.00E-06 | 402.9279 | 402540 | 0.987714 |
| 0-6 | 0.999999 | 8.98E-07 | 66716.001 | 0.987435 | 1.00E-06 | 1219.633 | 1218413 | 0.990196 |
| 0-7 | 8.30E-07 | 0.999999 | 20945.708 | 0.991728 | 1.00E-06 | 401.4324 | 401047 | 0.994444 |
| 0-8 | 0.999999 | 8.97E-07 | 58868.173 | 0.99014 | 1.00E-06 | 1076.166 | 1075122 | 0.992835 |
| 0-9 | 8.56E-07 | 0.999999 | 70491.069 | 0.991119 | 1.00E-06 | 1296.209 | 1294918 | 0.992459 |
?
比如對應第一組數據0-1表明讓網絡分類0和1在δ=1e-6時迭代次數平均需要71843次,對應這71843次一共有9個值從53882到92100,而這9個值不是連續的,出現次數最多的是73874共出現了435次。出現次數最少的72108只出現了一次。
將第一組數據畫成圖
有兩個明顯的主峰分別是73874和63878,占比接近43.5%和34.8%
第二組數據
0-2的譜有明顯的3個主峰分別是27596,37592,47588,占比分別是28.7%,33.8%,15.9%
0-3的譜
0-3的平均迭代次數為72074但出現了39個不同的數據,有3個明顯的主峰本別是60725,70721,80717,占比分別是17.6%,35%,14.2%。另外在80543到100709這段高頻區間出現了15個小于等于3的小峰。
0-4的譜
0-4的主峰也有3個,位置分別是27068,37064,47060,占比分別是32.2%,49.7%,12.7%。比較特別的這3個主峰的位置很接近0-2的主峰的位置
| 0-2 | 27596 | 37592 | 47588 |
| ? | 287 | 338 | 159 |
| 0-4 | 27068 | 37064 | 47060 |
| ? | 322 | 497 | 127 |
| ? | 0.981 | 0.986 | 0.989 |
比較0-4和0-2三個數峰的位置,0-4的主峰比0-2的三個主峰的位置大約都小了1%-2%。0-4主峰37064的占比高達49.7%,是1-9所有統計中第二高的峰值。
0-5的譜
0-5有三處主峰14646,19942,29938,占比分別是19.9%,24.1%,37.6%
0-6的譜
0-6的迭代次數的平均值是68667,出現了38個值,峰值的數量和0-3的數量相差不多,有兩個主峰60753和70459占比分別是20.4%,22%,比較特別的在這兩個主峰的附近都有一個明顯的伴峰占比7.4%的60463和占比11.7%的70749顯示了一種精細的二級結構。在低頻區和高頻區還有兩處強度小于等于3的小峰叢。
0-7的譜
0-7的譜只有一個非常明顯的主峰18460占比53.8%這也是所有9張譜中最強的峰值,特征非常明顯。
0-8的譜
0-8的平均迭代次數是60100,出現了41個峰值,這個也側面佐證了相對0而言3,6,8的外形比較像。但與0-3和0-6不同0-8的主峰不明顯,最大的峰值61543占比也僅有13..4%。在大于60911的高頻區出現了8個小于等于3的小峰構成了一叢,在43373到55749的低頻區有11個小于等于3的小峰構成了另一叢。
0-9的譜
0-9有兩個明顯的主峰62042和72038占比分別是24.9%和39.4%。這兩個主峰的位置和0-6的兩個主峰的位置很接近
| 0-6 | 60753 | 70459 |
| ? | 204 | 220 |
| 0-9 | 62042 | 72038 |
| ? | 249 | 394 |
| ? | 1.021 | 1.022 |
但是0-9的主峰的位置比0-6的兩個主峰的位置大了2%,0-9在低頻區和高頻區也有兩個不是非常明顯的兩個小峰叢。側面佐證了6和9結構上的對稱關系。
?
因此這9張譜圖都是高度特征的,主峰的強度和位置都不同,有穩定精細的結構,可以比較容易的用化學上的讀譜法區分這9個網絡,就像區分9種結構不同的分子。
?
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的用特征光谱分类神经网络的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 推拉门用单玻璃的好,还是双层玻璃的好?
- 下一篇: 二分类神经网络的特征光谱---1-2至1