3x3,5x5,7x7卷积核识别效率对比
一個卷積核可以更快的提升準確率很顯然表明這個卷積核把握圖片特征 的能力更強。
本文比較了3x3,5x5,7x7卷積核識別9x9的圖片的識別效率和性能。
本文的數據集用了minst的0和2中的前500張圖片,經過池化變成9x9的尺寸。只用一個卷積核所以網絡結構是 :
3x3卷積核的網絡結構是
9x9-7x7-30-2
5x5卷積核的網絡結構是
9x9-5x5-30-2
7x7卷積核的網絡結構是
9x9-3x3-30-2
測試集中有980個0和1032個2。讓0向1,0收斂,讓2向0,1收斂。
?
具體進樣順序
| 進樣順序 | 迭代次數 |
| minst 0-1 | 1 |
| minst 2-1 | 2 |
| 梯度下降 | ? |
| minst 0-2 | 3 |
| minst 2-2 | 4 |
| 梯度下降 | ? |
| minst 0-3 | 5 |
| minst 2-3 | 6 |
| 梯度下降 | ? |
| minst 0-4 | 7 |
| minst 2-4 | 8 |
| 梯度下降 | ? |
| minst 0-5 | 9 |
| minst 2-5 | 10 |
| 梯度下降 | ? |
| 每5張圖測量一次準確率 | |
| …… | ? |
| minst 0-499 | 997 |
| minst 2-499 | 998 |
| 梯度下降 | ? |
| 測量準確率 | ? |
?
分別統計了準確率超過0.512922,0.6,0.7,0.8,0.9的迭代次數,實現準確率最大值的迭代次數和準確率的最大值以及耗時
每個卷積核重復了50次,統計平均值,得到的數據表格
| ? | 0.512922 | >0.6 | >0.7 | >0.8 | >0.9 | 得到最大值的迭代次數 | 最大的準確率 | 耗時ms | 耗時min |
| 3*3 | 33 | 100.4 | 148.2 | 227.6 | 313.8 | 829.4 | 0.931620278 | 76769.24 | 1.279487333 |
| 5*5 | 31.4 | 75.4 | 114.4 | 175 | 252.8 | 821.8 | 0.929075547 | 79656.1 | 1.327601667 |
| 7*7 | 33.6 | 100.8 | 156.2 | 223.8 | 105 | 772 | 0.845427435 | 75682.52 | 1.261375333 |
?
第一行33的意思就是用3x3的卷積核的準確率第一次超過0.512922用了33次迭代,也就是0的第17張圖片。因為測試集中有48.7078%的0和51.2922%的2所以準確率超過0.512922表明網絡已經有了識別能力,所以把準確率超過0.512922的點叫覺醒點。所以比較而言5x5的卷積核的覺醒點是最小的只需要16張圖片網絡就已經開始具有分別能力。
第二行的100.4的意思就是3x3的卷積核的網絡的準確率第一次超過60%需要平均100.4次迭代,通過對比很容易發現,5x5的卷積核的識別效率是最高的因為在所有有效區間上5x5的卷積核需要的迭代次數都小于3x3的卷積核和7x7的卷積核。
31.4<33<33.6
75.4<100.4<100.8
114.4<148.2<156.2
175<223.8<227.6
252<313
821<829
可見從識別效率上5x5是最快的,5x5的卷積核達到90%的正確率需要252次迭代是3x3的卷積核達到90%的正確率需要迭代次數的80%。
(因為7x7的卷積核在500張圖片以內有些沒有達到90%所以105這個不是有效數字)
最大的準確率3x3的要優一些但5x5的也并不落后很多。
而7x7的卷積核的準確率就相差很多。
所以綜合起來看5x5的卷積核識別效率最高,準確率的上升速度最快。也就是5x5的卷積核把握了圖片的更為本質的特征。
3x3的數據表明卷積核尺寸小了,能把握的局部特征不明顯。但是通過數據的積累一樣可以達到很高的甚至更高的準確率。
7x7的數據表明對于一個9x9的圖片7x7的卷積核的尺寸太大了。
?
49-30-2????? ?
25-30-2
9-30-2?????? ?
對比三個網絡就很容易發現,49-30-2顯然需要更多的數據去收斂,9-30-2又太濃縮了很多特征都丟失了,導致收斂速度緩慢。所以針對這題5x5的卷積核性能更優些。
?
?
實驗數據
學習率 0.1
權重初始化方式
| Random rand1 =new Random(); |
| int ti1=rand1.nextInt(98)+1; |
| ? |
| int xx=1; |
| if(ti1%2==0) |
| { |
| ?xx=-1; |
| } |
| ? |
| tw[a][b]=xx*((double)ti1/x); |
?
第一層第二層和卷積核的權重的初始化的x分別為1000,1000,200
?
| 3x3 | ? | ? | ? | ? | ? | ? | ? |
| 0.512922 | >0.6 | >0.7 | >0.8 | >0.9 | 得到最大值的迭代次數 | 最大的準確率 | 耗時ms |
| 40 | 130 | 220 | 370 | 830 | 950 | 0.907554672 | 76889 |
| 10 | 50 | 50 | 90 | 270 | 580 | 0.944831014 | 76043 |
| 10 | 40 | 40 | 40 | 110 | 430 | 0.9527833 | 76182 |
| 50 | 60 | 70 | 180 | 520 | 970 | 0.941351889 | 76346 |
| 10 | 40 | 50 | 50 | 80 | 740 | 0.97166998 | 76297 |
| 40 | 40 | 90 | 170 | 390 | 960 | 0.944831014 | 76101 |
| 150 | 210 | 210 | 220 | 380 | 940 | 0.959741551 | 76157 |
| 10 | 40 | 50 | 120 | 160 | 660 | 0.953280318 | 75987 |
| 50 | 50 | 90 | 190 | 340 | 950 | 0.946322068 | 76719 |
| 50 | 70 | 70 | 100 | 240 | 790 | 0.957753479 | 76690 |
| 10 | 80 | 150 | 230 | 310 | 740 | 0.958747515 | 76301 |
| 40 | 50 | 50 | 50 | 370 | 970 | 0.923956262 | 76033 |
| 10 | 120 | 190 | 260 | 610 | 840 | 0.921471173 | 76127 |
| 20 | 30 | 30 | 40 | 120 | 570 | 0.957753479 | 76316 |
| 70 | 100 | 100 | 140 | 180 | 780 | 0.974652087 | 76329 |
| 30 | 40 | 40 | 110 | 540 | 700 | 0.911033797 | 76096 |
| 50 | 100 | 120 | 160 | 420 | 680 | 0.916500994 | 76063 |
| 10 | 70 | 150 | 230 | 460 | 960 | 0.943836978 | 76190 |
| 10 | 180 | 220 | 360 | 0 | 940 | 0.882703777 | 76001 |
| 40 | 50 | 50 | 60 | 190 | 610 | 0.93389662 | 76111 |
| 40 | 60 | 120 | 190 | 390 | 940 | 0.925944334 | 79443 |
| 50 | 150 | 210 | 300 | 730 | 980 | 0.922962227 | 78500 |
| 10 | 120 | 190 | 360 | 0 | 990 | 0.882206759 | 80423 |
| 70 | 90 | 150 | 210 | 340 | 860 | 0.964214712 | 78563 |
| 10 | 90 | 170 | 310 | 350 | 960 | 0.951292247 | 76564 |
| 10 | 210 | 410 | 500 | 0 | 800 | 0.868787276 | 76625 |
| 30 | 30 | 60 | 230 | 230 | 750 | 0.969681909 | 76599 |
| 10 | 70 | 160 | 310 | 700 | 960 | 0.911530815 | 76328 |
| 10 | 50 | 60 | 120 | 260 | 960 | 0.939860835 | 76483 |
| 10 | 90 | 130 | 170 | 460 | 660 | 0.910039761 | 76456 |
| 50 | 160 | 190 | 350 | 0 | 960 | 0.889662028 | 76544 |
| 80 | 160 | 250 | 410 | 0 | 980 | 0.88916501 | 76411 |
| 40 | 80 | 80 | 160 | 220 | 970 | 0.945328032 | 76825 |
| 10 | 440 | 610 | 810 | 0 | 990 | 0.842445328 | 76590 |
| 10 | 40 | 90 | 110 | 180 | 670 | 0.946322068 | 76604 |
| 10 | 110 | 140 | 200 | 260 | 580 | 0.935884692 | 76575 |
| 10 | 170 | 240 | 260 | 440 | 650 | 0.949801193 | 76589 |
| 10 | 220 | 250 | 320 | 380 | 950 | 0.96471173 | 76529 |
| 60 | 120 | 180 | 240 | 460 | 980 | 0.962723658 | 76606 |
| 60 | 60 | 70 | 160 | 270 | 980 | 0.946322068 | 76582 |
| 10 | 130 | 310 | 460 | 0 | 990 | 0.867296223 | 76592 |
| 100 | 160 | 190 | 280 | 0 | 450 | 0.88916501 | 76495 |
| 70 | 100 | 170 | 310 | 520 | 950 | 0.939860835 | 76579 |
| 40 | 40 | 230 | 310 | 690 | 980 | 0.919483101 | 76639 |
| 10 | 120 | 160 | 280 | 720 | 910 | 0.906560636 | 76669 |
| 40 | 40 | 40 | 50 | 50 | 430 | 0.95526839 | 76785 |
| 10 | 40 | 140 | 210 | 410 | 890 | 0.921471173 | 76873 |
| 10 | 190 | 210 | 300 | 420 | 590 | 0.966699801 | 76868 |
| 50 | 100 | 130 | 190 | 440 | 960 | 0.946322068 | 80442 |
| 10 | 30 | 30 | 100 | 250 | 990 | 0.945328032 | 77703 |
| ? | ? | ? | ? | ? | ? | ? | ? |
| ? | ? | ? | ? | ? | ? | ? | ? |
| 33 | 100.4 | 148.2 | 227.6 | 313.8 | 829.4 | 0.931620278 | 76769.24 |
| ? | ? | ? | ? | ? | ? | ? | ? |
?
| 5x5 | ? | ? | ? | ? | ? | ? | ? |
| 0.512922 | >0.6 | >0.7 | >0.8 | >0.9 | 得到最大值的迭代次數 | 最大的準確率 | 耗時ms |
| 10 | 50 | 60 | 170 | 370 | 980 | 0.92693837 | 77064 |
| 20 | 30 | 40 | 110 | 400 | 640 | 0.913021869 | 76532 |
| 10 | 40 | 40 | 40 | 80 | 960 | 0.955765408 | 76645 |
| 10 | 100 | 190 | 310 | 0 | 980 | 0.885188867 | 76742 |
| 10 | 90 | 150 | 400 | 0 | 990 | 0.882703777 | 76489 |
| 10 | 50 | 50 | 60 | 170 | 610 | 0.937375746 | 76440 |
| 40 | 130 | 150 | 170 | 220 | 720 | 0.956759443 | 76487 |
| 10 | 110 | 160 | 160 | 330 | 920 | 0.947316103 | 76356 |
| 50 | 60 | 60 | 120 | 290 | 770 | 0.922465209 | 76334 |
| 10 | 40 | 60 | 70 | 190 | 960 | 0.944831014 | 76196 |
| 40 | 50 | 110 | 110 | 170 | 560 | 0.948807157 | 76483 |
| 10 | 60 | 90 | 130 | 280 | 980 | 0.92445328 | 76442 |
| 30 | 30 | 40 | 60 | 140 | 270 | 0.968687873 | 76291 |
| 10 | 170 | 220 | 280 | 520 | 910 | 0.944333996 | 78074 |
| 10 | 40 | 40 | 140 | 440 | 980 | 0.934393638 | 80464 |
| 10 | 20 | 70 | 80 | 240 | 430 | 0.927932406 | 79595 |
| 70 | 70 | 240 | 310 | 460 | 910 | 0.930417495 | 80148 |
| 60 | 90 | 170 | 280 | 450 | 990 | 0.954274354 | 80722 |
| 10 | 30 | 30 | 70 | 240 | 610 | 0.959244533 | 81101 |
| 30 | 30 | 110 | 240 | 440 | 990 | 0.921968191 | 80864 |
| 50 | 50 | 50 | 110 | 260 | 930 | 0.946322068 | 80803 |
| 10 | 50 | 60 | 140 | 270 | 880 | 0.95526839 | 81039 |
| 40 | 40 | 40 | 100 | 0 | 950 | 0.899602386 | 80953 |
| 40 | 50 | 70 | 90 | 170 | 910 | 0.959244533 | 80177 |
| 10 | 150 | 310 | 350 | 730 | 920 | 0.922465209 | 80656 |
| 90 | 130 | 170 | 320 | 0 | 970 | 0.847415507 | 80727 |
| 10 | 50 | 50 | 60 | 150 | 430 | 0.939860835 | 80651 |
| 40 | 70 | 130 | 190 | 0 | 930 | 0.895129225 | 80048 |
| 220 | 240 | 270 | 290 | 400 | 470 | 0.971172962 | 80650 |
| 40 | 40 | 100 | 140 | 240 | 860 | 0.946322068 | 80413 |
| 40 | 40 | 60 | 100 | 950 | 950 | 0.902584493 | 80303 |
| 10 | 80 | 120 | 140 | 220 | 580 | 0.944831014 | 79558 |
| 10 | 50 | 60 | 60 | 130 | 560 | 0.959741551 | 80070 |
| 10 | 50 | 110 | 190 | 280 | 990 | 0.945328032 | 80192 |
| 10 | 100 | 140 | 160 | 240 | 890 | 0.943836978 | 80151 |
| 30 | 60 | 150 | 250 | 310 | 860 | 0.954274354 | 79772 |
| 10 | 60 | 120 | 260 | 0 | 940 | 0.850397614 | 80672 |
| 10 | 60 | 120 | 260 | 0 | 900 | 0.896620278 | 80265 |
| 10 | 40 | 50 | 50 | 240 | 920 | 0.944333996 | 80483 |
| 50 | 70 | 170 | 270 | 0 | 990 | 0.896620278 | 80405 |
| 10 | 50 | 130 | 240 | 0 | 990 | 0.892147117 | 80886 |
| 10 | 40 | 40 | 170 | 270 | 970 | 0.934890656 | 81414 |
| 60 | 70 | 70 | 230 | 480 | 660 | 0.904572565 | 76423 |
| 50 | 70 | 70 | 110 | 130 | 580 | 0.957256461 | 80606 |
| 100 | 160 | 210 | 230 | 690 | 990 | 0.903578529 | 119862 |
| 60 | 150 | 150 | 170 | 310 | 370 | 0.916500994 | 76160 |
| 50 | 190 | 210 | 210 | 220 | 580 | 0.963717694 | 75890 |
| 10 | 40 | 40 | 100 | 150 | 980 | 0.938369781 | 76083 |
| 10 | 150 | 160 | 170 | 0 | 990 | 0.89612326 | 76147 |
| 10 | 80 | 210 | 280 | 370 | 990 | 0.938369781 | 75877 |
| ? | ? | ? | ? | ? | ? | ? | ? |
| ? | ? | ? | ? | ? | ? | ? | ? |
| 31.4 | 75.4 | 114.4 | 175 | 252.8 | 821.8 | 0.929075547 | 79656.1 |
| ? | ? | ? | ? | ? | ? | ? | ? |
?
?
?
| 7x7 | ? | ? | ? | ? | ? | ? | ? |
| 0.512922 | >0.6 | >0.7 | >0.8 | >0.9 | 得到最大值的迭代次數 | 最大的準確率 | 耗時ms |
| 60 | 70 | 110 | 500 | 0 | 770 | 0.80417495 | 76416 |
| 70 | 140 | 200 | 240 | 0 | 580 | 0.891650099 | 75618 |
| 10 | 50 | 120 | 230 | 0 | 810 | 0.834493042 | 75615 |
| 40 | 40 | 40 | 50 | 0 | 880 | 0.879224652 | 76155 |
| 10 | 40 | 0 | 0 | 0 | 800 | 0.68638171 | 78123 |
| 50 | 60 | 100 | 100 | 190 | 460 | 0.939860835 | 76784 |
| 40 | 100 | 940 | 0 | 0 | 940 | 0.704771372 | 76640 |
| 10 | 90 | 210 | 340 | 0 | 940 | 0.85387674 | 76829 |
| 80 | 280 | 790 | 0 | 0 | 790 | 0.743538767 | 76816 |
| 10 | 120 | 130 | 170 | 380 | 890 | 0.932405567 | 76713 |
| 10 | 40 | 80 | 0 | 0 | 900 | 0.799204771 | 76939 |
| 10 | 170 | 240 | 310 | 0 | 970 | 0.87972167 | 76789 |
| 10 | 400 | 0 | 0 | 0 | 830 | 0.671968191 | 76564 |
| 160 | 180 | 240 | 340 | 570 | 990 | 0.915506958 | 77337 |
| 50 | 110 | 150 | 220 | 520 | 680 | 0.913518887 | 77407 |
| 140 | 150 | 150 | 530 | 0 | 880 | 0.82554672 | 77680 |
| 40 | 50 | 50 | 100 | 470 | 930 | 0.901093439 | 77650 |
| 10 | 140 | 190 | 310 | 0 | 670 | 0.850894632 | 78097 |
| 30 | 50 | 70 | 0 | 0 | 240 | 0.795725646 | 78068 |
| 10 | 330 | 470 | 860 | 0 | 980 | 0.810636183 | 77933 |
| 10 | 90 | 100 | 190 | 640 | 940 | 0.91500994 | 78308 |
| 40 | 110 | 0 | 0 | 0 | 690 | 0.657057654 | 78198 |
| 10 | 80 | 110 | 190 | 400 | 780 | 0.91500994 | 78501 |
| 10 | 290 | 320 | 330 | 790 | 920 | 0.903578529 | 78025 |
| 70 | 110 | 200 | 800 | 0 | 960 | 0.81361829 | 78200 |
| 40 | 40 | 50 | 90 | 0 | 250 | 0.880218688 | 77275 |
| 10 | 40 | 50 | 120 | 210 | 990 | 0.916500994 | 77242 |
| 20 | 40 | 110 | 300 | 0 | 870 | 0.820079523 | 77312 |
| 10 | 210 | 310 | 340 | 0 | 690 | 0.820079523 | 76759 |
| 10 | 90 | 90 | 210 | 0 | 570 | 0.884194831 | 77150 |
| 10 | 40 | 40 | 40 | 0 | 630 | 0.899602386 | 76878 |
| 10 | 70 | 70 | 220 | 0 | 960 | 0.868290258 | 76941 |
| 10 | 40 | 60 | 110 | 0 | 590 | 0.892147117 | 76893 |
| 50 | 70 | 330 | 0 | 0 | 580 | 0.762425447 | 76805 |
| 10 | 80 | 110 | 220 | 0 | 820 | 0.842445328 | 76794 |
| 50 | 180 | 250 | 950 | 0 | 950 | 0.800695825 | 76880 |
| 10 | 10 | 10 | 10 | 420 | 950 | 0.911530815 | 5690 |
| 60 | 60 | 120 | 0 | 0 | 750 | 0.796222664 | 77450 |
| 30 | 40 | 60 | 0 | 0 | 560 | 0.773359841 | 77735 |
| 30 | 30 | 170 | 220 | 0 | 710 | 0.869781312 | 79375 |
| 50 | 50 | 80 | 300 | 0 | 720 | 0.838469185 | 76086 |
| 10 | 50 | 50 | 120 | 0 | 630 | 0.885188867 | 76428 |
| 40 | 100 | 100 | 180 | 450 | 920 | 0.93638171 | 76047 |
| 10 | 60 | 60 | 180 | 0 | 530 | 0.853379722 | 76248 |
| 10 | 50 | 60 | 120 | 210 | 970 | 0.949801193 | 77268 |
| 100 | 210 | 220 | 630 | 0 | 990 | 0.814115308 | 77884 |
| 10 | 50 | 170 | 560 | 0 | 990 | 0.835984095 | 76823 |
| 10 | 40 | 40 | 170 | 0 | 980 | 0.864314115 | 76333 |
| 40 | 50 | 110 | 190 | 0 | 500 | 0.845924453 | 76233 |
| 50 | 50 | 80 | 100 | 0 | 280 | 0.871769384 | 76192 |
| ? | ? | ? | ? | ? | ? | ? | ? |
| ? | ? | ? | ? | ? | ? | ? | ? |
| 33.6 | 100.8 | 156.2 | 223.8 | 105 | 772 | 0.845427435 | 75682.52 |
| ? | ? | ? | ? | ? | ? | ? | ? |
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的3x3,5x5,7x7卷积核识别效率对比的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 亮剑,有个坦克游戏里面有坦克98式还有鼠
- 下一篇: 罚站刷墙是哪一个事件