用两个矩阵的点积计算神经网络的迭代次数 2-8
每個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)每個(gè)收斂標(biāo)準(zhǔn)δ都有一個(gè)特征的迭代次數(shù)n，因此可以用迭代次數(shù)曲線n(δ)來(lái)評(píng)價(jià)網(wǎng)絡(luò)性能。
在《神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)是一個(gè)線性的變量嗎？》中得到表達(dá)式
一個(gè)二分類(lèi)網(wǎng)絡(luò)分類(lèi)兩個(gè)對(duì)象A和B，B中有K張圖片，B的第i張圖片被取樣的概率為pi,B中第i張圖片相對(duì)A的迭代次數(shù)為ni,最終的迭代次數(shù)nt等于pi*ni的累加和。
由此可以構(gòu)造兩個(gè)矩陣一個(gè)是隨機(jī)矩陣PJ和迭代次數(shù)矩陣NJ
總的迭代次數(shù)nt等于矩陣PJ和NJ的點(diǎn)積
PJ表明圖片集B中第i張圖片被抽樣到的概率為pi
NJ表明圖片集B中第i張圖片相對(duì)A的迭代次數(shù)為ni
由此總迭代次數(shù)nt可以通過(guò)構(gòu)造矩陣PJ和矩陣NJ的方法精確的控制
本文分別制作兩個(gè)矩陣讓
?
本文驗(yàn)證這個(gè)乘法關(guān)系是否成立
?
?
制作一個(gè)二分類(lèi)網(wǎng)絡(luò)區(qū)分?jǐn)?shù)據(jù)集mnist0和數(shù)據(jù)集B，其中B中只有兩張圖片，兩張圖片被抽樣到的概率比是8：2.
?
本文驗(yàn)算這個(gè)表達(dá)式是否正確
實(shí)驗(yàn)過(guò)程
首先用實(shí)驗(yàn)的方法測(cè)量n1
制作一個(gè)帶一個(gè)3*3卷積核的神經(jīng)網(wǎng)絡(luò)，測(cè)試集是mnist的0和一張圖片x，將28*28的圖片縮小成9*9，隱藏層30個(gè)節(jié)點(diǎn)所以網(wǎng)絡(luò)的結(jié)構(gòu)是
?
這個(gè)網(wǎng)絡(luò)分成兩個(gè)部分左邊的是讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但是讓左右兩邊的權(quán)重實(shí)現(xiàn)同步更新，實(shí)現(xiàn)權(quán)重共享。前面大量實(shí)驗(yàn)表明這種效果相當(dāng)于將兩個(gè)彈性系數(shù)為k1，k2的彈簧并聯(lián)成一個(gè)彈性系數(shù)為k的彈簧，并且讓k1=k2=k/2的過(guò)程。
將上圖簡(jiǎn)寫(xiě)成
S（mnist0）81-（con3*3）49-30-2-（1,0）
S（x）81-（con3*3）49-30-2-（0,1）
w=w，w1=w1,w2=w2
進(jìn)一步簡(jiǎn)寫(xiě)成
d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
這個(gè)網(wǎng)絡(luò)的收斂標(biāo)準(zhǔn)是
if (Math.abs(f2[0]-y[0])< δ? &&? Math.abs(f2[1]-y[1])< δ?? )
本文嘗試了δ從0.5到1e-6在內(nèi)的26個(gè)值，訓(xùn)練集是mnist0
圖片x就是一張二維數(shù)組，讓x=1.
| 具體進(jìn)樣順序 | ? | ? | ? | ? |
| 進(jìn)樣順序 | 迭代次數(shù) | ? | ? | ? |
| δ=0.5 | ? | ? | ? | ? |
| mnist 0-1 | 1 | ? | 判斷是否達(dá)到收斂 | |
| X | 2 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| mnist 0-2 | 3 | ? | 判斷是否達(dá)到收斂 | |
| X | 4 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
| mnist 0-4999 | 9997 | ? | 判斷是否達(dá)到收斂 | |
| X | 9998 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
| 如果4999圖片內(nèi)沒(méi)有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán) | ? | ? | ||
| mnist 0-1 | 9999 | ? | 判斷是否達(dá)到收斂 | |
| X | 10000 | ? | 判斷是否達(dá)到收斂 | |
| …… | ? | ? | ? | ? |
| 達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過(guò)程重復(fù)199次 | ? | ? | ? | |
| δ=0.4 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
?
用這個(gè)方法可以得到網(wǎng)絡(luò)
d2（mnist0, x=1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
的迭代次數(shù)曲線n1。
?
第二步測(cè)量n0.1
用同樣的辦法制作另一個(gè)網(wǎng)絡(luò)
d2（mnist0, x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x=0.1.得到迭代次數(shù)曲線n0.1
?
實(shí)驗(yàn)數(shù)據(jù)
在《測(cè)量一組對(duì)角矩陣的頻率和質(zhì)量》中已經(jīng)將這兩個(gè)迭代次數(shù)都測(cè)出來(lái)了
| ? | 1 | 0.1 |
| δ | 迭代次數(shù)n1 | 迭代次數(shù)n0.1 |
| 0.5 | 17.40201005 | 17.87437186 |
| 0.4 | 951.2110553 | 1408.577889 |
| 0.3 | 1144.577889 | 1720.517588 |
| 0.2 | 1313.633166 | 1995.110553 |
| 0.1 | 1505.824121 | 2243.834171 |
| 0.01 | 2362.115578 | 3001.552764 |
| 0.001 | 4129.020101 | 4007.532663 |
| 1.00E-04 | 10353.37186 | 5532.668342 |
| 9.00E-05 | 10653.93467 | 5683.753769 |
| 8.00E-05 | 11292.43719 | 6131.934673 |
| 7.00E-05 | 11761.11055 | 6106.919598 |
| 6.00E-05 | 12657.69347 | 6014.688442 |
| 5.00E-05 | 13305.44221 | 6455.321608 |
| 4.00E-05 | 15844.29648 | 6724.738693 |
| 3.00E-05 | 17291.77387 | 7055.80402 |
| 2.00E-05 | 20753.56281 | 7763.41206 |
| 1.00E-05 | 27708.19598 | 8749.050251 |
| 9.00E-06 | 29358.8593 | 8879.41206 |
| 8.00E-06 | 30689.87437 | 9387.150754 |
| 7.00E-06 | 33437.22111 | 9532.648241 |
| 6.00E-06 | 36960.63819 | 9957.683417 |
| 5.00E-06 | 40669.92462 | 10661.56281 |
| 4.00E-06 | 44594.04523 | 11025.0402 |
| 3.00E-06 | 51522.10553 | 11653.63317 |
| 2.00E-06 | 67583.53266 | 13076.9196 |
| 1.00E-06 | 107224.5276 | 15184.58794 |
?
現(xiàn)在做第3個(gè)網(wǎng)絡(luò)
d2（mnist0? ; 80% x=1, 20%x=0.1）81-con（3*3）49-30-2-（2*k） ,k∈{0,1}
讓mnist 0向1,0收斂，右邊的是讓x向 0,1收斂。但讓x在1和0.1之間隨機(jī)。
讓1與0.1的比例是8：2.
| 具體進(jìn)樣順序 | ? | ? | ? | ? |
| 進(jìn)樣順序 | 迭代次數(shù) | ? | ? | ? |
| δ=0.5 | ? | ? | ? | ? |
| mnist 0-1 | 1 | ? | 判斷是否達(dá)到收斂 | |
| 80% x=1，20% x=0.1 | 2 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| mnist 0-2 | 3 | ? | 判斷是否達(dá)到收斂 | |
| 80% x=1，20% x=0.1 | 4 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
| mnist 0-4999 | 9997 | ? | 判斷是否達(dá)到收斂 | |
| 80% x=1，20% x=0.1 | 9998 | ? | 判斷是否達(dá)到收斂 | |
| 梯度下降 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
| 如果4999圖片內(nèi)沒(méi)有達(dá)到收斂標(biāo)準(zhǔn)再次從頭循環(huán) | ? | ? | ||
| mnist 0-1 | 9999 | ? | 判斷是否達(dá)到收斂 | |
| 80% x=1，20% x=0.1 | 10000 | ? | 判斷是否達(dá)到收斂 | |
| …… | ? | ? | ? | ? |
| 達(dá)到收斂標(biāo)準(zhǔn)記錄迭代次數(shù)，將這個(gè)過(guò)程重復(fù)199次 | ? | ? | ? | |
| δ=0.4 | ? | ? | ? | ? |
| …… | ? | ? | ? | ? |
相當(dāng)于分類(lèi)兩個(gè)圖片集，一個(gè)圖片集是mnist的0另一個(gè)圖片集只有兩張圖片，兩張圖片被取樣的概率是8：2
得到的數(shù)據(jù)
| 用0和x二分類(lèi) | ? | ? | ? | ? | ? | ? | ? | ? |
| 1：0.1=8：2 | ? | ? | ? | ? | ? | ? | ? | ? |
| ? | ? | ? | ? | ? | ? | ? | ? | ? |
| f2[0] | f2[1] | 迭代次數(shù)n | 平均準(zhǔn)確率p-ave | δ | 耗時(shí)ms/次 | 耗時(shí)ms/199次 | 耗時(shí)min/199次 | 最大準(zhǔn)確率p-max |
| 0.50566328 | 0.497763951 | 17.31155779 | 0.505501503 | 0.5 | 921.0653266 | 183323 | 3.055383333 | 0.861938534 |
| 0.606609999 | 0.393211865 | 977.2964824 | 0.477251506 | 0.4 | 1112.351759 | 221358 | 3.6893 | 0.963120567 |
| 0.713338671 | 0.286631874 | 1244.819095 | 0.545928223 | 0.3 | 1166.467337 | 232127 | 3.868783333 | 0.992434988 |
| 0.814994506 | 0.184507552 | 1367.894472 | 0.579702294 | 0.2 | 1188.100503 | 236432 | 3.940533333 | 0.997163121 |
| 0.909871883 | 0.090147713 | 1622.60804 | 0.594867957 | 0.1 | 1234.457286 | 245672 | 4.094533333 | 0.995744681 |
| 0.991991547 | 0.008022444 | 2451.462312 | 0.606966273 | 0.01 | 1401.79397 | 278973 | 4.64955 | 0.997163121 |
| 0.999243349 | 7.56E-04 | 4189.592965 | 0.54157549 | 0.001 | 1755.160804 | 349277 | 5.821283333 | 0.996690307 |
| 0.999918398 | 8.18E-05 | 9589.763819 | 0.513579719 | 1.00E-04 | 2860.809045 | 569301 | 9.48835 | 0.992907801 |
| 0.999927347 | 7.27E-05 | 9769.472362 | 0.528847547 | 9.00E-05 | 2575.964824 | 512617 | 8.543616667 | 0.995271868 |
| 0.999937071 | 6.28E-05 | 10447.81407 | 0.520938023 | 8.00E-05 | 3024.321608 | 601840 | 10.03066667 | 0.993853428 |
| 0.999943494 | 5.65E-05 | 11190.78894 | 0.520569752 | 7.00E-05 | 3179.547739 | 632730 | 10.5455 | 0.995744681 |
| 0.999951392 | 4.86E-05 | 11462.45729 | 0.526839873 | 6.00E-05 | 3200.095477 | 636827 | 10.61378333 | 0.995271868 |
| 0.999960481 | 3.95E-05 | 12531.89447 | 0.509782957 | 5.00E-05 | 3412.919598 | 679175 | 11.31958333 | 0.987234043 |
| 0.999967762 | 3.23E-05 | 13652.90955 | 0.520239495 | 4.00E-05 | 3205.512563 | 637897 | 10.63161667 | 0.993853428 |
| 0.999975773 | 2.43E-05 | 15084.02513 | 0.516088718 | 3.00E-05 | 3937.758794 | 783620 | 13.06033333 | 0.997163121 |
| 0.999983453 | 1.65E-05 | 17850.52764 | 0.509438445 | 2.00E-05 | 4596.673367 | 914740 | 15.24566667 | 0.994326241 |
| 0.999991715 | 8.29E-06 | 25200.21608 | 0.516967818 | 1.00E-05 | 4941.844221 | 983443 | 16.39071667 | 0.989598109 |
| 0.99999284 | 7.16E-06 | 25605.17085 | 0.515739454 | 9.00E-06 | 4968.120603 | 988673 | 16.47788333 | 0.989598109 |
| 0.999993474 | 6.52E-06 | 28406.36683 | 0.524064768 | 8.00E-06 | 5459.522613 | 1086445 | 18.10741667 | 0.994326241 |
| 0.999994401 | 5.60E-06 | 28608.58794 | 0.521154234 | 7.00E-06 | 5223.728643 | 1039538 | 17.32563333 | 0.986761229 |
| 0.999995111 | 4.89E-06 | 32479.66332 | 0.509533483 | 6.00E-06 | 6074.311558 | 1208788 | 20.14646667 | 0.995271868 |
| 0.999995947 | 4.06E-06 | 36849.28141 | 0.495180394 | 5.00E-06 | 6820.743719 | 1357328 | 22.62213333 | 0.98250591 |
| 0.999996768 | 3.23E-06 | 36909.13065 | 0.504486974 | 4.00E-06 | 6836.849246 | 1360549 | 22.67581667 | 0.98392435 |
| 0.999997515 | 2.48E-06 | 43731.97487 | 0.494505625 | 3.00E-06 | 7944.974874 | 1581050 | 26.35083333 | 0.991962175 |
| 0.999998265 | 1.74E-06 | 62934.13568 | 0.491236323 | 2.00E-06 | 10640.96985 | 2117553 | 35.29255 | 0.990070922 |
| 0.999999125 | 8.74E-07 | 93680.26633 | 0.497100158 | 1.00E-06 | 16180.28141 | 3219876 | 53.6646 | 0.992907801 |
?
所以現(xiàn)在有了3個(gè)迭代次數(shù)分別是
| x=1 | n1 |
| x=0.1 | n0.1 |
| 0.8x=1||0.2x=0.1 | n1-0.1 |
?
驗(yàn)算n1-0.1與n1和n0.1之間的關(guān)系
| ? | 1 | 0.1 | 理論值 | 實(shí)測(cè)值 | ? |
| δ | 迭代次數(shù)n1 | 迭代次數(shù)n0.1 | 0.8*n1+0.2*n0.1 |
| 理論值/實(shí)測(cè)值 |
| 0.5 | 17.40201005 | 17.87437186 | 17.49648241 | 17.31155779 | 1.010682148 |
| 0.4 | 951.2110553 | 1408.577889 | 1042.684422 | 977.2964824 | 1.066906963 |
| 0.3 | 1144.577889 | 1720.517588 | 1259.765829 | 1244.819095 | 1.012007153 |
| 0.2 | 1313.633166 | 1995.110553 | 1449.928643 | 1367.894472 | 1.059971125 |
| 0.1 | 1505.824121 | 2243.834171 | 1653.426131 | 1622.60804 | 1.018992936 |
| 0.01 | 2362.115578 | 3001.552764 | 2490.003015 | 2451.462312 | 1.015721516 |
| 0.001 | 4129.020101 | 4007.532663 | 4104.722613 | 4189.592965 | 0.979742578 |
| 1.00E-04 | 10353.37186 | 5532.668342 | 9389.231156 | 9589.763819 | 0.979088884 |
| 9.00E-05 | 10653.93467 | 5683.753769 | 9659.898492 | 9769.472362 | 0.988784055 |
| 8.00E-05 | 11292.43719 | 6131.934673 | 10260.33668 | 10447.81407 | 0.982055827 |
| 7.00E-05 | 11761.11055 | 6106.919598 | 10630.27236 | 11190.78894 | 0.949912684 |
| 6.00E-05 | 12657.69347 | 6014.688442 | 11329.09246 | 11462.45729 | 0.988365076 |
| 5.00E-05 | 13305.44221 | 6455.321608 | 11935.41809 | 12531.89447 | 0.952403335 |
| 4.00E-05 | 15844.29648 | 6724.738693 | 14020.38492 | 13652.90955 | 1.026915536 |
| 3.00E-05 | 17291.77387 | 7055.80402 | 15244.5799 | 15084.02513 | 1.010644027 |
| 2.00E-05 | 20753.56281 | 7763.41206 | 18155.53266 | 17850.52764 | 1.017086611 |
| 1.00E-05 | 27708.19598 | 8749.050251 | 23916.36683 | 25200.21608 | 0.949054038 |
| 9.00E-06 | 29358.8593 | 8879.41206 | 25262.96985 | 25605.17085 | 0.986635473 |
| 8.00E-06 | 30689.87437 | 9387.150754 | 26429.32965 | 28406.36683 | 0.930401617 |
| 7.00E-06 | 33437.22111 | 9532.648241 | 28656.30653 | 28608.58794 | 1.001667981 |
| 6.00E-06 | 36960.63819 | 9957.683417 | 31560.04724 | 32479.66332 | 0.971686404 |
| 5.00E-06 | 40669.92462 | 10661.56281 | 34668.25226 | 36849.28141 | 0.940812166 |
| 4.00E-06 | 44594.04523 | 11025.0402 | 37880.24422 | 36909.13065 | 1.02631093 |
| 3.00E-06 | 51522.10553 | 11653.63317 | 43548.41106 | 43731.97487 | 0.995802526 |
| 2.00E-06 | 67583.53266 | 13076.9196 | 56682.21005 | 62934.13568 | 0.900659228 |
| 1.00E-06 | 107224.5276 | 15184.58794 | 88816.5397 | 93680.26633 | 0.948081631 |
?
?
從數(shù)值看
這個(gè)公式還是符合的很好的。
表明神經(jīng)網(wǎng)絡(luò)的迭代次數(shù)可以被看作是一個(gè)線性變量可以用概率矩陣和迭代次數(shù)矩陣的點(diǎn)積來(lái)計(jì)算。
?
實(shí)驗(yàn)參數(shù)
| 學(xué)習(xí)率 0.1 |
| 權(quán)重初始化方式 |
| Random rand1 =new Random(); |
| int ti1=rand1.nextInt(98)+1; |
| int xx=1; |
| if(ti1%2==0) |
| { xx=-1;} |
| tw[a][b]=xx*((double)ti1/x); |
| 第一層第二層和卷積核的權(quán)重的初始化的x分別為1000,1000,200 |
?
?
總結(jié)
以上是生活随笔為你收集整理的用两个矩阵的点积计算神经网络的迭代次数 2-8的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 如何做布丁果冻简单的方式？
- 下一篇： 用神经网络二分类吸引子与排斥子