用二分类神经网络估算多分类神经网络迭代次数的经验公式
神經網絡的迭代次數n和收斂誤差δ總能滿足關系式
一個多分類網絡的參數a至少大于對應二分類網絡的參數a的和，參數b的絕對值約等于對應多個二分類網絡b的絕對值的最大值
本文再次驗證這個關系式，這次用的13*13的圖片。
這次同樣統計了11個網絡，包括6個二分類網絡(0,1),(0,2),(0,3) ,(1,2) ,(1,3) ,(2,3),4個三分類網絡(0,1,2), (0,1,3), (0,2,3), (1,2,3)和1個4分類網絡(0,1,2,3).隱藏層節點數是30個，網絡結構為
統計了0.5到1e-5共25個收斂誤差，每個收斂誤差測量199次，計算迭代次數的平均值，參數設置方案
static double ret=0.1; //學習率
static double weix=1000;
在收斂誤差一致的前提下得到數據為
| 0*1 | 0*2 | 0*3 | 1*2 | 1*3 | 2*3 | 0*1*2 | 0*1*3 | 0*2*3 | 1*2*3 | 0*1*2*3 | |
| δ | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n | 迭代次數n |
| 0.5 | 6.733668 | 6.432161 | 7.934673 | 8.105528 | 6.547739 | 7.467337 | 109.2663 | 109.0603 | 140.809 | 140 | 286.9347 |
| 0.4 | 92.45226 | 130.2613 | 136.5025 | 137.2563 | 134.5025 | 157.0101 | 307.6884 | 316.1558 | 371.1407 | 422.5025 | 650.7136 |
| 0.3 | 127.5427 | 172.8995 | 182.9749 | 173.9648 | 173.4171 | 201.2362 | 363.2161 | 386.794 | 430.4874 | 507.8995 | 761.2261 |
| 0.2 | 164.5779 | 206.1508 | 215.9698 | 207.4975 | 228.5477 | 247 | 486.7789 | 526.3317 | 545.0754 | 601.2111 | 953.6181 |
| 0.1 | 212.9347 | 238.7638 | 273.7688 | 288.1307 | 289.2462 | 302.5427 | 725.7286 | 750.8492 | 666.0804 | 782.4573 | 1395.291 |
| 0.01 | 492.3568 | 499.1156 | 554.3065 | 577.5578 | 482.9045 | 709.6884 | 1537.714 | 1534.779 | 1748.864 | 1838.754 | 3527.402 |
| 0.001 | 1749.422 | 1239.317 | 1380.513 | 1259.834 | 1394.201 | 1586.437 | 5503.407 | 5288.035 | 5229.523 | 6207.176 | 13372.29 |
| 9.00E-04 | 1780.794 | 1269.829 | 1397.392 | 1301.698 | 1470.759 | 1627.312 | 6156.075 | 5747.99 | 5879.628 | 7184.457 | 14574.46 |
| 8.00E-04 | 1821.508 | 1300.221 | 1427.181 | 1365.206 | 1533.668 | 1651.271 | 7151.367 | 6412.387 | 6693.231 | 8668.538 | 15870.73 |
| 7.00E-04 | 1899.854 | 1343.427 | 1506.97 | 1473.92 | 1610.92 | 1687.844 | 7645.467 | 7032.508 | 7704.322 | 9852.95 | 17837.65 |
| 6.00E-04 | 2079.211 | 1429.427 | 1609.658 | 1579.015 | 1821.266 | 1718.256 | 8192.618 | 7752.04 | 8268.915 | 11306.83 | 20169.53 |
| 5.00E-04 | 2311.196 | 1606.09 | 1732.824 | 1725.075 | 2135.714 | 1819.724 | 9627.784 | 9097.573 | 8758.709 | 13330.59 | 23113.58 |
| 4.00E-04 | 2782.191 | 1866.683 | 1938.271 | 1922.266 | 2507.186 | 2001.879 | 12197.05 | 11707.81 | 9768.915 | 15206.4 | 27319.71 |
| 3.00E-04 | 3527.92 | 2105.075 | 2160.06 | 2119.327 | 2915.271 | 2356.864 | 14151.15 | 14440.69 | 11423.27 | 19837.41 | 32116.34 |
| 2.00E-04 | 4940.513 | 2290.633 | 2726.658 | 3916.864 | 4277.864 | 3197.91 | 18573.44 | 16839.37 | 14609.41 | 27853.5 | 42627.17 |
| 1.00E-04 | 6286.261 | 2953.437 | 4698.231 | 5288.95 | 6137.719 | 6983.533 | 28370.97 | 30612.63 | 21892.46 | 42267.14 | 65067.37 |
| 9.00E-05 | 6798.804 | 3054.482 | 4973.291 | 5504.528 | 7110.623 | 7555.291 | 30314.35 | 32981.02 | 22845.19 | 44865.28 | 70412.39 |
| 8.00E-05 | 8178.804 | 3228.673 | 5308.236 | 6164.126 | 8411.477 | 9249.191 | 32905.06 | 35526.37 | 24426.3 | 47631.96 | 73361.66 |
| 7.00E-05 | 9112.482 | 3473.719 | 5719.261 | 7559.583 | 9241.116 | 11221.53 | 34837.63 | 38546.76 | 26047.61 | 51185.5 | 78739.91 |
| 6.00E-05 | 11061.05 | 3819.296 | 6124.709 | 9005.462 | 9889.945 | 12914.13 | 37407.02 | 42679.86 | 27660.34 | 54867.78 | 84971.76 |
| 5.00E-05 | 13265.71 | 4103.749 | 6718.025 | 9591.985 | 10255.71 | 15455.26 | 40785.15 | 47235.65 | 29441.82 | 58825.92 | 94605.2 |
| 4.00E-05 | 15076.91 | 4494.03 | 7403.312 | 10655.01 | 11230.55 | 17489.82 | 46504.49 | 52647.85 | 31827.34 | 65334.03 | 106320.3 |
| 3.00E-05 | 15231.33 | 4951.95 | 8844.97 | 11024.6 | 15005 | 19989.93 | 53708.39 | 60466.93 | 36090.11 | 77109.76 | 122205.8 |
| 2.00E-05 | 15480.19 | 5992.995 | 11193.69 | 12763.09 | 20777.64 | 22714.18 | 63942.11 | 72226.67 | 42875.96 | 90485.73 | 150295.9 |
| 1.00E-05 | 25031.74 | 9386.864 | 18406.62 | 16025.06 | 32662.04 | 27580.57 | 84369.78 | 93154.76 | 51661.85 | 124660 | 206286.5 |
擬合得到
| 0*1 | 32.47802450723911*δ**-0.5831015031864778 | |||||||||
| 0.9686458706264336?? ******? 決定系數 r**2 | ||||||||||
| 0*2 | 51.30919270911507*δ**-0.44791865995565994 | |||||||||
| 0.9886193583905813?? ******? 決定系數 r**2 | ||||||||||
| 0*3 | 47.886005223510566*δ**-0.4951534676480396 | |||||||||
| 0.956391073533652?? ******? 決定系數 r**2 | ||||||||||
| 1*2 | 44.770770031148054*δ**-0.5161391642217052 | |||||||||
| 0.9560196957829404?? ******? 決定系數 r**2 | ||||||||||
| 1*3 | 39.14550161580376*δ**-0.5559753593232657 | |||||||||
| 0.9180999873192752?? ******? 決定系數 r**2 | ||||||||||
| 2*3 | 43.241682284703*δ**-0.5540998301120651 | |||||||||
| 0.9002198444886652?? ******? 決定系數 r**2 | ||||||||||
| a | 計算值/實驗值 | b | 計算值/實驗值 | |||||||
| 13*13 | 0*1*2 | 144.2610575835931*δ**-0.5632352720039274 | 127 | 0.881944 | 0.58 | 1.035714 | ||||
| 0.9851774619520932?? ******? 決定系數 r**2 | ||||||||||
| 0*1*3 | 141.49290439392576*δ**-0.5701088860390905 | 118 | 0.836879 | 0.58 | 1.017544 | |||||
| 0.976530648984943?? ******? 決定系數 r**2 | ||||||||||
| 0*2*3 | 188.3901208060544*δ**-0.5060309899441509 | 141 | 0.75 | 0.55 | 1.1 | |||||
| 0.9658468622014262?? ******? 決定系數 r**2 | ||||||||||
| 1*2*3 | 173.6071390053005*δ**-0.5788764903846232 | 126 | 0.728324 | 0.55 | 0.964912 | |||||
| 0.9822308629582532?? ******? 決定系數 r**2 | ||||||||||
| 0*1*2*3 | 310.10754292910167*δ**-0.5713600303084961 | 256 | 0.825806 | 0.58 | 1.017544 | |||||
| 0.9922829022306022?? ******? 決定系數 r**2 | ||||||||||
| 平均 | 0.8 | 1.02 | ||||||||
如計算
計算得到a的值是實驗值的0.82，b的值是實驗值的1.01.
整體平均a的計算值是實驗值的0.8，b的計算值是實驗值的1.02.
11*11的網絡，a的計算值是實驗值的約0.78，b的計算值約為實驗值的0.98。
9*9的網絡，a的計算值是實驗值的約0.9，b的計算值是實驗值的約0.96。
總結
以上是生活随笔為你收集整理的用二分类神经网络估算多分类神经网络迭代次数的经验公式的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 计算Be原子基态能级
- 下一篇： 用神经网络分类矩阵和矩阵的转置