神经网络参数迁移与惯性质量
生活随笔
收集整理的這篇文章主要介紹了
神经网络参数迁移与惯性质量
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
(0,1)-81*10*2-(1,0)(0,1)
作一個二分類網絡分類mnist的0和1,但用這個網絡來分類其他對象,比如(0,2),(0,3),(0,4),實現參數遷移。這種操作是否有什么物理意義?
?
通過固定收斂標準多次測量取平均值的辦法計算這個網絡分類02,03,04的分類準確率,
得到表格
| ? | *01 | *01 | *01 |
| ? | *02 | *03 | *04 |
| δ | 平均準確率p-ave | 平均準確率p-ave | 平均準確率p-ave |
| 0.5 | 0.512353 | 0.512121 | 0.506664 |
| 0.4 | 0.627911 | 0.603924 | 0.622176 |
| 0.3 | 0.673549 | 0.662784 | 0.654716 |
| 0.2 | 0.712676 | 0.68869 | 0.682039 |
| 0.1 | 0.692548 | 0.669001 | 0.651714 |
| 0.01 | 0.730491 | 0.713641 | 0.668127 |
| 0.001 | 0.723179 | 0.712227 | 0.64577 |
| 9.00E-04 | 0.718081 | 0.706366 | 0.63909 |
| 8.00E-04 | 0.71687 | 0.707 | 0.634211 |
| 7.00E-04 | 0.722214 | 0.714209 | 0.636247 |
| 6.00E-04 | 0.733733 | 0.726244 | 0.648851 |
| 5.00E-04 | 0.746641 | 0.745153 | 0.65918 |
| 4.00E-04 | 0.752255 | 0.753049 | 0.661081 |
| 3.00E-04 | 0.73962 | 0.738267 | 0.648764 |
| 2.00E-04 | 0.727032 | 0.702818 | 0.620956 |
| 1.00E-04 | 0.746646 | 0.743534 | 0.620877 |
| 9.00E-05 | 0.747875 | 0.745506 | 0.61798 |
| 8.00E-05 | 0.746586 | 0.744135 | 0.616631 |
| 7.00E-05 | 0.744785 | 0.745153 | 0.615163 |
| 6.00E-05 | 0.745402 | 0.747463 | 0.6092 |
| 5.00E-05 | 0.748634 | 0.75343 | 0.608076 |
| 4.00E-05 | 0.752413 | 0.758132 | 0.604534 |
| 3.00E-05 | 0.753641 | 0.744605 | 0.59986 |
| 2.00E-05 | 0.749476 | 0.730623 | 0.592132 |
| 1.00E-05 | 0.738791 | 0.68575 | 0.579265 |
把分類準確率畫成圖
平均分類準確率Pave? 02>03>04
按照假設2:
對應不同的兩個對象,迭代次數越大,二者的相對速度越大;相對速度越大分類準確率越大。
?
比如當收斂標準為1e-5的,02的分類準確率為0.738,04的分類準確率為0.579.按照假設2,可以得出02粒子對的相對速度>04粒子對的相對速度。
因為收斂標準是一樣的,可以合理假設對這兩個粒子對做的功是一樣的。因此可以得出02粒子對的質量<04粒子對的質量。
?
也就是分類準確率越大粒子對質量越小。
因此可以假設網絡(0,1)-81*10*2-(1,0)(0,1)構成的分類場形成了一個慣性系統,參數遷移相當于測量其他對象在這個慣性系統里的慣性質量。
就像不同質量的人在電梯里,當電梯上升時感受到的力應該是不同的。
?
從形態上看4和1最像,2和1的形態差異最大。因此4和1的波函數的等效交叉程度最大,所以粒子對02,03,04在01的慣性系中擁有的慣性質量順序04>03>02.
或者至少用慣性質量解釋參數遷移這件事是邏輯連貫的。
?
總結
以上是生活随笔為你收集整理的神经网络参数迁移与惯性质量的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 质量到底是什么?
- 下一篇: 用神经网络分类远和近