under review as a conference paper at ICLR 2015.

?

Motivation：

本文提出來一種regularization的方法，叫做FaMe (Factored Mean training). The proposed FaMe model aims to apply a similar strategy, yet learns a factorization of each weight matrix such that the factors are robust to noise.

?

具體做法如下：

Standard dropout hidden activation：

?

其中r^(l-1)是dropout noise。

FaMe hidden activation：

?

其中r^(l)也是noise，可以是dropout或者additive/multiplication Gaussian

唯一的區別在于把weight進行matrix factorization可以變成low rank：

?

?

?

一些問題：

說實話我沒有太明白這個文章的motivation。除了做了一個Matrix factorization之外，基本上和standard dropout差不多。但是Standard dropout作為一種mask noise具有regularization的效果，按照作者自己在abstract里面陳述的，做factorization可以robust to noise。那么問題來了：

Q1：為什么會robust to noise？是因為low rank嗎？noise對應eigenvalue非常小的eigenvector，現在low rank導致非常小的eigenvalue變成0，某種程度上有denoise的效果？

Q2：為什么需要robust to noise呢？就像我前面說的，dropout noise正是帶來regularization效果的東東，是好的。如果robust to noise是Q1里面理解的那樣，有denoise的效果，那為什么要把好的noise給去掉呢？

Q3：V和U這兩個矩陣的參數怎么求的，我不是很清楚？作者說和standard的NN一樣？

?

實驗部分：

本文測試的dataset有MNIST, CIFAR-10. 從實驗結果來看，效果并不明顯。

?

?

轉載于:https://www.cnblogs.com/yyuanad/p/4326649.html

總結

以上是生活随笔為你收集整理的Deep Learning 论文笔记 (2): Neural network regularization via robust weight factorization的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。