原文出處：http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/

論文筆記 《Maxout Networks》 && 《Network In Network》

發表于 2014-09-22?? | ??1條評論

出處

maxout：http://arxiv.org/pdf/1302.4389v4.pdf
NIN：http://arxiv.org/abs/1312.4400

參考

maxout和NIN具體內容不作解釋下，可以參考：
Deep learning：四十五(maxout簡單理解)
Network In Network

各用一句話概括

• 常規卷積層： conv→relu
• maxout： several conv(full)→max
• NIN： serveral conv(full)→relu→conv(1x1)→relu

具體一點

• 常規卷積層：conv→relu
  • conv： conv_out=∑(x·w)
  • relu： y=max(0， conv_out)
• maxout：several conv(full)→max
  • several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
  • max： y = max(conv_out1, conv_out2, …)
• NIN： conv→relu→conv(1x1)→relu
  • several conv (full): conv_out1 = x·w_1, conv_out2 = x·w_2, …
  • relu: relu_out1 = max(0, conv_out1), relu_out2 = max(0, conv_out2), …
  • conv(1x1): conv_1x1_out = [relu_out1, relu_out2, …]·w_1x1
  • relu: y = max(0, conv_1x1_out)

舉例子解釋

假設現在有一個3x3的輸入，用一個9維的向量x代表，卷積核大小也是3x3，也9維的向量w代表。

• 對于常規卷積層，直接x和w求卷積，然后relu一下就好了。
• maxout，有k個的3x3的w（這里的k是自由設定的），分別卷積得到k個1x1的輸出，然后對這k個輸入求最大值
• NIN，有k個3x3的w（這里的k也是自由設定的），分別卷積得到k個1x1的輸出，然后對它們都進行relu，然后再次對它們進行卷積，結果再relu。（這個過程，等效于一個小型的全連接網絡）

圖例

繼續渣手繪，從上到下分別對應常規卷積層，maxout，NIN：

總結

總的來說，maxout和NIN都是對傳統conv+relu的改進。
maxout想表明它能夠擬合任何凸函數，也就能夠擬合任何的激活函數（默認了激活函數都是凸的）
NIN想表明它不僅能夠擬合任何凸函數，而且能夠擬合任何函數，因為它本質上可以說是一個小型的全連接神經網絡

#CNN?#Computer Vision

總結

以上是生活随笔為你收集整理的论文笔记 《Maxout Networks》 《Network In Network》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。