DL之NIN：Network in Network算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略

?

?

?

目錄

Network in Network算法的簡介(論文介紹)

1、Visualization of NIN

Network in Network算法的架構詳解

0、Overall structure of Network In Network

1、NIN的引出

2、NIN的特點

Network in Network算法的案例應用

---

?

?

?

相關文章
DL之NIN：Network in Network算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略
DL之NIN：Network in Network算法的架構詳解

?

Network in Network算法的簡介(論文介紹)

Abstract
? ? ? ? We propose a novel deep network structure called "Network In Network" (NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.
摘要
? ? ? ?我們提出了一種新的深層網絡結構，稱為“網絡中的網絡”（NIN），以增強接受域內局部補丁的模型識別能力。傳統的卷積層使用線性濾波器和非線性激活函數掃描輸入。相反，我們建立了具有更復雜結構的微神經網絡來提取接收域內的數據。我們用一個多層感知器來例示微神經網絡，這是一個有效的函數逼近器。這些特征圖是通過將微型網絡滑動到輸入端，以類似于CNN的方式獲得的；然后將它們輸入到下一層。深度NIN可以通過疊加上述結構的多個來實現。通過微網絡增強的局部建模，我們能夠利用分類層中特征圖的全局平均池，這比傳統的完全連接層更容易解釋，更不容易過度擬合。我們在cifar-10和cifar-100上演示了NIN的最新分類性能，在svhn和mnist數據集上演示了合理的性能。
Conclusions ?
? ? ? ?We proposed a novel deep network called “Network In Network” (NIN) for classification tasks. This ?new structure consists of mlpconv layers which use multilayer perceptrons to convolve the input ?and a global average pooling layer as a replacement for the fully connected layers in conventional ?CNN. Mlpconv layers model the local patches better, and global average pooling acts as a structural ?regularizer that prevents overfitting globally. With these two components of NIN we demonstrated ?state-of-the-art performance on CIFAR-10, CIFAR-100 and SVHN datasets. Through visualization ?of the feature maps, we demonstrated that feature maps from the last mlpconv layer of NIN were ?confidence maps of the categories, and this motivates the possibility of performing object detection ?via NIN.
結論
? ? ? ?我們提出了一種新的深度網絡，稱為“網絡中的網絡”（NIN），用于分類任務。這種新結構由多層感知器卷積輸入的mlpconv層和一個全局平均池層組成，以取代傳統CNN中的全連接層。Mlpconv層更好地模擬局部小塊，而全局平均池充當結構調整器，防止全局過度擬合。通過NIN的這兩個組成部分，我們在CIFAR-10、CIFAR-100和SVHN數據集上展示了最先進的性能。通過對特征圖的可視化，我們證明了NIN最后一個mlpconv 層的特征圖是類別的置信圖，這激發了通過NIN進行目標檢測的可能性。

?

Min Lin, QiangChen and ShuichengYan. Network in Network. ICLR, 2014? ?新加坡國立大學顏水成教授
https://arxiv.org/abs/1312.4400

?

1、Visualization of NIN

? ? ? ? 該論文中，還對最后一個mlpconv層特征圖的可視化。僅顯示特征圖中的前10％激活。與特征圖對應的類別是：1 飛機，2 汽車，3 鳥，4 貓，5 鹿，6 狗，7 青蛙，8 馬，9 船，10 卡車。對應于輸入圖像的GT的特征圖被突出顯示。

?

?

Network in Network算法的架構詳解

?

1、NIN的引出

? ? ? ? ? ? ? ? ?傳統卷積操作上的一個想法：把卷積操作用一個神經網絡去替換，會有什么樣的效果呢？

?

2、NIN的特點

• 在網絡中構建微型網絡Mlpconv，它對conv特征進行了組合，提高了卷積的有效性。
• 對單個像素，1x1卷積等效于該像素點在所有特征上進行一次全連接計算。
• Mlpconv中的全連接可以通過1×1 卷積快速實現。

?

?

?

Network in Network算法的案例應用

更新……

?

?

?

?

?

?

總結

以上是生活随笔為你收集整理的DL之NIN：Network in Network算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。