DL之ResNet：ResNet算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略

?

?

目錄

ResNet算法的簡介

1、比賽結果-ResNets @ ILSVRC & COCO 2015 Competitions

2、ResNet的深度革命

ResNet算法的架構詳解

ResNet算法的案例應用

---

?

?

?

?

?

?

相關文章
DL之ResNet：ResNet算法的簡介(論文介紹)、架構詳解、案例應用等配圖集合之詳細攻略
DL之ResNet：ResNet算法的架構詳解

ResNet算法的簡介

? ? ? ?來自微軟研究院何愷明等 ，榮獲ILSVRC2015的分類任務第一名、CVPR 2016 best paper 。ResNet使得訓練深度達數百甚至數千層的網絡成為可能，而且性能仍然優異，是深度學習算法中，一個里程碑式的網絡。?

Abstract ?
? ? Deeper neural networks are more difficult to train. We ?present a residual learning framework to ease the training ?of networks that are substantially deeper than those used ?previously. We explicitly reformulate the layers as learning ?residual functions with reference to the layer inputs, instead ?of learning unreferenced functions. We provide comprehensive ?empirical evidence showing that these residual ?networks are easier to optimize, and can gain accuracy from ?considerably increased depth. On the ImageNet dataset we ?evaluate residual nets with a depth of up to 152 layers—8× ?deeper than VGG nets [41] but still having lower complexity. ?An ensemble of these residual nets achieves 3.57% error ?on the ImageNet test set. This result won the 1st place on the ?ILSVRC 2015 classification task. We also present analysis ?on CIFAR-10 with 100 and 1000 layers. ?
? ? The depth of representations is of central importance ?for many visual recognition tasks. Solely due to our extremely ?deep representations, we obtain a 28% relative improvement ?on the COCO object detection dataset. Deep ?residual nets are foundations of our submissions to ILSVRC ?& COCO 2015 competitions1 ?, where we also won the 1st ?places on the tasks of ImageNet detection, ImageNet localization, ?COCO detection, and COCO segmentation.
摘要
? ? 更深層次的神經網絡更難訓練。我們提出了一個殘差學習框架來簡化網絡的訓練，這些網絡比以前使用的網絡要深入得多。我們顯式地將層重新表示為參考層輸入的學習剩余函數，而不是學習未引用的函數。我們提供了全面的經驗證據表明，這些剩余網絡更容易優化，并可以從大幅增加的深度獲得精度。在ImageNet數據集上，我們評估了高達152層的residual網絡—比VGG網絡[41]深8倍，但仍然具有較低的復雜性。這些殘差網的集合在ImageNet測試集上的誤差達到3.57%，該結果在ILSVRC 2015年分類任務中獲得第一名。我們還對CIFAR-10進行了100層和1000層的分析。
? ? 在許多視覺識別任務中，表征的深度是至關重要的。僅僅由于我們的深度表示，我們獲得了28%的相對改進的COCO對象檢測數據集。深度殘差網是我們參加ILSVRC & COCO 2015競賽的基礎，并在ImageNet檢測、ImageNet定位、COCO檢測、COCO分割等方面獲得第一名。

?

1、比賽結果-ResNets @ ILSVRC & COCO 2015 Competitions

1st places in all five main tracks??五大tracks的第一名，并且大都遠遠超出第二名！

• ImageNet Classification: “Ultra-deep” 152-layer nets? ?
  ImageNet分類問題：“超深”152層網
• ImageNet Detection: 16% better than 2nd
  ImageNet檢測問題：比第二名高16%
• ImageNet Localization: 27% better than 2nd
  ImageNet定位問題：比第二名好27%
• COCO Detection: 11% better than 2nd
  COCO檢測問題：比第二名好11%
• COCO Segmentation: 12% better than 2nd
  COCO分割問題：比第二名好12%

?

2、ResNet的深度革命

? ?ResNet采用了很深的152層的網絡，準確度脫穎而出，甚至比人的識別率還要高，比排行第二的GoogleNet網絡準確度超出很多！

?

?

?

論文
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun（2015）: Deep Residual Learning for Image Recognition. arXiv:1512.03385 [cs] (December 2015).
Kaiming He, XiangyuZhang, ShaoqingRen, & Jian Sun.
“Deep Residual Learning for Image Recognition”. CVPR 2016（best paper award）.
https://arxiv.org/abs/1512.03385

?

?

1、殘差模塊?

• 增加了”短路”連接（shortcut connection)或稱為跳躍連接（skip connection)?
• 學習殘差映射（residual mapping）而不是直接學習期望映射
• 瓶頸殘差塊，網絡較深（大于50層）時使用后面這種（bottleneck)來提高效率?

2、網絡架構

• plain network：基于VGG19的架構把網絡增加到34層
• Residual Network：plain network基礎上增加殘差模塊?
• 深度變化：34、50、101、152?

3、實驗結果

• 單個模型：top-5錯誤率為4.49%
• ensemble：top-5錯誤率為3.57%
  ?

?

?

ResNet算法的架構詳解

DL之ResNet：ResNet算法的架構詳解

ResNet：方塊對應【3*3】的卷積層，其特征在于引入了橫跨層的快捷結構。

?

?

?

ResNet算法的案例應用

后期更新……

?

?

?

總結

以上是生活随笔為你收集整理的DL之ResNet：ResNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。