這是我在海康威視研究院實習的工作，被AAAI-2020接收為Spotlight。論文地址：http://xxx.itp.ac.cn/pdf/2002.12580v1

引子

上一個階段的網絡結構搜索(NAS)研究，主要在兩個方面。1)各類搜索方法，從強化學習、進化算法等到梯度下降；2)各類網絡結構或者配置，從各種算子到通道數，“萬物皆可搜”。近期的NAS研究熱點主要在探究高效、快速的NAS。搜索方法方面，現在比較時髦的是one-shot方法，處在發展階段，也存在一些問題。one-shot方法將多個subnet并聯在一個supernet里面，大概而論，并聯在supernet中的subnet越多，one-shot方法將會更慢，對于搜索結構也會有隨機性。很多人質疑，各種搜索方法都是在一個人為事先優選的「子搜索空間」基礎上進行的。在這種人為優選子搜索空間中，所包含的各結構之間效果分布較為集中，上下限差距不大或者極端的結構分布很少，也就是說，這是一個效果接近于最優的「次優子結構空間」。那問題在于，NAS作為AutoML的一個重要部分，是要對之前一些需要人的經驗或試錯的工作進行自動化處理的，自動尋找這個「次優子結構空間」也是NAS的應有之義。我們進行NAS，首要的是承認了各種結構是不平等的。不平等自然是最直白的一種關系。上一階段的NAS工作大多在搜索方法和不同任務空間上鉆研，現在，是時候注意一下，在一個任務上，整個結構搜索空間中各個結構之間是否具有一定的關系呢？我們知道這個世界是普遍聯系的，同理，網絡搜索空間，也是由結構以及結構之間的關系構成的。如果我們掌握了結構之間關系，就可以有先見之明，從而達到NAS加速效果。這是一個問題。各種網絡結構或者配置方面，在之前的工作中，有算子選擇、通道數搜索，然而對層數搜索的NAS工作是不夠完善的。我們知道，one-shot方法中supernet是并聯的，但是層是串聯的，現在如何得到一個one-shot的層數搜索框架呢？這也是一個問題。這篇文章中，我們可以找到以上兩個問題，即網絡結構關系和卷積神經網絡層數搜索的答案。

工作

首先問題的定義，layer assignment search，可以泛泛理解成層數搜索。詳細來說，這里的層指的是一個單元，比如resnett的bottleneck，plane net的conv-bn-relu等；還有，CNN中，一般用下采樣(stride conv/pooling)劃分階段，每一個階段會堆疊若干層，比如resnet，四個階段，各階段層數為3，4，6，3，每一個層就是一定的算力。不同layer assignment的ResNet-50值得說明的一點，以上不同layer assignment的ResNet50是具有相同FLOPs的。可以計算驗證。實際項目中，尤其在邊緣設備算力限制情況下，如果不能用ResNet50，就需要確定一個階段里分配幾層算力，這就是layer assignment search 問題。這里面包含了兩個意思，第一，就是總層數，第二，就是給定層數下各層的分配。然后回答到一個問題：整個結構搜索空間中各個結構之間是否具有一定的關系呢？答案是有的，就是，后面一層的最好層分配結構繼承自前一層的最好層分配結構。由淺至深。層層下去，去除了網絡空間的冗余。示意圖如下：將這種關系命名為Neural Inheritance Relation(NIR)。將這個關系作為先驗，構建一個one-shot搜索框架，當然是針對層數搜索的，即是Neural Inheritance Relation Guided One-Shot Layer Assignment Search 。如上圖所示，層數搜索的one-shot框架。一個包含了諸多層的supernet首先被構建出來，每次采樣，在每個階段要從淺到深的進行，將采樣得到的各階段layer連接起來，就是一個 candidate subnet。采樣從淺層開始，舉個例子，圖中有兩個下采樣，劃分起三個階段。那么第0次采樣是1-1-1的層分配，第一次采樣全部的candidate只要三個：1-1-2，1-2-1，2-1-1。每個采樣得到的subnet將會被公平的進行若干次訓練，評估出最好結構，標記為optimal-1。這個時候運用NIR，第2次只采樣與optimal-1有繼承關系的下一層subnet，依然只有三個。事實上每一次采樣數等于階段數。算法步驟如下：算法的加速效果，首先從理論上來講，一個階段(group)數為n，層(layer)數為m的CNN，窮盡所有，層數搜索的搜索空間具體大小如下層數搜索的搜索空間復雜度為?,我們這種NIR神經網絡結構關系引導的搜索，實際搜索空間復雜度為?，為搜索踩了一腳油門。本文在CIFAR-100上搭建了層數搜索數據集，在Tiny-ImageNet, ImageNet上進行了實驗。具體的詳情請見paper：https://arxiv.org/abs/2002.12580我們將層數搜索單獨摘出來，更加存粹的探究神經網絡結構之間的關系，并希望網絡結構關系的思路，可以給NAS社區帶來一些insight，進一步得到更加通用的高效NAS方案。作者：知乎-孟讓地址：https://www.zhihu.com/people/mengrang

歷史文章推薦

• 你的畢業論文過了嗎？《如何撰寫畢業論文？》

• 卡爾曼濾波系列——經典卡爾曼濾波推導

• 談談CNN中的位置和尺度問題

• 目標檢測和感受野的總結和想法

• 一代傳奇 SIFT 算法 專利到期！

• CNN真的需要下采樣(上采樣)嗎?

• 人體姿態估計的過去，現在，未來

• 2018-2019年度 Top10 綜述

• 【Awesome】Few-Shot Learning論文閱讀列表

• 你有哪些deep learning(rnn、cnn)調參的經驗？

• 給研究新生的建議，光看論文是學不好的，一定要看書，看書，看書！

• 不是我們喜新厭舊，而是RAdam確實是好用，新的State of the?Art優化器RAdam

• 機器學習中的評價指標

• CVPR2019 |《膠囊網絡(Capsule Networks)綜述》，附93頁PPT下載

你正在看嗎？👇

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的resnet50网络结构_AAAI2020 | 利用网络结构关系加速NAS+Layer的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。