resnet50网络结构_AAAI2020 | 利用网络结构关系加速NAS+Layer
生活随笔
收集整理的這篇文章主要介紹了
resnet50网络结构_AAAI2020 | 利用网络结构关系加速NAS+Layer
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
這是我在海康威視研究院實習的工作,被AAAI-2020接收為Spotlight。論文地址:http://xxx.itp.ac.cn/pdf/2002.12580v1
引子
上一個階段的網絡結構搜索(NAS)研究,主要在兩個方面。1)各類搜索方法,從強化學習、進化算法等到梯度下降;2)各類網絡結構或者配置,從各種算子到通道數,“萬物皆可搜”。近期的NAS研究熱點主要在探究高效、快速的NAS。搜索方法方面,現在比較時髦的是one-shot方法,處在發展階段,也存在一些問題。one-shot方法將多個subnet并聯在一個supernet里面,大概而論,并聯在supernet中的subnet越多,one-shot方法將會更慢,對于搜索結構也會有隨機性。很多人質疑,各種搜索方法都是在一個人為事先優選的「子搜索空間」基礎上進行的。在這種人為優選子搜索空間中,所包含的各結構之間效果分布較為集中,上下限差距不大或者極端的結構分布很少,也就是說,這是一個效果接近于最優的「次優子結構空間」。那問題在于,NAS作為AutoML的一個重要部分,是要對之前一些需要人的經驗或試錯的工作進行自動化處理的,自動尋找這個「次優子結構空間」也是NAS的應有之義。我們進行NAS,首要的是承認了各種結構是不平等的。不平等自然是最直白的一種關系。上一階段的NAS工作大多在搜索方法和不同任務空間上鉆研,現在,是時候注意一下,在一個任務上,整個結構搜索空間中各個結構之間是否具有一定的關系呢?我們知道這個世界是普遍聯系的,同理,網絡搜索空間,也是由結構以及結構之間的關系構成的。如果我們掌握了結構之間關系,就可以有先見之明,從而達到NAS加速效果。這是一個問題。各種網絡結構或者配置方面,在之前的工作中,有算子選擇、通道數搜索,然而對層數搜索的NAS工作是不夠完善的。我們知道,one-shot方法中supernet是并聯的,但是層是串聯的,現在如何得到一個one-shot的層數搜索框架呢?這也是一個問題。這篇文章中,我們可以找到以上兩個問題,即網絡結構關系和卷積神經網絡層數搜索的答案。工作
首先問題的定義,layer assignment search,可以泛泛理解成層數搜索。詳細來說,這里的層指的是一個單元,比如resnett的bottleneck,plane net的conv-bn-relu等;還有,CNN中,一般用下采樣(stride conv/pooling)劃分階段,每一個階段會堆疊若干層,比如resnet,四個階段,各階段層數為3,4,6,3,每一個層就是一定的算力。不同layer assignment的ResNet-50值得說明的一點,以上不同layer assignment的ResNet50是具有相同FLOPs的。可以計算驗證。實際項目中,尤其在邊緣設備算力限制情況下,如果不能用ResNet50,就需要確定一個階段里分配幾層算力,這就是layer assignment search 問題。這里面包含了兩個意思,第一,就是總層數,第二,就是給定層數下各層的分配。然后回答到一個問題:整個結構搜索空間中各個結構之間是否具有一定的關系呢?答案是有的,就是,后面一層的最好層分配結構繼承自前一層的最好層分配結構。由淺至深。層層下去,去除了網絡空間的冗余。示意圖如下:將這種關系命名為Neural Inheritance Relation(NIR)。將這個關系作為先驗,構建一個one-shot搜索框架,當然是針對層數搜索的,即是Neural Inheritance Relation Guided One-Shot Layer Assignment Search 。如上圖所示,層數搜索的one-shot框架。一個包含了諸多層的supernet首先被構建出來,每次采樣,在每個階段要從淺到深的進行,將采樣得到的各階段layer連接起來,就是一個 candidate subnet。采樣從淺層開始,舉個例子,圖中有兩個下采樣,劃分起三個階段。那么第0次采樣是1-1-1的層分配,第一次采樣全部的candidate只要三個:1-1-2,1-2-1,2-1-1。每個采樣得到的subnet將會被公平的進行若干次訓練,評估出最好結構,標記為optimal-1。這個時候運用NIR,第2次只采樣與optimal-1有繼承關系的下一層subnet,依然只有三個。事實上每一次采樣數等于階段數。算法步驟如下:算法的加速效果,首先從理論上來講,一個階段(group)數為n,層(layer)數為m的CNN,窮盡所有,層數搜索的搜索空間具體大小如下層數搜索的搜索空間復雜度為?,我們這種NIR神經網絡結構關系引導的搜索,實際搜索空間復雜度為?,為搜索踩了一腳油門。本文在CIFAR-100上搭建了層數搜索數據集,在Tiny-ImageNet, ImageNet上進行了實驗。具體的詳情請見paper:https://arxiv.org/abs/2002.12580我們將層數搜索單獨摘出來,更加存粹的探究神經網絡結構之間的關系,并希望網絡結構關系的思路,可以給NAS社區帶來一些insight,進一步得到更加通用的高效NAS方案。作者:知乎-孟讓地址:https://www.zhihu.com/people/mengrang歷史文章推薦
你的畢業論文過了嗎?《如何撰寫畢業論文?》
卡爾曼濾波系列——經典卡爾曼濾波推導
談談CNN中的位置和尺度問題
目標檢測和感受野的總結和想法
一代傳奇 SIFT 算法 專利到期!
CNN真的需要下采樣(上采樣)嗎?
人體姿態估計的過去,現在,未來
2018-2019年度 Top10 綜述
【Awesome】Few-Shot Learning論文閱讀列表
你有哪些deep learning(rnn、cnn)調參的經驗?
給研究新生的建議,光看論文是學不好的,一定要看書,看書,看書!
不是我們喜新厭舊,而是RAdam確實是好用,新的State of the?Art優化器RAdam
機器學習中的評價指標
CVPR2019 |《膠囊網絡(Capsule Networks)綜述》,附93頁PPT下載
你正在看嗎?👇
創作挑戰賽新人創作獎勵來咯,堅持創作打卡瓜分現金大獎總結
以上是生活随笔為你收集整理的resnet50网络结构_AAAI2020 | 利用网络结构关系加速NAS+Layer的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: android平板截屏方法,Androi
- 下一篇: 三同轴连接器_一种毫米波频段微带同轴转换