作者丨孫明珊

學(xué)校丨哈爾濱工業(yè)大學(xué)（深圳）碩士生

研究方向丨目標(biāo)檢測(cè)

研究動(dòng)機(jī)

當(dāng)前目標(biāo)檢測(cè)網(wǎng)絡(luò)中采用特征金字塔網(wǎng)絡(luò)（FPN）結(jié)構(gòu)解決多尺度的問(wèn)題，但是這些 FPN 都是人工事先設(shè)計(jì)，并不一定是最優(yōu)的結(jié)構(gòu)。為了更靈活地獲得更優(yōu)的 FPN 結(jié)構(gòu)，該文章首創(chuàng)性地提出了采用神經(jīng)架構(gòu)搜索（NAS）的方式定制化地構(gòu)建 FPN，該結(jié)構(gòu)又稱(chēng) NAS-FPN。

設(shè)計(jì) FPN 結(jié)構(gòu)的最大困難在于它巨大的設(shè)計(jì)空間，在不同尺度上融合特征的組合數(shù)會(huì)隨著網(wǎng)絡(luò)層數(shù)的增長(zhǎng)而增大。由此該文先設(shè)計(jì)了一個(gè)能覆蓋所有跨尺度連接產(chǎn)生多尺度特征的搜索空間，然后采用強(qiáng)化學(xué)習(xí)訓(xùn)練一個(gè) RNN 控制器來(lái)選出最優(yōu)的 FPN 結(jié)構(gòu)。該方法采用 RetinaNet 的框架，其結(jié)構(gòu)如下圖所示：

研究方法

搜索空間?

FPN 的眾多跨連接構(gòu)成了很大的搜索空間。在搜索空間中，一個(gè) FPN 由很多 merging cells 組成，然后合并一些來(lái)自不同層融合的特征表示。一個(gè) merging cell 將兩個(gè)來(lái)自不同特征層的特征連接融合產(chǎn)生一個(gè)特征輸出，這樣的單元結(jié)構(gòu)就構(gòu)成了 FPN 的元結(jié)構(gòu)，同時(shí)所有的可能的特征層組合由 merging cells 組建化的表示，這也就構(gòu)成了我們的搜索空間（模塊化）。一個(gè) merging cell 的結(jié)構(gòu)如下：

構(gòu)建 merging cell 是由控制器 RNN 來(lái)做決定，它不僅要決定選取哪兩個(gè)特征層，還要決定采用那種特征融合方式？

每個(gè) merging cell 有 4 個(gè)預(yù)測(cè)步驟：首先選一個(gè)特征層，然后再選一個(gè)特征層，隨后決定輸出特征的維度，最后決定采用何種特征融合方式將兩個(gè)特征層合并到特定尺度。這里的特征融合方式分為兩種 sum 和 global pooling。?

NAS-FPN 的優(yōu)勢(shì)之一是搜索空間的設(shè)計(jì)，覆蓋所有可能的跨尺度連接，用來(lái)生成多尺度特征表示。在搜索過(guò)程中，研究者的目標(biāo)是發(fā)現(xiàn)具有相同輸入和輸出特征級(jí)別并且可以被重復(fù)應(yīng)用的微粒架構(gòu)。模塊化搜索空間使得搜索金字塔架構(gòu)變得易于管理。

模塊化金字塔架構(gòu)的另一個(gè)好處是可以隨時(shí)檢測(cè)目標(biāo)，雖然這種方法已出現(xiàn)，但手動(dòng)設(shè)計(jì)這種架構(gòu)依舊相當(dāng)困難。固定分類(lèi)和回歸的網(wǎng)絡(luò)進(jìn)行深度監(jiān)督訓(xùn)練。搜索的終止并不是非要全部搜索完，隨時(shí)都可以退出。因?yàn)榉直媛什蛔?#xff0c;所以 FPN 可以隨意擴(kuò)展。?

模型搜索?

NAS 利用強(qiáng)化學(xué)習(xí)訓(xùn)練控制器在給定的搜索空間中選擇最優(yōu)的模型架構(gòu)?？刂破骼米幽Ｐ驮谒阉骺臻g中的準(zhǔn)確度作為獎(jiǎng)勵(lì)信號(hào)來(lái)更新參數(shù)。因此，通過(guò)反復(fù)試驗(yàn)，控制器逐漸學(xué)會(huì)了如何生成更好的架構(gòu)。由于不知道 FPN 的跨連接情況，NAS-FPN 采用 RNN 作為控制器，使用該控制器來(lái)產(chǎn)生一串信息，用于構(gòu)建不同的連接。其宏觀結(jié)構(gòu)如下圖所示：

其搜索得到的最優(yōu) FPN 結(jié)構(gòu)如下圖，其控制器收斂得到的最終 FPN 結(jié)構(gòu)如 (f) 所示，并且其精度最高。從中可得訓(xùn)練時(shí)間越長(zhǎng)其軌跡越曲折混亂：其搜索得到的最優(yōu) FPN 結(jié)構(gòu)如下圖，其控制器收斂得到的最終 FPN 結(jié)構(gòu)如 (f) 所示，并且其精度最高。從中可得訓(xùn)練時(shí)間越長(zhǎng)其軌跡越曲折混亂：

每個(gè)點(diǎn)代表一個(gè)特征層。同一行的特征層具有相同的分辨率。分辨率在自底向上下降。箭頭表示內(nèi)部層之間的連接。圖中左側(cè)是輸入層。金字塔網(wǎng)絡(luò)的輸入用綠色圓圈標(biāo)記，輸出用紅色圓圈標(biāo)記。

最終收斂的 FPN 網(wǎng)絡(luò)結(jié)構(gòu)如下圖：

實(shí)驗(yàn)內(nèi)容及分析

實(shí)驗(yàn)中使用了 RetinaNet 的開(kāi)源實(shí)現(xiàn)。模型在 COCO train2017 上訓(xùn)練，大部分實(shí)驗(yàn)采用 COCO val2017 進(jìn)行評(píng)估。結(jié)果如下：?

總體對(duì)比結(jié)果如下表所示：

總結(jié)

本文提出利用神經(jīng)架構(gòu)搜索進(jìn)一步優(yōu)化用于目標(biāo)檢測(cè)的特征金字塔網(wǎng)絡(luò)的設(shè)計(jì)過(guò)程。在 COCO 數(shù)據(jù)集上的實(shí)驗(yàn)表明，神經(jīng)結(jié)構(gòu)搜索發(fā)現(xiàn)的架構(gòu)，名為 NAS-FPN，具有良好的靈活性和高性能，可用于構(gòu)建精確的檢測(cè)模型。在廣泛的精度和速度權(quán)衡方面，NAS-FPN 在許多檢測(cè)任務(wù)的主干架構(gòu)上產(chǎn)生了顯著改進(jìn)。

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• 最新Anchor-Free目標(biāo)檢測(cè)模型—FoveaBox

• 論文盤(pán)點(diǎn)：CVPR 2019 - 文本檢測(cè)專(zhuān)題

• 近期值得讀的10篇GAN進(jìn)展論文

• 天秤座R-CNN：全面平衡的目標(biāo)檢測(cè)器
  

• 萬(wàn)字綜述之生成對(duì)抗網(wǎng)絡(luò)（GAN）

• CVPR 2019 | 基于高清表示網(wǎng)絡(luò)的人體姿態(tài)估計(jì)

• PoolNet：基于池化技術(shù)的顯著性目標(biāo)檢測(cè)

• 全新缺失圖像數(shù)據(jù)插補(bǔ)框架—CollaGAN

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類(lèi)優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

??來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文 & 源碼

總結(jié)

以上是生活随笔為你收集整理的CVPR 2019 | NAS-FPN：基于自动架构搜索的特征金字塔网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。