圖像實例分割：CenterMask

CenterMask: single shot instance segmentation with point
representation

論文鏈家：

https://arxiv.org/abs/2004.04446

摘要

本文提出了一種簡單、快速、準(zhǔn)確的單鏡頭實例分割方法。單階段實例分割面臨兩個主要挑戰(zhàn)：對象實例區(qū)分和像素級特征對齊。相應(yīng)地，本文將實例分割分解為兩個子任務(wù)：局部形狀預(yù)測（即使在重疊的情況下也可以分離實例）和全局顯著性生成（以像素到像素的方式分割整個圖像）。兩個分支的輸出被組合起來形成最終的實例掩碼。為了實現(xiàn)這一點，從物體中心點的表示中提取局部形狀信息。完全從頭開始訓(xùn)練，沒有任何鈴聲和口哨聲，提出的中心掩碼達(dá)到34.5掩碼AP，速度為12.3 fps，使用單一模型，在具有挑戰(zhàn)性的COCO數(shù)據(jù)集上進(jìn)行單尺度訓(xùn)練/測試。除速度慢5倍的TensorMask方法外，該方法的精度高于其他所有一級實例分割方法，說明了中心模板的有效性。此外，該方法還可以方便地嵌入到FCOS等單級目標(biāo)檢測器中，具有良好的性能，體現(xiàn)了中心掩模的通用性。

1. Introduction

為了解決這些問題，本文建議打破mask表示為兩個平行組件：

（1）一種局部形狀表示法，它為每個局部區(qū)域預(yù)測一個粗略的遮罩，可以自動分離不同的實例。

（2）一種全局顯著性地圖，它可以分割整個圖像，提供顯著性細(xì)節(jié)，并實現(xiàn)像素級對齊。為了實現(xiàn)這一點，從目標(biāo)中心的點表示中提取局部形狀信息。建模對象作為其中心點是由一級中心網(wǎng)[30]檢測器驅(qū)動的，因此本文稱之為方法中心掩碼。建議的中心遮罩的圖示如圖1所示。給定輸入圖像，根據(jù)關(guān)鍵點估計管道預(yù)測目標(biāo)中心點位置。然后提取中心點的特征表示，形成局部形狀，局部形狀由一個粗掩模表示，該粗掩模將物體與近距離物體分開。同時，完全卷積的主干線生成了整個圖像的全局顯著性圖，在像素級將前景與背景分離。最后，將粗糙但感知實例的局部形狀和精確但不感知實例的全局顯著性映射組合起來，形成最終的實例掩碼。

為了驗證中心掩模的魯棒性并分析其核心因素的影響，進(jìn)行了大量的實驗，比較了多個基本實例的融合性能。可視化結(jié)果表明，僅使用局部形狀分支的中心mask可以很好地分離對象，而僅使用全局自性分支的模型在對象不重疊的情況下表現(xiàn)良好。在復(fù)雜和對象重疊的情況下，這兩個分支的結(jié)合可以區(qū)分實例，同時實現(xiàn)像素級的分割。COCO[20]測試集圖像的中心掩碼結(jié)果如圖2所示。

總之，本文的主要貢獻(xiàn)如下：

?提出了一種無錨定盒的一階段實例分割方法，該方法簡單、快速、快速準(zhǔn)確。完全從零開始訓(xùn)練，提出的中心掩模達(dá)到34.5掩模AP，速度為12.3 fps對具有挑戰(zhàn)性的可可，顯示出良好的速度精度權(quán)衡。此外，該方法還可以方便地嵌入到FCOS[27]等單級目標(biāo)檢測器中，具有良好的性能，體現(xiàn)了中心掩模的推廣性。

?提出對象遮罩的局部形狀表示，以區(qū)分無錨箱條件下的實例。局部形狀分支使用對象中心點的表示，即使在重疊的情況下，也能有效地預(yù)測粗糙遮罩和分離對象。

?提出了全局顯著性映射，實現(xiàn)自然的像素級特征對齊。與以前的特征對齊操作（例如分割）不同，該模塊更簡單、更快、更精確。全局顯著性生成的行為類似于語義分割[23]，希望這項工作能夠激勵未來的一階段全景分割[16]。

2. Related Work

兩段式分割：兩段式分割方法，先進(jìn)行包圍盒檢測，再對包圍盒區(qū)域的像素進(jìn)行分類，得到最終的掩模。

一階段實例分割：目前最先進(jìn)的一階段實例分割方法大致可以分為兩類：基于全局區(qū)域的方法和基于局部區(qū)域的方法。基于全局區(qū)域的方法首先基于整個圖像生成中間和共享的特征地圖，然后將提取的特征集合起來形成每個實例的最終遮罩。

3. CenterMask

本文的目標(biāo)是建立一種單階段的實例分割方法。一個階段意味著沒有預(yù)先定義的興趣區(qū)域（roi）用于掩模預(yù)測，這需要同時定位、分類和分割對象。為了實現(xiàn)這一點，本文將實例分割分解為兩個簡單且并行的子任務(wù)，并將它們的結(jié)果集合起來形成最終的掩碼。第一個分支從每個對象的中心點表示預(yù)測粗糙形狀，這可以約束每個對象的局部區(qū)域并自然區(qū)分實例。

第二個分支預(yù)測整個圖像的顯著性圖，實現(xiàn)精確分割并保留精確的空間位置。最后，通過將兩個分支的輸出相乘來構(gòu)造每個實例的掩碼。

4. Experiments

在MS-COCO實例分割基準(zhǔn)上對所提出的中心掩碼的性能進(jìn)行了評估[20]。該模型在115k個trainval 35k圖像上進(jìn)行訓(xùn)練，并在5k個minival圖像上進(jìn)行測試。最終結(jié)果在20k測試設(shè)備上進(jìn)行評估。

5. Conclusion

本文提出了一種簡單、快速、準(zhǔn)確的單鏡頭錨箱自由實例分割方法。將掩模預(yù)測分解為兩個關(guān)鍵模塊：有效分離不同實例的局部形狀分支和明智地實現(xiàn)精確分割像素的全局顯著分支。大量的融合實驗和可視化圖像證明了該中心掩模的有效性。本文希望本文的工作能夠幫助簡化更多的實例級識別任務(wù)。

總結(jié)

以上是生活随笔為你收集整理的图像实例分割：CenterMask的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。