提出的super-BPD 與 之前方法MCG相比，精度相當(dāng)或者更優(yōu)，而卻可以達(dá)到 25fps，MCG僅 0.07fps。速度更快且有更好的遷移性，可應(yīng)用于未見(jiàn)的場(chǎng)景。

作者 | Jianqiang Wan, Yang Liu, Donglai Wei, Xiang Bai, Yongchao Xu
單位 | 華中科技大學(xué)；哈佛大學(xué)

論文 下載地址|

Super-BPD: Super Boundary-to-Pixel Direction for Fast Image Segmentation?arxiv.org

代碼 下載地址|

JianqiangWan/Super-BPD?github.com

簡(jiǎn)介

圖像分割是一項(xiàng)基本的視覺(jué)任務(wù)，是許多應(yīng)用程序的關(guān)鍵步驟。本文提出了一種基于超邊界到像素方向的圖像快速分割方法和自定義分割算法。將每個(gè)像素上的BPD定義為一個(gè)從其最近邊界指向像素的二維單位向量。在BPD中，來(lái)自不同區(qū)域的鄰近像素彼此之間有相反的距離，同一區(qū)域的鄰近像素之間有相互指向的方向(即相互指向)。

利用這一特性將圖像分割成超像素點(diǎn)，這些超像素點(diǎn)是一種新的具有魯棒方向一致性的信息性超像素點(diǎn)，可以快速分組分割區(qū)域。在BSDS500和Pascal背景下的實(shí)驗(yàn)結(jié)果證明了該算法在分割圖像時(shí)的準(zhǔn)確性和效率。在實(shí)際應(yīng)用中，在25fps和0.07fps的情況下，提出的Super-BPD實(shí)現(xiàn)了與MCG相當(dāng)或更優(yōu)的性能。

介紹

BPD不僅提供輪廓位置，而且編碼每個(gè)像素到對(duì)應(yīng)區(qū)域邊界的相對(duì)位置，從而得到相鄰像素之間的關(guān)系。這使得我們可以有效地將圖像分割成Super-BPD，這樣每個(gè)像素和它所指向的方向相似的像素都在同一個(gè)Super-BPD中。Super-BPD可以看作是經(jīng)典超像素的一種新形式，為進(jìn)一步的分割區(qū)域分組提供了魯棒性方向。

Super-BPD的集合形成了一個(gè)區(qū)域鄰接圖(RAG)，其中的邊按相鄰Super-BPD的邊界的大小方向進(jìn)行加權(quán)。不同區(qū)域內(nèi)鄰近像素的BPD近似相反，因此方向相似度較小。這種性質(zhì)甚至在弱邊界處也存在，在弱邊界處，已學(xué)習(xí)的BPD沿該方向平滑地向大致相反的方向發(fā)散。這使得Super-BPD具有魯棒的方向相似度，可以將相似的Super-BPD在同一感知區(qū)域內(nèi)分組，將Super-BPD從不同的感知區(qū)域中分離出來(lái)。我們利用相鄰Super-BPD之間的這種方向相似性將RAG分割成不同的簇，從而實(shí)現(xiàn)分段。

本文的主要貢獻(xiàn)有:

1本文提出了一種新的超邊界到像素導(dǎo)向(Super-BPD)，它能夠替代經(jīng)典的超像素導(dǎo)向。超級(jí)bpd在相鄰的超級(jí)bpd之間提供了魯棒的方向相似度，可以實(shí)現(xiàn)高效的圖像分割。

2本文提出了一種基于方向相似度的由粗到細(xì)的Super-BPD分割算法，在分割精度和分割效率之間取得了很好的平衡。

優(yōu)點(diǎn)：

提出的Super-BPD屬于監(jiān)督方法。與現(xiàn)有的基于學(xué)習(xí)的方法不同，Super-BPD不依賴于輪廓線，不需要費(fèi)時(shí)的處理方法，也不需要對(duì)輪廓線的變換進(jìn)行分割。Super-BPD是一個(gè)強(qiáng)大的替代經(jīng)典的超像素。 該算法提供了魯棒的相似度，可以有效地將同一區(qū)域內(nèi)的像素進(jìn)行分組，并在邊界較弱的情況下分離鄰近區(qū)域。這就在準(zhǔn)確性和效率之間取得了很好的平衡。Super-BPD不需要單獨(dú)的超像素生成和嵌入步驟，更有效地分離邊界較弱的鄰近區(qū)域。

上圖為Super-BPD結(jié)果。給定一紅色的圖像Super-BPD分割邊界，放大到一幅圖像邊界較弱的區(qū)域(黃色)，雖然像素有相似的值，Super-BPD可以通過(guò)魯棒預(yù)測(cè)的邊界到像素方向?qū)⑾袼剡B接起來(lái)，在邊界的兩邊生成條狀的段，以便分組。

方法：

Super Boundary-to-Pixel Direction

對(duì)于每個(gè)像素藍(lán)色P(紅色的為ground truth boundary)，找到其最近的邊界像紅色Bp。 BPD向量定義為Bp指向p的二維單位向量。對(duì)每個(gè)像素密集預(yù)測(cè)BPD，并對(duì)其方向進(jìn)行顏色編碼。

超級(jí)邊緣點(diǎn)分割算法能夠在相鄰的超級(jí)邊緣點(diǎn)之間提供魯棒的方向相似度，從而通過(guò)區(qū)域劃分實(shí)現(xiàn)快速的圖像分割。

Boundary-to-Pixel Direction (BPD)：

定義：對(duì)于圖像中每個(gè)像素領(lǐng)p找到其最近的邊界像素Bp。那么，在像素點(diǎn)p, dp處的BPD被定義為一個(gè)二維的單位向量，表示為：

BPD提供了每個(gè)像素點(diǎn)的輪廓位置和相對(duì)于其區(qū)域邊界的位置的線索。距離變換算法可以有效地從地面真值注釋生成BPD。

模型結(jié)構(gòu)：

采用了全卷積網(wǎng)絡(luò)(FCN)將BPD預(yù)測(cè)為與輸入圖像空間大小相同的雙通道映射，如下圖所示。VGG16作為主干網(wǎng)，舍棄最后的最大池層和后面的所有層。ASPP層擴(kuò)大接受野，更好地應(yīng)對(duì)大的區(qū)域。從VGG16的不同階段提取特征來(lái)聚合多尺度信息，對(duì)conv3、conv4、conv5和ASPP層應(yīng)用1×1卷積，將這些邊輸出特征連接起來(lái)。最后，我們?cè)谌诤虾蟮奶卣鲌D上連續(xù)應(yīng)用三個(gè)1×1卷積，然后利用雙線性插值的上采樣來(lái)預(yù)測(cè)BPD。

損失函數(shù)：L2范數(shù)

從已有的BPD中，提取圖像P編碼的條形段super-BPD及其根像素R類靠近區(qū)域?qū)ΨQ軸，首先，每個(gè)像素p的父元素被設(shè)為自身，p (p) = p，根像素R的集合為空。對(duì)于每個(gè)像素p，將其下一個(gè)像素np定義為dp所指向的鄰近像素。

根據(jù)上圖算法5 - 9行描述的，每個(gè)像素的光柵秩序，如果夾下一個(gè)像素np和BPD小于給定的閾值θ，就將其組在一起。否則，將p插入到根像素r的集合中，最終的根圖像p將圖像分割成一個(gè)樹(shù)森林，每個(gè)樹(shù)的根都是r中的一個(gè)根像素。將每棵樹(shù)定義為一個(gè)Super-BPD。

Super-BPD用于語(yǔ)義分割

根據(jù)相似度方向，大小不等的細(xì)分(算法2，第13-16行)。根據(jù)初始段的大小建立方向相似閾值。

按方向相似度的遞減順序遍歷e = (r1, r2)。合并R 1和R2，如果方向相似性S (e)大于h θ，觸發(fā)更新的排斥信息——漸變super-BPDs。

實(shí)驗(yàn)結(jié)果

總結(jié)

以上是生活随笔為你收集整理的将特定像素点在图像上连接起来_图像分割【论文解读】快速图像分割的SuperBPD方法 CVPR-2020...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。