本文介紹一篇注意力圖神經網絡用于停車位檢測論文，論文已收錄于 RA-L2021。在之前的基于卷積神經網絡的停車位檢測方法中，很少考慮停車位標記點之間的關聯信息，從而導致需要復雜的后處理。在本文中，作者將環視圖中的標記點看作圖結構數據，使用圖神經網絡聚合相鄰的標記點信息，不需要任何后處理，可以端到端訓練。在ps2.0 和 PSV 停車位數據集上都取得了最優的檢測性能。

論文鏈接為：https://arxiv.org/pdf/2104.02576.pdf

項目鏈接為：https://github.com/Jiaolong/gcn-parking-slot

---

1. Method

1.1 Overview

本文提出的基于注意力圖神經網絡停車位檢測模型結構如下圖所示，由三部分組成：Graph feature encoder，Graph feature aggregation，Entrance line discriminator。停車位一般由四個標記點組成 $(P_1,P_2,P_3,P_4)$ （四個頂點按照逆時針排序）；因此停車位檢測問題可以描述為檢測車位進入線上頂點 $(P_1,P_2)$ 的問題。本文提出的停車位檢測流程為：

• 給定一張環視圖 $\mathbf{I}\in {\mathbb{R}}^{H\times W\times 3}$，首先使用卷積神經網絡進行特征提取。 然后標記點檢測器檢測標記點，標記點編碼網絡提取標記點特征。
• 接著使用注意力圖神經網絡推理標記點之間的關系，本文設計的圖神經網絡為全連接網絡，其中每一個點表示為標記點。
• 最后，使用車位進入線判別器決定兩個標記點是否可以形成一個有效的車位進入線。

---

1.2 Graph Feature Encoder

標價點檢測器輸出為 $S\times S\times 3$ 的特征圖，其中通道 $3$ 包含標記點位置 $(x,y)$ 和置信度 $c$。在使用極大值抑制(NMS)后會得到 $N$ 個標記點。

標記點特征編碼器包含 $4$ 個卷積層，輸出特征圖為 $S\times S\times 64$。對于檢測到的 $N$ 個標記點位置 $P=(x,y)\in {\mathbb{R}}^{N\times 2}$，使用雙線性插值計算標記點特征。最終得到標記點特征 $\mathbf{F}\in {\mathbb{R}}^{N\times 64}$。這里特征圖大小 $S=16$。

為了增強特征表示，將標記點位置和特征進行融合：
$${\mathbf{v}}_i={\mathbf{f}}_i+\mathbf{M}\mathbf{L}\mathbf{P}(x_i,y_i)$$

其中，${\mathbf{f}}_i$ 為最初的標記點特征。

---

1.3 Graph Feature Aggregation

融合后的標記點特征集合 $\mathbf{V}$，構造一個全連接的圖網絡 $\mathbf{G}=(\mathbf{V},\mathbf{E})$，其中 $\mathbf{V}$ 表示 $N$ 個節點 $({\mathbf{x}}_i)$，$\mathbf{E}$ 表示 $N\times N$ 條邊。

圖神經網絡每一層標記點特征更新方法為：
$${\mathbf{x}}_i^{l+1}={\mathbf{x}}_i^l+\mathbf{M}\mathbf{L}\mathbf{P}\left(\left[{\mathbf{x}}_i^l\Vert {\mathbf{m}}_{E_i\to i}^l\right]\right)$$

其中 ${\mathbf{m}}_{E_i\to i}^l$ 為第 $i$ 個節點一階鄰域 $E_i$ 聚合的信息，由注意力機制計算得來，$[?\Vert ?]$ 為特征結合操作。

對于每一個圖節點特征 ${\mathbf{x}}_i^l$，query,key,value 計算為：
$$\begin{array}{rl}{\mathbf{q}}_i& ={\mathbf{W}}_1^l{\mathbf{x}}_i^l+{\mathbf{b}}_1^l\\ {\mathbf{k}}_j& ={\mathbf{W}}_2^l{\mathbf{x}}_j^l+{\mathbf{b}}_2^l\\ {\mathbf{v}}_j& ={\mathbf{W}}_3^l{\mathbf{x}}_j^l+{\mathbf{b}}_3^l\end{array}$$

節點 $i,j$ 之間的注意力計算為：${\alpha }_{i,j}=Softmax({\mathbf{q}}_i^T{\mathbf{k}}_j)$，則圖節點聚合信息為： ${\mathbf{m}}_{E_i\to i}^l={\sum }_{j\in E_i}{\alpha }_{i,j}^k{\mathbf{v}}_j$。在本文中，使用多個注意力頭，則聚合信息為：${\mathbf{m}}_{E_i\to i}^l={\mathbf{W}}^l\left({\mathbf{m}}_{E_i\to i}^{l,1}\Vert {\mathbf{m}}_{E_i\to i}^{l,2}\Vert ?\Vert {\mathbf{m}}_{E_i\to i}^{l,h}\right)$。

---

1.4 Entrance Line Discriminator

兩個圖節點特征結合得到一個 $1\times 128$ 的輸入特征，然后輸入到線性判別器。最終輸出為 $K\times 5$ 的矩陣，其中 $K=N\times N$，表示為標記點對。每一對標記點對包含5個元素：$x_1,y_1,x_2,y_2,t$。其中 $(x_1,x_2,x_2,y_2)$ 為標記點位置， $t$ 表示形成車位進入線的概率。

整個損失函數為：
$$loss={\lambda }_{1}los{s}_{point}+{\lambda }_{2}los{s}_{line}$$

其中標記點損失 $los{s}_{point}$ 為：
$$\mathrm{los}{s}_{\text{point?}}=\frac{1}{S^2}\sum _{i=1}^{S^2}\left\{{\left(c_i?\widehat{c_i}\right)}^2+1_i\left[{\left(x_i?\widehat{x_i}\right)}^2+{\left(y_i?{\hat{y}}_i\right)}^2\right]\right\}$$

車位進入線損失 $los{s}_{line}$ 為：
$$los{s}_{line}=\frac{1}{N^2}(?\sum _{i=1}^N\sum _{j=1}^N\widehat{l_{ij}}log{l}_{ij})$$

---

2.Experimental Results and Discussion

2.1 Datastes & Setting

ps2.0 停車位數據集包含9827張訓練圖片（9476個停車位），2338張測試圖片（2168個停車位）；每一張圖片大小為 $600\times 600$，對應物理空間大小為 $10m\times 10m$。

${\mathbf{S}}_g$ 表示為停車位真值集合，${\mathbf{S}}_d$ 為檢測結果集合，如果滿足下列條件，則檢測結果為真陽性。

$${\Vert \left({\mathbf{p}}_1^g?{\mathbf{p}}_1^d,{\mathbf{p}}_2^g?{\mathbf{p}}_2^d\right)\Vert }_2<10$$

---

2.2 Results and Discussions

在 ps2.0 和 PSV 數據集上的測試結果如下，同時作者還使用了FCN網絡代替圖網絡，比較了標記點的相似性得分。

---

2.3 Ablation study

下面是一些對照實驗結果，比較了使用不同特征網絡的檢測性能和時間消耗，位置編碼器、圖神經網絡層數和注意力頭個數影響，以及損失函數權重影響。

從中可以看到，標記點損失權重對最終影響是比較大的；不過在ps2.0數據集上各種特征提取網絡的檢測性能都已經很高了，后續還需要在更大的數據集上進行測試。

總結

以上是生活随笔為你收集整理的详解停车位检测论文：Attentional Graph Neural Network for Parking-slot Detection的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。