本文介绍一篇注意力图神经网络用于停车位检测论文，论文已收录于 RA-L2021。在之前的基于卷积神经网络的停车位检测方法中，很少考虑停车位标记点之间的关联信息，从而导致需要复杂的后处理。在本文中，作者将环视图中的标记点看作图结构数据，使用图神经网络聚合相邻的标记点信息，不需要任何后处理，可以端到端训练。在ps2.0 和 PSV 停车位数据集上都取得了最优的检测性能。

论文链接为：https://arxiv.org/pdf/2104.02576.pdf

项目链接为：https://github.com/Jiaolong/gcn-parking-slot

---

1. Method

1.1 Overview

本文提出的基于注意力图神经网络停车位检测模型结构如下图所示，由三部分组成：Graph feature encoder，Graph feature aggregation，Entrance line discriminator。停车位一般由四个标记点组成 $(P_1,P_2,P_3,P_4)$ （四个顶点按照逆时针排序）；因此停车位检测问题可以描述为检测车位进入线上顶点 $(P_1,P_2)$ 的问题。本文提出的停车位检测流程为：

• 给定一张环视图 $\mathbf{I}\in {\mathbb{R}}^{H\times W\times 3}$，首先使用卷积神经网络进行特征提取。 然后标记点检测器检测标记点，标记点编码网络提取标记点特征。
• 接着使用注意力图神经网络推理标记点之间的关系，本文设计的图神经网络为全连接网络，其中每一个点表示为标记点。
• 最后，使用车位进入线判别器决定两个标记点是否可以形成一个有效的车位进入线。

---

1.2 Graph Feature Encoder

标价点检测器输出为 $S\times S\times 3$ 的特征图，其中通道 $3$ 包含标记点位置 $(x,y)$ 和置信度 $c$。在使用极大值抑制(NMS)后会得到 $N$ 个标记点。

标记点特征编码器包含 $4$ 个卷积层，输出特征图为 $S\times S\times 64$。对于检测到的 $N$ 个标记点位置 $P=(x,y)\in {\mathbb{R}}^{N\times 2}$，使用双线性插值计算标记点特征。最终得到标记点特征 $\mathbf{F}\in {\mathbb{R}}^{N\times 64}$。这里特征图大小 $S=16$。

为了增强特征表示，将标记点位置和特征进行融合：
$${\mathbf{v}}_i={\mathbf{f}}_i+\mathbf{M}\mathbf{L}\mathbf{P}(x_i,y_i)$$

其中，${\mathbf{f}}_i$ 为最初的标记点特征。

---

1.3 Graph Feature Aggregation

融合后的标记点特征集合 $\mathbf{V}$，构造一个全连接的图网络 $\mathbf{G}=(\mathbf{V},\mathbf{E})$，其中 $\mathbf{V}$ 表示 $N$ 个节点 $({\mathbf{x}}_i)$，$\mathbf{E}$ 表示 $N\times N$ 条边。

图神经网络每一层标记点特征更新方法为：
$${\mathbf{x}}_i^{l+1}={\mathbf{x}}_i^l+\mathbf{M}\mathbf{L}\mathbf{P}\left(\left[{\mathbf{x}}_i^l\Vert {\mathbf{m}}_{E_i\to i}^l\right]\right)$$

其中 ${\mathbf{m}}_{E_i\to i}^l$ 为第 $i$ 个节点一阶邻域 $E_i$ 聚合的信息，由注意力机制计算得来，$[\cdot \Vert \cdot ]$ 为特征结合操作。

对于每一个图节点特征 ${\mathbf{x}}_i^l$，query,key,value 计算为：
$$\begin{array}{rl}{\mathbf{q}}_i& ={\mathbf{W}}_1^l{\mathbf{x}}_i^l+{\mathbf{b}}_1^l\\ {\mathbf{k}}_j& ={\mathbf{W}}_2^l{\mathbf{x}}_j^l+{\mathbf{b}}_2^l\\ {\mathbf{v}}_j& ={\mathbf{W}}_3^l{\mathbf{x}}_j^l+{\mathbf{b}}_3^l\end{array}$$

节点 $i,j$ 之间的注意力计算为：${\alpha }_{i,j}=Softmax({\mathbf{q}}_i^T{\mathbf{k}}_j)$，则图节点聚合信息为： ${\mathbf{m}}_{E_i\to i}^l={\sum }_{j\in E_i}{\alpha }_{i,j}^k{\mathbf{v}}_j$。在本文中，使用多个注意力头，则聚合信息为：${\mathbf{m}}_{E_i\to i}^l={\mathbf{W}}^l\left({\mathbf{m}}_{E_i\to i}^{l,1}\Vert {\mathbf{m}}_{E_i\to i}^{l,2}\Vert \cdots \Vert {\mathbf{m}}_{E_i\to i}^{l,h}\right)$。

---

1.4 Entrance Line Discriminator

两个图节点特征结合得到一个 $1\times 128$ 的输入特征，然后输入到线性判别器。最终输出为 $K\times 5$ 的矩阵，其中 $K=N\times N$，表示为标记点对。每一对标记点对包含5个元素：$x_1,y_1,x_2,y_2,t$。其中 $(x_1,x_2,x_2,y_2)$ 为标记点位置， $t$ 表示形成车位进入线的概率。

整个损失函数为：
$$loss={\lambda }_{1}los{s}_{point}+{\lambda }_{2}los{s}_{line}$$

其中标记点损失 $los{s}_{point}$ 为：
$$\mathrm{los}{s}_{\text{point }}=\frac{1}{S^2}\sum _{i=1}^{S^2}\left\{{\left(c_i-\widehat{c_i}\right)}^2+1_i\left[{\left(x_i-\widehat{x_i}\right)}^2+{\left(y_i-{\hat{y}}_i\right)}^2\right]\right\}$$

车位进入线损失 $los{s}_{line}$ 为：
$$los{s}_{line}=\frac{1}{N^2}(-\sum _{i=1}^N\sum _{j=1}^N\widehat{l_{ij}}log{l}_{ij})$$

---

2.Experimental Results and Discussion

2.1 Datastes & Setting

ps2.0 停车位数据集包含9827张训练图片（9476个停车位），2338张测试图片（2168个停车位）；每一张图片大小为 $600\times 600$，对应物理空间大小为 $10m\times 10m$。

${\mathbf{S}}_g$ 表示为停车位真值集合，${\mathbf{S}}_d$ 为检测结果集合，如果满足下列条件，则检测结果为真阳性。

$${\Vert \left({\mathbf{p}}_1^g-{\mathbf{p}}_1^d,{\mathbf{p}}_2^g-{\mathbf{p}}_2^d\right)\Vert }_2<10$$

---

2.2 Results and Discussions

在 ps2.0 和 PSV 数据集上的测试结果如下，同时作者还使用了FCN网络代替图网络，比较了标记点的相似性得分。

---

2.3 Ablation study

下面是一些对照实验结果，比较了使用不同特征网络的检测性能和时间消耗，位置编码器、图神经网络层数和注意力头个数影响，以及损失函数权重影响。

从中可以看到，标记点损失权重对最终影响是比较大的；不过在ps2.0数据集上各种特征提取网络的检测性能都已经很高了，后续还需要在更大的数据集上进行测试。