0 引言

车辆重识别是指在多个非重叠摄像头拍摄的车辆图像中检索某一目标车辆的问题。其方法在交通监控系统中有着广泛应用，例如定位和目标车辆跟踪等。

近年来，随着深度学习^[1-3]技术的快速发展和交通智能化^[4-7]水平的不断提高，车辆重识别技术^[8-16]也受到了广泛的关注。现有的大多数车辆重识别方法^{[8, 17-18]}主要利用外观信息。Liu^[8]根据车牌是车辆身份唯一标识这一特性, 通过检测图像中车牌的位置, 将车牌字符从整幅图像中分割出来, 并进一步根据车牌号进行车辆重识别。Feris^[17]提出了一种基于属性的监控场景车辆搜索方法。车辆按不同的属性分类，如车型和颜色。然后对数据库中具有相似属性的车辆进行检索。Dominik^[18]利用三维边界框对汽车图像进行校正，然后将成对的汽车图像颜色直方图特征进行拼接，训练一个二元线性支持向量机来验证图像对是否具有相同身份。然而，这类方法具有较大局限性，不同汽车可能具有非常相似的颜色和外观，特别是同一制造商相同型号的汽车。另外存在非正面视角、分辨率低、光照差以及细微特征不易提取等诸多方面因素，仅使用外观信息很难实现准确的车辆重识别。

另一方面，时空信息被广泛用于多相机系统中的目标关联任务^[19-22]，Ellis^[21]首先从多相机网络中获取单视图目标跟踪独立轨迹数据，在此基础上提出了一种同时学习拓扑变换和时间转换的方法。Neumann^[22]提出了一种结合结构估计和运动估计的方法，以恢复物体精确的三维时空描述。Loy^[23]提出了一种多摄像机活动相关性分析方法，该方法估计了摄像机网络的时空拓扑结构。随着时空信息的提出以及广泛的应用，使得模型准确性变得越来越高。

为了克服仅使用外观信息识别方法的局限性，一些研究尝试结合时空信息，来提升车辆重识别的性能。Wang^[24]提出了一种融合空间多尺度信息车辆重识别方法，该文设计了多尺度空间上下文特征选择模块，提高了车辆空间位置感知能力，但未考虑区域间的空间几何结构关系和时间信息，模型性能仍有较大提升空间。Liu^[25]利用图像的时间和位置信息来计算图像间的时空距离。然而，这样的时空正则化过于简单，对数据集的依赖较高，泛化能力弱。

针对上述问题，本研究提出了一种融合时空与全局上下文信息的车辆重识别方法。首先利用SE-block模块^[26]的自注意力机制学习每个通道的重要程度并进行特征加权，更好地整合全局上下文信息。其次，在图像表示之间引入动态映射，充分挖掘时空信息的潜在联系，并使用动态自适应感知器DMLP学习时空信息权重^[27]，增强图像特征的表示能力。然后通过融合时空与全局上下文信息对车辆进行重识别。最后，使用数据集VeRi-766^[8]进行试验，证明本方法的有效性。

1 信息融合

本节介绍了一种融合时空与全局上下文信息的车辆重识别框架，旨在通过融合时空信息提高识别能力。该框架包括图像路径和时空路径，分别用于处理图像和时空信息。首先，利用SE-block模块的残差网络提取图像特征，通过MLP主干网络提取时空特征，使用DMLP更新图像特征用于车辆重识别，损失函数结合了三元组损失和交叉熵损失。

1.1 框架

本研究框架设计了图像路径和时空路径如图 1所示，分别用于处理图像和时空信息，使用DMLP进行信息融合，在时空信息基础上增强图像表示。分别将输入图像标记为F_i，时空信息标记为F_m。将通过特征提取模块得到的原始图像特征标记为Z_i，时空特征标记为Z_m，并将框架设计成多层架构，更多层的动态映射可以使模型的性能更好。Z_iⁿ (n∈ (1, 2，…, N)) 定义为DMLP更新n次后的图像表示。

图像全局上下文信息提取如图 2所示，给定输入图像F_i，通过残差块得到特征图U，在SE-block中，使用全局平均池化(GAP)求得每个通道c的特征图平均值。

$ \bar{X}_{\mathrm{c}}=G\left(U_{\mathrm{c}}\right)=\frac{1}{W \cdot H} \sum\limits_{i=1}^W \sum\limits_{j=1}^H U_{\mathrm{c}}(i, j), $

(1)

式中，G (·)为全局平均池化；W和H分别为特征图的宽和长；c为通道数，且c∈{1, 2, …，}; X为特征图的平均值。

然后通过SE-block两层全连接构成的门控机制：

$ S_1=\operatorname{ReLU}(f(\bar{X})), $

(2)

$ \boldsymbol{S}=\operatorname{Sigmoid}\left(f\left(S_1\right)\right), $

(3)

式中，ReLU (·)和Sigmoid (·)分别为ReLU激活函数和Sigmoid激活函数；f (·)为全连接层。得到门控单元 S后，最后的输出Z为 S和 U的向量积：

$ \bar{Z}_{\mathrm{c}}=S_{\mathrm{c}} \times U_{\mathrm{c}}, $

(4)

式中，Z_c为Z的一个特征通道的特征图；S_c为门控单元S中的一个标量值。

随后，将增强后的特征拼接在一起，并采用残差机制，将拼接后的特征与初始化特征逐项相加，使网络模型能够关注车辆的关键区域，提升模型对于全局上下文信息的感知能力，从而获得更好的特征表示Z_i。该整合过程可以表示为:

$ Z_i=\bar{Z}_{\mathrm{c}} \oplus F_i, $

(5)

式中$\oplus$表示残差机制中的对应元素相加操作。

同时，时空路径接收外部信息作为输入，如经度、纬度和时间。外部信息被归一化为[― 1, 1]，然后进行通道连接：

$ \hat{X}_{m}=\operatorname{Concat}(\{{ lat }, { lon }, { time }\}), $

(6)

式中，lat，lon和time分别为经度、纬度和时间；Concat（·）为按通道拼接；$\hat{X}_{m} \in \mathbb{R}^{3}$为时空信息的中间编码，然后时空信息$\hat{X}_{m}$映射到$X_{m} \in \mathbb{R}^{6}$：

$ X_{m}=\left[\sin \left({\rm{\mathsf{π}}} \hat{X}_{m}\right), \cos \left({\rm{\mathsf{π}}} \hat{X}_{m}\right)\right], $

(7)

式中，$\sin (\cdot)$和$\cos (\cdot)$分别为正弦和余弦函数，使用MLP骨干网提取时空信息$Z_{m}$。

在获得图像和时空特征后，通过DMLP进行融合。Z_i通过全连接层得到Z_i⁰，将Z_i⁰和Z_m作为DMLP的初始输入，通过N层堆叠DMLP对信息进行处理，DMLP的细节将在1.2节详细阐述，在调整后的特征与原始特征之间加入跳跃连接，得到最终图像表示。损失函数结合了三元组损失L_Tri和交叉熵损失L_ID。

整体框架提取了高质量的视觉全局上下文信息，并融合时空特征获得图像表示。传统的卷积层或线性层的参数对所有实例都是固定的，与其不同，本研究框架中DMLP的权重能根据数据的时空信息动态调节。对两个外观相似的车辆识别时，可以提高识别准确度。

1.2 DMLP结构

DMLP是一种循环结构，能够自适应地提高图像特征表示能力。图 3展示了DMLP的一个单元。当前DMLP块的每个输入图像特征都是前一个块的输出。对于每个时空信息块的输入，本研究统一使用原始特征。值得注意的是，DMLP的所有信息块除通道维度外都相同。为DMLP块指定一个比原始输入维度d更小的隐藏通道h，其表现为一个瓶颈架构如图 4所示。

动态映射如图 5所示，将图像和时空特征作为输入，并在一次迭代中输出高维图像特征。首先，根据时空特征生成动态映射的权重：

$ \boldsymbol{W}=\operatorname{Reshape}\left(f\left(Z_{m}\right)\right), $

(8)

式中，Reshape(·)将一维特征重构为二维矩阵。

1.3 动态映射

在本节中，比较了之前工作和DMLP在时空特征高维映射上的差异。旨在证明，之前的工作在扩大图像特征空间中距离表示方面存在局限性。对于拼接策略，给定图像特征$Z_{i} \in \mathbb{R}^{d_{i}}$和时空特征$Z_{m} \in \mathbb{R}^{d_{m}}$，其中$d_{i}$和$d_{m}$表示特征通道，可以通过零填充将$Z_{i}$和$Z_{m}$扩展到"$d_{i}+d_{m}$"维度：$\tilde{Z}_{i}=\left[Z_{i}^{1}, \cdots, Z_{i}^{d_{i}}, 0, \cdots\right.$，$0]$，在$Z_{i}$后填充$d_{m}$个0。同样的方式能得到用$d_{i}$个0填充的$\tilde{Z}_{m}=\left[0, \cdots, 0, Z_{m}^{1}, \cdots, Z_{m}^{d_{m}}\right]$。最终的推导公式为：

$ y=h\left(\operatorname{Concat}\left(\left\{Z_{i}, Z_{m}\right\}\right)\right)=h\left(\tilde{Z}_{i}+\tilde{Z}_{m}\right), $

(10)

式中，y为最终输出结果；h (·)为分类器。融合过程是对输出进行逐元素相加：

$ y=h\left(Z_{i}\right)+h\left(Z_{m}\right) 。$

(11)

DMLP的权重是从时空信息中动态映射的，通过原始图像表示和时空特征加权进行映射获得动态细化的图像表示：

$ y=h\left(f\left(Z_i, Z_m\right)\right)=h\left(\sum\left(\hat{Z}_i^n \cdot \hat{Z}_m^1\right), \cdots, \sum\left(\hat{Z}_i^n \cdot \hat{Z}_m^{d_i}\right)\right) 。$

(12)

1.4 损失函数

损失函数采用三元组损失$L_{\mathrm{Tri}}$和交叉熵损失$L_{\mathrm{ID}}$相结合。$L_{\mathrm{Tri}}$定义为：

$ L_{\mathrm{Tri}}=\frac{1}{Q} \sum\limits_{j=1}^{Q}\left[\max\limits_{z_{p} \in P\left(z_{j}\right)} D\left(z_{j}, z_{p}\right)-\min\limits_{z_{n} \in N\left(z_{j}\right)} D\left(z_{j}, z_{n}\right)+M\right]_{+}, $

(13)

式中，$Q$为批处理大小；$P\left(z_{j}\right)$和$N\left(z_{j}\right)$分别为正样本集和负样本集，其中$z_{j}$为第$j$个输入样本的特征；$M$为控制负例与正例特征之间最小距离的参数；$D(\cdot, ~ \cdot)$为两个特征间的欧氏距离，$[\cdot]_{+}$等价于$\max (\cdot, 0)$。$L_{\text {ID }}$定义为：

$ L_{\mathrm{ID}}=-\frac{1}{Q} \sum\limits_{i=1}^{Q} \log \frac{\mathrm{e}^{\sigma_{i}^{y_{i}}}}{\sum\limits_{j=1}^{C} \mathrm{e}^{\sigma_{i}^{j}}}, $

(14)

式中，$\sigma_{i}^{j}$为第$i$个输人图像类别为$j$的概率；$C$为车辆类别总数；$y_{i}$为第$i$个输入图像的真实类别。总体损失函数为两个损失的组合，如式（15）所示。

$ L_{\mathrm{all}}=L_{\mathrm{Tri}}+L_{\mathrm{ID}}。$

(15)

2 试验验证 2.1 数据集和评价指标

为了评估本研究的车辆重识别框架的有效性，在VeRi-776数据集^[8](目前唯一提供空间和时间标注的车辆重识别数据集)上进行了试验。其中包含776辆汽车的49 357张图像，具有身份标识、图像时间戳、相机地理位置、汽车类型和颜色信息。每辆车在24 h内由20个摄像头在市区内拍摄。数据集被分为一个包含37 781张576辆车的训练集和一个包含11 579张200辆车的测试集。在测试集中，选择200辆汽车的1 678张图像作为查询集，其余图像作为图库。

选择全类平均精度均值(mAP)和累计匹配性能Rank-1与Rank-5作为评价指标。每个查询图像q的平均精度P_A为：

$ P_{\mathrm{A}}=\frac{\sum\limits_{k=1}^{n} P(k) \times {rel}(k)}{N}, $

(16)

式中，$n$为数据集图像总数；$N$为目标车辆的图像总数。$P(k)$为在匹配序列中第$k$位的检索精度，如果第$k$个结果正确匹配，则${rel}(k)$等于1，否则${rel}(k)$等于0。然后计算所有查询图像的平均精度均值：

$ P_{\mathrm{mAP}}=\frac{\sum\limits_{q=1}^{Q} A P(q)}{Q}, $

(17)

式中，$P_{\mathrm{mAP}}$为平均精度均值；$Q$为查询集图像总数；$A P(q)$为每个查询车辆检索结果的平均值。累计匹配性能（Rank）表示查询图像$q$在前$k$个检索结果中找到正确结果的概率，其通过公式计算为：

$ R a n k-k=\frac{\sum\limits_{q=1}^{Q} {rel}(q, k)}{Q}, $

(18)

式中，$Q$为查询集图像总数，当图像$q$的正确匹配目标出现在检索结果序列的第$k$位之前，${rel}(q, k)$等于1。

2.2 试验设置

本研究试验设备为一台有4个NVIDIA 3090 GPU的机器，编程使用PyTorch。在重识别网络训练时，所有输入图像尺寸调整为256×256。在训练过程中，DMLP和其他模型都使用基于ResNet-50^[28]主干。优化器使用Adam^[29]，动量为0.9。对于优化器，将基础学习率设为3e-4。采用平衡采样训练策略^[30]将网络训练的批量大小设置为32，即每次随机采样8辆车，每辆车选取4张图片。在数据处理时使用随机水平翻转和随机擦除^[31]进行数据增强。在训练和测试阶段，使用欧式距离来评估查询图像和图库图像之间的特征相似度。

2.3 与主流算法的性能比较

将DMLP与各种主流的车辆重识别方法在VeRi-776数据集上进行比较，包括(1)基于局部的方法：PRN^[10]和PVEN^[32]。(2)基于注意力的方法：AAVER^[33]。(3)基于属性的方法：SAN^[34]和FACT^[8]。(4)基于时空信息的方法：PROVID^[25]和Siamese-CNN+Path-LSTM^[35]。(5)其他方法：VAMI^[36]，SPAN^[13]，TransReID^[37]。试验结果如表 1所示。本研究方法mAP值达到了81.9%，比排名第二的PVEN高出2.4%，Rank-1和Rank-5的数值也达到了96.5%和98.6%。在mAP值和Rank-1方面本研究方法均达到最佳性能。

2.4 消融试验

为了证明提出模型的各子模块的有效性, 在VeRi-776数据集上基于三元组损失L_Tri和交叉熵损失L_ID联合优化网络模型构建消融试验，得到各模块对算法的提升效果。

2.4.1 通道尺寸

首先通过控制变量法评估输入和隐藏通道维度对DMLP性能的影响。表 2给出了评估结果。当N固定时，不同d和h下Rank-1和Rank-5的精度，d=0表示仅有图像信息。观察到与其他维度组合相比，h=64，d=256达到最佳的准确性。

2.4.2 DMLP层数

将h设置为64，d设置为256，评估DMLP不同层数的性能差异。表 3显示，N=3达到了最佳识别效果。本研究使用N=3进行试验。

2.4.3 SE-block位置

在本节中，通过使用最优设置(d=256，h=64，N=3)，并将SE-block模块放置在残差网络的不同位置(表 4)来进行比较。观察到，在每个阶段引入SE-block都会带来性能的提升，而且不同阶段的提升幅度也是不同的。因此，可以在所有阶段都引入SE-block来获得最佳效果。然而，考虑到参数量，本研究选择在第4阶段添加SE-block以获得更好的效果。

3 结论

本研究提出了一个新颖的车辆重识别深度学习模型。利用SE-block模块的自注意力机制学习各通道的重要程度，更好地整合全局上下文信息。其次，使用DMLP动态自适应感知器学习时空信息权重，增强图像特征的表示能力。然后通过融合时空与全局上下文信息对车辆进行重识别。在VeRi-766公开数据集上进行评估，本研究方法平均精度均值(mAP)达到了81.9%，Rank-1准确度达到了96.5%，与最先进算法相比，分别提高了2.4%和0.9%。验证了模型的有效性。

后续工作将收集更全面的带有时空信息的车辆图像数据集，进一步提升算法各方面性能。