0 引言

随着科技的进步与城市化的发展，公路结构越发复杂，公路养护里程逐年增加，养护施工作业风险也逐渐攀升，每年因社会车辆违规违章行驶闯入养护施工作业区都会造成养护职工伤亡事故。目前需要建立一套公路施工预警系统辅助人们进行合理的智能监测管理、预测预警、应急指挥、数据收集、后台分析，从而构建全过程安全施工管控系统与现代化高速公路维修维护质量管理体系，推进精细管理模式。公路交通流数据预测是公路施工预警系统的核心模块，特别是在半封闭公路养护施工区域，针对施工段上下游的交通流量进行实时预测，一方面可以防范化解公路养护生产作业时面临的上游车辆速度无法及时控制等安全风险，另一方面可以通过交通流量的预测判断拥堵情况，及时对上下游车辆进行主动诱导，提升车辆在半封闭施工路段的安全通过效率。通过分析历史时间固定地点的交通流量数据，预测下一时间状态交通流量或对长时间片段的流量进行趋势向、周期向判断。精准的交通流数据预测可以有效地为公路养护，公路施工，事故处理的安全施工管控系统等模块提供数据支撑，提高施工作业区域全方位主动防护能力。

复杂公路施工预警系统中的交通流预测可以被视为多元时间序列预测任务(Multivariate Time Series，MTS)，区别于单元时间序列中单一传感器在一定时间段中固定时间间隔采样得到的数据，多元时间序列指系统在每个时间点产生多个变量，按时间维度记录所组成的序列，包括多个传感器在同一路段或区域内的采样数据，其可被描述为矩阵X=(X₁, X₂, X₃, …, X_m)，该矩阵表示不同时间的不同变量。通常情况下，我们将不同元数据间的数据关系称为空间关系，同一传感器不同时间节点的数据关系称为时间关系，不同传感器间的不同时间节点的数据关系称为时空关系。

多元时间序列预测的关键在于如何将过去的信息与多个变量之间复杂的时空相关性结合起来。与单变量时间序列预测相比，MTS预测难度更大。已有很多研究工作基于单元时间序列预测，如基于传统数学方法的自回归差分滑动平均模型，卡尔曼滤波分析；基于机器学习方法的支持向量机(SVM)^[1]等。但单元时间序列预测方法已经无法满足多元预测的复杂条件，这些方法难以有效结构化交通流数据中的时空关系，无法挖掘出其中的数据时空依赖。随着深度学习技术的发展，时间序列预测任务大都使用循环神经网络进行数据流的预测，如RNN^[2]，LSTM^[3]，GRU^[4]等。这些序列模型沿着时间维度逐步处理数据，具有挖掘时间依赖性的能力。但是，它们难以捕获交通流数据在空间关系上的特征，并且不能直接筛选出影响模型性能的重要特征。受到Transformer与卷积神经网络(CNN)的启发，我们提出了新的时序注意力方法与多元数据结构化设计来解决以上问题，同时基于DA-Conv-LSTM^[5]重新设计网络模型架构。我们首先构建二维特征图，将不同传感器数据结构化的定义在特征图中，并送入卷积神经网络提取交通数据流的空间关系，使用自注意力机制(Self-attention Mechanism)使网络模型可以学习到不同特征对预测任务的影响，动态划分特征对应的权重。

公路施工区域的交通流预测区别于一般的正常道路的交通流预测，主要体现在流量计数传感器的摆放位置与影响权重不同。在公路施工区域中，越靠近施工区域的传感器重要程度越高，且数量通常比外围传感器多，分布更加密集。因此，建模不同传感器的时空依赖关系，并为不同传感器数据特征分配不同权重，是影响公路施工区域流量预测精度的重要因素。本研究通过提出多元数据结构化建模的方法，同时引入自注意力机制网络模型，使模型可以提取多元数据空间关系，并根据不同传感器数据特征对任务的影响程度自主地为其分配不同权重。

本研究创新点如下：(1)提出了一种新的多元数据结构化建模方法，使用卷积神经网络提取多元数据空间关系，提升模型对多元数据的特征提取能力。(2)引入自注意力机制网络模型自动学习数据流中的时空关系，并改进标准自注意力机制的数据编码方式，提升模型自动抓取并高效编码有效相关特征的能力。

1 相关工作

时间序列处理领域的经典模型是自回归模型。该模型假设分析的时间序列与过去时间呈线性关系。通过对前一次或多次值的线性建模，加上常数项和随机误差，可以预测未来时间的值。基于自回归模型思想的最常用的模型是ARIMA^[6]。ARIMA模型将非平稳时间序列转化为平稳序列，然后使用ARIMA模型进行建模。ARIMA模型的本质仍然是分析平稳序列，它不能预测和求解多个复杂的时间序列，因为它假设时间序列的预测值与过去值和噪声具有线性关系。

随着深度学习的发展，研究人员越来越多地尝试使用深度学习来拟合MTS问题的分布。具有代表性的序列深度学习模型是RNN及其变体。然而，标准的RNN模型容易出现梯度消失和梯度爆炸问题^[7]，这使得模型难以收敛。LSTM^[8]已经部分解决了RNN中的梯度消失问题，并且仍然被许多序列模型使用。孙静怡等^[9]将LSTM应用于供应链分析和预测。Guo等^[10]将LSTM与传统的遗传算法相结合来预测时间序列。通过遗传算法选出最佳的LSTM结构，并在石油工业领域的时间序列数据上进行测试。Sun等^[11]利用LSTM对某电力合规预警系统中的电力负荷进行预测，对电力消耗产生的多组时间序列进行分析。Ma等^[12]将LSTM与随机森林算法相结合，准确预测碳价。Guo等^[13]构建了基于LSTM的自编码器网络，用于预测每日降水的时间序列数据。

但是，标准LSTM网络存在一些问题。首先，模型输入和输出的长度必须相等。其次，LSTM仍然无法处理太长的序列。当输入太长时，模型提取时间特征的能力就会降低。编码器解码器结构可以完美解决第1个问题。但是，对于第2个问题，简单地改变模型结构是没有意义的。研究人员通常将注意力机制与LSTM相结合来解决这个问题。例如，Guo等^[13]提出了一种基于注意力的LSTM训练方法来预测MTS。然而，随着研究的深入，万玉龙等^[5]发现单一的注意力机制不足以解决MTS预测的问题。该模型可能会受到无关信息的影响。因此提出了基于双阶段注意力的RNN (DA-RNN) 对MTS预测进行建模，并在两个公共数据集上获得了最佳结果。标准的注意力机制必须借助外部信息(如LSTM隐藏状态)来计算，使用自注意力机制^[14]的思想可以避免借助多余外部信息，所有信息都来自数据本身在self-attention的计算过程中。下面简单介绍一下self-attention机制的应用。

Google Brain于2017年提出的自注意力机制在计算机视觉和自然语言处理等领域取得了许多令人惊讶的成果。例如，Chang等^[15]使用自我注意机制有效地融合输入的多传感数据。他们的试验结果证明了基于自我注意的多传感信息融合的有效性和优越性。Hong等^[16]改进了应用于NLP领域的自注意力机制。Tan等^[17]提出了一种基于多注意力生成对抗网络的新型MTS预测方法。他们使用自注意力机制处理数据的空间维度，在两个公共数据集上获得了良好的预测性能。

然而，标准的自注意力机制破坏了输入的时间特征^[18]。Xiang等^[19]解决了使用位置嵌入在句子中创建模型记忆时间特征的问题。然而，这种方法只应用于NLP，并不适合时间序列预测^[20]。因此，我们对自注意力机制进行了改进，并用它来模拟MTS预测。

2 结构化时序注意力网络 2.1 总体模型

结构化时序注意力网络整体结构如图 1所示，该模型总共由3部分组成：数据结构化定义模块，自注意力特征提取模块和状态预测模块。首先将交通流数据从多个一维时序数据结构化定义为二维特征图，对齐多元数据的时空维度，经过卷积神经网络提取数据空间关系；其次通过自注意力特征提取模块捕获数据流中的时空关系依赖；最后通过状态预测模块输出下一时间点的状态预测信息。

2.2 数据结构化定义模块

为了使用卷积层来提取空间特征，本研究将MTS数据处理成图形结构数据。如图 2所示，该方法提取一维特征并将特征重建为二维特征图结构。每一维代表同一时刻不同传感器的一组特征。值得一提的是，我们将外源序列和目标序列结合起来进行处理，使模型能够捕捉到与目标序列直接相关的空间关系。随后将结构化的二维特征图送到两个卷积层以逐个时间步处理时间来提取MTS的空间特征。

2.3 自注意力特征提取模块

受到自然语言处理中基于自注意力机制的Transformer^[9]模型成功表现的启发，我们使用自注意力使模型学习MTS预测所需的主要特征。凭借self-attention结构的优势，模型可以减少对外部信息的依赖，并行训练。标准的自注意力机制将原始向量编码为3个新向量映射到高维空间，分别称为Q(query)、K(key)和V(value)。self-attention计算query和key之间的相似度，并使用softmax函数计算注意力分数。过程如下：

(1)

(2)

(3)

(4)

(5)

式中，(·)为矩阵乘法；W_Q，W_K，W_V为可训练的参数并且具有相同的维度。在self-attention中，Q, K, V的编码方式使用简单的矩阵乘法对输入进行线性变换，不考虑输入的时间相关性破坏了原始输入的时间特征。因此，标准的selfattention机制在MTS任务中无法建模时间维度特征。为了解决这个问题，如图 3所示，我们引入LSTM单元来提取和保留时间特征。公式如下：

(6)

(7)

(8)

(9)

(10)

(11)

式中，c^＜t＞与h^＜t＞为时间t时刻的隐变量；σ为sigmoid函数；W_c，W_f, W_u, W_o, b_c, b_f, b_u, b_o为可学习的参数。

在我们的时间自注意力机制中，我们用LSTM单元替换了简单的矩阵乘法编码器。它有助于自注意力机制获得正确的时间特征，从而提高模型的性能。此外，与标准的self-attention机制相比，我们将编码方法更改如下：

(12)

(13)

(14)

其中 LSTM_Q，LSTM_K，LSTM_V是3个独立的长短时记忆网络单元，在训练期间独立更新权重。

2.4 状态预测模块

经过自注意力特征提取模块提取交通流数据后，得到了关于数据时空关系依赖的隐藏表示，将隐藏表示送入由LSTM与全连接网络组成的状态预测模块得到下一个时间步的预测结果y_w+1。

二维特征输入包含一个外生序列和目标序列。然后将矩阵馈送到两个卷积层以逐个时间步处理时间以提取MTS的空间特征。DA-Conv-LSTM使用单个卷积层，但我们使用两个卷积层来提取空间相关性。然后将结果发送到时间自注意力层，获得第一个时间注意力结果。该层有效地计算时间注意力以消除原始数据引起的噪声。然后再用LSTM与第2个时间自注意力层继续处理重新编码的结果。LSTM用于提取时间依赖性。紧随其后的第2个注意层缓解了LSTM的遗忘现象并提取了重要的时间特征。目标序列由第3个时间自注意力层处理，并与第2个时间自注意力层的结果合并。我们赋予模型更强的学习能力，使用一个无偏的全连接网络层来学习两组特征的线性映射。

3 试验 3.1 试验设置与数据集

本研究提出的模型使用Pytorch搭建，使用NVIDIA Tesla V100完成试验。模型的损失函数是MAE，用Adam优化器进行模型权重更新。本研究使用交通流数据集PEMS8与PEMS4进行试验，PEMS8包含2016年7月1日至8月31日期间圣贝纳迪诺地区107个环路检测器收集的交通数据，PEMS5包含2018年1月1日至2月28日旧金山湾区307个环路检测器采集的交通数据，每个检测器一个小时包含12个交通数据样本。另外，本研究使用真实半封闭养护施工路段的交通流量数据。

在公路养护施工过程中，只有在半封闭施工时，对交通流的预测才有意义，并且重点关注交通流在施工段上下游的动态变化情况本研究按照8∶1∶1的比例划分数据训练集，数据验证集和数据测试集。

3.2 评价指标

我们使用平均绝对误差(MAE)、均方根误差(RMSE)来衡量预测结果与真实标签之间的差异。3个指标的特点是，它们的值越小，预测值越接近真实值。它们的定义具体为：

(15)

(16)

3.3 试验结果

表 1和表 2分别列出了本研究模型与其他对比模型在PEMS4与PEMS8上的数据预测误差结果，我们与不同架构类型的模型在两个数据集上进行对比试验(如图神经网络，循环神经网络，卷积神经网络等)，可以看出，我们的模型在两个交通流数据集上有着优秀的性能表现，对比当前SOTA算法图神经网络STFGNN，我们的模型在PEMS4数据集上MAE减少0.53，RMSE减少0.45，在PEMS8数据集上MAE减少0.83，RMSE减少0.96。表 3展现了在真实的半封闭养护施工路段的交通流量数据上，不同模型的数据预测误差结果，本研究方法在真实交通流量预测任务中有着更低的预测误差，对比STFGNN，我们的模型MAE减少1.19，达到0.83，RMSE减少2.26，达到2.14。

图 4与图 5分别为模型在两个数据集中4个不同传感器上的预测值。从结果中，我们可以观察到模型准确地捕捉到了参数之间的空间和时间相关性，预测值与真实值十分接近。另外，模型也能有效地预测出交通数据流的周期与趋势，在不同传感器上的急剧上升或急剧下降变化的时间段中，模型可以稳定地预测出突变时间与突变状态。

4 结论

在本研究中，我们通过提出数据结构化定义模块与自注意力特征提取模块去解决模型不能有效地提取公路交通数据流中的时空关系依赖。通过结构化数据流输入，在模型的卷积输入中加入了一个额外的目标序列，提高了卷积层捕捉序列空间关系的能力，并将时间自注意力机制应用于模型，适配公路施工区域中流量预测的传感器分布不均，影响不同等特点。在两个公共数据集上的试验结果表明，我们的模型在时序预测任务中是非常有效的。

但还有很多可以改进的方向，如使用卷积层提取空间相关性的方法存在缺陷。由于CNN结构的感受野机制的限制，模型提取空间相关性的能力随着序列之间空间跨度的增加而降低。在未来的工作中，由于图结构在空间相关性建模方面的天然优势，我们将考虑融合图神经网络来提取空间相关性。