公路交通科技  2025, Vol. 42 Issue (3): 1-10

扩展功能

文章信息

周亦威, 劳逸男, 赵靖, 王子元.
ZHOU Yiwei, LAO Yinan, ZHAO Jing, WANG Ziyuan
考虑多类型交通参与者的图遍历多模态车辆轨迹预测
Graph traversal multi-modal vehicle trajectory prediction considering multiple traffic participants
公路交通科技, 2025, 42(3): 1-10
Journal of Highway and Transportation Research and Denelopment, 2025, 42(3): 1-10
10.3969/j.issn.1002-0268.2025.03.001

文章历史

收稿日期: 2024-06-14
考虑多类型交通参与者的图遍历多模态车辆轨迹预测
周亦威1,2,3 , 劳逸男1 , 赵靖1,2,3 , 王子元4     
1. 上海理工大学 管理学院, 上海 200093;
2. 上海理工大学 智慧城市交通研究院, 上海 200093;
3. 上海理工大学 智慧应急管理学院, 上海 200093;
4. 上海理工大学 光电信息与计算机工程学院, 上海 200093
摘要: 目标 为了提高复杂城市道路场景下智能网联汽车轨迹的长时预测精度, 综合考虑了不同类型交通参与者(如车辆、行人、障碍物)及轨迹预测的不确定性。方法 首先, 提出了基于图遍历策略的考虑城市多类交通参与者的多模态轨迹预测模型, 依据城市结构化道路场景和高清地图构建车道图, 提取道路场景信息。其次, 采用门控循环单元对目标车辆及其周边车辆历史轨迹和道路场景信息进行编码, 并通过自注意力机制获取目标车辆与不同类型交通参与者及车道图信息间的交互特征。随后, 通过图注意力网络处理, 生成反映上下文信息的向量。然后, 通过学习图离散遍历策略的不同可能性, 结合轨迹预测模块在车道图的子集上探索多目标策略, 输出多模态的预测结果。最后, 基于凝聚层次聚类的轨迹聚类算法, 将模型输出的1 000条多模态预测轨迹进行聚类分析, 选出输出概率最高的预测轨迹。结果 所提出的轨迹预测模型在nuScenes公开数据集上的试验结果表明, 其在评价指标最小平均位移误差和最小最终距离误差上相比其余主流的5种模型均有所降低, 在6 s预测时域内展现了良好性能, 使用RTX 4060在测试集上对每个样本进行预测的平均时间为0.017 s, 进一步提升了模型性能。结论 本研究方法适用于多类型交通参与者的复杂城市交通环境, 有效提升了车辆轨迹预测精度和质量, 且模型所需算力较低。
关键词: 智能交通    多模态轨迹预测    图遍历策略    多类型交通参与者    智能网联汽车    
Graph traversal multi-modal vehicle trajectory prediction considering multiple traffic participants
ZHOU Yiwei1,2,3, LAO Yinan1, ZHAO Jing1,2,3, WANG Ziyuan4    
1. Business School, University of Shanghai for Science and Technology, Shanghai 200093, China;
2. Smart Urban Mobility Institute, University of Shanghai for Science and Technology, Shanghai 200093, China;
3. School of Intelligent Emergency Management, University of Shanghai for Science and Technology, Shanghai 200093, China;
4. School of Optical-electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China
Abstract: Objective To improve the long-term prediction accuracy of intelligent connected vehicles' trajectories in complex urban road scenarios, this study takes into account the different types of traffic participants (e.g., vehicles, pedestrians, obstacles) and the trajectory prediction uncertainty. Method First, considering multiple types of traffic participants, the multi-modal trajectory prediction model, based on the graph traversal strategy, was proposed. Based on the urban structured road scene and high-definition map, the lane graph was constructed, and the road scene information was extracted. Second, the gated recurrent units were used to encode the historical trajectories and road scene information of target vehicle and its surrounding vehicles. The interaction features among the target vehicle, different traffic participants, and lane graph information were obtained through the self-attention mechanism. Subsequently, processed with graph attention network, the vector reflecting context information was generated. Then, by learning the different possibilities of graph discrete traversal strategies and combining the trajectory prediction module, a multi-objective strategy was explored on a subset of lane graph, producing the multi-modal prediction result. Finally, more than 1 000 multi-modal prediction trajectories output with the model were analyzed by using the trajectory clustering algorithm based on agglomerative hierarchical clustering. The predicted trajectories with the highest output probability were selected. Result The experimental results on public dataset nuScenes demonstrate that the proposed trajectory prediction model shows good performance within a 6-second prediction horizon, with lower minADE and minFDE scores compared with other 5 mainstream models. Additionally, the model requires low computational resources, with an average prediction time of 0.017 seconds per sample on the test set by using RTX 4060. The model performance is further improved. Conclusion The proposed model is suitable for complex urban traffic environments with multiple traffic participants, effectively improving the vehicle trajectory prediction accuracy and quality, while requiring low computational resources.
Key words: intelligent transport    multi-modal trajectory prediction    graph traversal strategy    multiple traffic participants    intelligent connected vehicle    
0 引言

智能网联车技术的迅速发展,包括自动驾驶技术、云计算和大数据分析等,为实现高度自动化和智能化的驾驶提供了坚实的技术基础[1]。随着智能网联车市场占有率快速增长,由智能网联汽车和人类驾驶车辆组成的新型混合交通流将在未来持续存在[2],并且已有众多学者对此开展相关研究[3-4]。在该交通流模式下,智能网联车需要具备预测周围车辆未来轨迹的能力,提高轨迹预测的精度并做出相应的交互决策。针对车辆轨迹预测问题,高精度预测是提高自动驾驶车辆交互决策安全性的关键因素。得益于深度学习技术的不断迭代,基于数据驱动的车辆轨迹预测模型得到了快速发展,大幅提升了车辆轨迹预测的准确性[5]。然而,在复杂的城市交通道路中,车辆未来轨迹预测面临两大挑战:一是城市场景中交通参与者类别的多样性,如汽车、自行车、行人等,其驾驶意图和行为模式存在显著差异[6];二是轨迹预测的高动态性与不确定性,包括环境预测与驾驶行为不确定性以及多车间的交互与博弈等[7]。因此,在城市新型混合交通流中,同时考虑不确定性及多类型交通参与者的多模态预测问题值得研究。

在基于数据驱动的轨迹预测模型研究中,多类型的交通参与者驾驶风格的多样性被学者们考虑。例如,陈瑞祥等[8]分析了机动车、非机动车和行人3类交通参与者交通行为的特征差异。Huang等[9]引入多功能行为扩散框架模拟具有多个类型交通参与者的交互场景,在交通仿真中生成更加逼真且可控的交通行为。景荣荣[10]考虑了车辆与周围其他交通参与者的交互,提高了轨迹预测的精度。然而,现有研究大多数考虑车辆和行人的交互,未能研究分析包括障碍物等更多类型的交通参与者对轨迹预测精度的影响。

随着深度学习研究的深入和计算能力的提升,各类机器学习算法在车辆轨迹预测中的应用逐渐增多,尤其是长短期记忆(LSTM)和门控循环单元(GRU)等循环神经网络(RNN)结构常用于车辆轨迹的编码-解码。方华珍等[11]提出混合示教解码的长短时记忆网络,在稀疏采样后的数据集上可以达到更高的预测准确率。吴晓建等[12]考虑到GRU相比于LSTM具有更高的计算效率,提出改进的LSTM和GRU相结合的模型,适用于较长时序的预测,提高了预测的准确性。Liu等[13]则使用Transformer模型融合环境信息进行未来轨迹的预测,充分利用了Transformer在处理时间序列数据方面上具有的优势。上述研究中,主要使用RNN或者Transformer提取轨迹特征,未考虑场景中复杂的交互关系。而图卷积网络(GCN)因其在表达复杂交互关系方面的优势,被应用于车辆轨迹预测。例如,Lu等[14]通过GCN进行车辆轨迹预测的编码与解码,有效建模车辆间的复杂交互关系。陈晓伟等[15]提出一种动态图注意力网络(GAT)架构,可以有效提取车辆间的空间交互信息。然而,GCN主要关注局部图结构信息,难以捕捉全局轨迹信息和长距离依赖关系。

在车辆轨迹预测领域,多模态预测方法因其考虑到车辆运动不确定性而受到广泛关注。与单模态预测方法相比,多模态预测能够生成多条候选轨迹,并为每条轨迹分配相应的选择概率,从而提供更全面的预测结果。Gupta等[16]提出了一种结合了序列预测和生成对抗网络的方法进行多模态预测,该方法能够更好地获取预测轨迹。而针对多模态预测方法,众多学者将其与聚类算法相结合。张英豪[17]在构建多车交互式轨迹预测网络中,提出基于改进的K-means聚类的车辆轨迹聚类。Chai等[18]采用了一种基于原始轨迹条件的锚点方法,对轨迹集进行聚类分析,从而获取多模态未来分布,并且得到更具代表性的多条预测轨迹输出。现有研究尚未探索在多模态轨迹输出中应用凝聚层次聚类算法。

基于上述研究,本研究旨在探讨新型城市混合交通流背景下,考虑不确定性因素及多类型交通参与者的多模态车辆轨迹预测问题。模型使用深度学习技术,充分利用历史轨迹数据和实时环境信息,通过多模态的轨迹输出,以提高车辆轨迹预测的准确性和鲁棒性。本研究的主要贡献如下。

(1) 考虑多类型交通参与者的多模态预测。对复杂交通场景中多类的交通参与者特征使用GRU进行编码分类,得到周围车辆、行人、障碍物等不同的特征表示,进而使用不同的注意力加权得到交互特征。

(2) 针对预测轨迹的高度不确定性,应用基于凝聚层次聚类的轨迹聚类算法研究多模态轨迹输出。根据图遍历策略有选择地聚合车道节点路径信息,最后根据不同轨迹自身所对应的预测概率,利用凝聚层次聚类方法确定模型输出的k条预测轨迹,从而提高预测的精度及安全性。

(3) 本研究模型所需要的算力较低。相较于其余类似模型[6],模型性能及模型训练所需时间相差不大,但是在验证集上模型预测轨迹样本的平均耗时有所下降。

1 预测模型构建 1.1 问题描述

在城市交通场景下对于车辆未来多模态轨迹预测问题,即根据被预测的目标车辆观测信息及周围的环境信息来估计未来一段时间内车辆不同的运动轨迹。假设一个特定的交通场景,输入包括目标车辆和周围多类别交通参与者在该时间序列的观测信息(xt, yt, vt, at, yawt)及高清地图提供的环境信息等,输出为目标车辆的k条不同的轨迹坐标序列。其中xy为位置信息,v为速度,a为加速度,yaw为车辆的偏航率,t为时间变量,取值范围-h~0代表过去时间段,0~f代表未来时间段。

本研究考虑多类型的周围交通参与者,参与者类型识别基于自动驾驶车辆的目标检测环节,包括车辆、行人、非机动车和障碍物,其中,障碍物定义为速度和加速度恒定为零的物体。

1.2 模型框架

本研究的轨迹预测模型总体结构如图 1所示,该模型主要分为特征提取、图遍历策略、轨迹预测3大部分。模型的输入包括目标车辆和周围交通参与者的历史轨迹特征及车道节点特征(包含地图信息等)。相比于传统研究,本研究将交通参与者的分类更进一步细分为4类,即车辆、行人、非机动车和障碍物。

图 1 模型总体结构 Fig. 1 Overall structure of model

(1) 特征提取部分。使用GRU编码器进行编码捕获时间序列信息。车道节点特征编码对周围交通参与者的轨迹特征编码进行注意力加权,得到新的车道节点特征编码。然后经过图注意力网络,得到融合地图信息与交互信息的最终车道节点编码特征。

(2) 图遍历策略部分。将目标车辆轨迹的特征编码与最终车道节点编码特征拼接后通过多层感知机(MLP),经过softmax激活函数生成不同车辆行为策略的离散概率(见图 1中的0.1, 0.3, 0.6),并根据计算的离散策略采样可以生成遍历的采样路径。

(3) 轨迹预测部分。多头注意力机制可以有选择地聚合得到聚合特征编码。此外,引入由标准正态分布随机生成的潜在变量z,用于捕获车辆未来运动的纵向可变性,如加速、制动。对于生成的大量预测轨迹,模型采用凝聚层次聚类算法,并且提前指定了该算法的最终聚类数量,按自底向上的层次逻辑逐步合并聚类为多条轨迹,从而输出目标车辆未来的k条多模态预测轨迹。

1.3 车道图

本研究采用车道图来表示地图数据,如图 2所示。图中参照坐标系以目标车辆为中心,以目标车辆当前时刻的瞬时方向作为参照坐标系的方向,目标车辆感知范围为左右各50 m,正前方80 m,后方20 m。

图 2 车道图构建示意图 Fig. 2 Schematic diagram of lane graph construction

车道图为有向图G(V, E),其中V为车道图中的车道节点,E为车道图中的车道节点可以连通的车道边。车道节点以5 m的等长度道路线段划分,每一个线段用一个车道节点表示,每一个车道节点包含一系列的语义信息和几何信息。语义信息由独热向量表示,代表该段车道是否位于人行横道上,是否位于停车线上;几何信息包括该车道线段的位置信息序列。

1.4 基于凝聚层次聚类的轨迹聚类算法

在多模态轨迹预测问题中,已有相关研究将聚类算法应用于轨迹聚类,从而得到多模态输出,例如,张英豪[17]提出改进的K-means聚类进行车辆轨迹预测研究。此外,现有研究将凝聚层次聚类算法(Agglomerative Nesting,AGNES)应用于驾驶行为聚类[19]。相较于其他算法,凝聚层次聚类算法能够捕捉到轨迹数据的层次结构。因此本研究考虑将其应用于多模态车辆未来轨迹输出,将轨迹数据集中的样本进行聚类并发现其中的模式和结构。

凝聚层次聚类示例如图 3所示,该算法采用自底向上的逻辑策略,从每个样本作为一个单独的聚类簇开始,并逐步将最接近的聚类合并在一起,直到达到迭代次数或者满足某个停止条件。在每次迭代中,算法会根据链接距离识别最接近的2个聚类簇,并将它们合并成一个单一的聚类。

图 3 凝聚层次聚类示例 Fig. 3 Agglomerative hierarchical clustering example

本研究凝聚层次聚类算法采用的链接距离为Ward距离,其定义为:

(1)

式中,Ci为原始聚类簇;Ck为合并后的聚类簇;nink分别为聚类簇中的样本数量;为合并后聚类簇Ck内所有样本点与均值的距离之和;为原始聚类簇Ci内所有样本点与均值的距离之和。

针对凝聚层次聚类算法进行时间复杂度分析。假设预定义聚类数量为k,样本数为N,样本特征维度为D,可以得到计算聚类中心的时间复杂度为O(N×D),计算初始距离矩阵的时间复杂度为O(N2×D),根据最小距离合并聚类中心的时间复杂度为O(Nlog N),使用Ward距离更新距离矩阵的时间复杂度为O(N×D)。由于一共要进行N-k次合并,故算法总的时间复杂度为O(N2×D)再加上(N-kO(Nlog N),根据数学性质化简可得O[N2(log N+D)]。由此可见,凝聚层次聚类算法的时间复杂度较高,然而模型整体时间复杂度还受到模型的层数、神经元数量、激活函数和优化函数的选择等其他因素影响。后续试验表明,本研究通过对模型的神经元数量、激活函数等方面进行优化,可以实现利用单个RTX4060在8 h内完成训练。因此,模型运行效率不完全取决于时间复杂度。本研究将在后续试验环节验证模型的有效性和高效性。

2 轨迹预测模型 2.1 特征提取

预测轨迹网络的输入包含过去时间段内目标车辆、周围多交通参与者和车道节点各自的特征向量,经过激活函数ReLU并送入GRU中,得到对应的时序特征向量输出HGoHGiHGv;其中, 下标G表示该向量由GRU编码得到,上标o, i, v分别表示目标车辆、周围交通参与者和车道节点。GRU内部结构如图 4所示,t表示时间变量,该结构适合用于提取时间序列的特征。

图 4 GRU内部结构 Fig. 4 GRU internal structure

对于GRU捕获到的时序特征向量,本研究使用注意力模块聚合周围多交通参与者特征,即将HGv通过带有残差模块的全连接层作为查询Q,将HGi通过带有残差模块的全连接层得到键值KV,最后将注意力层的输出与原始车道节点编码拼接起来送入GAT,如图 5所示。aij是归一化的注意力系数,每个节点hi对邻接节点特征做注意力加权表示得到新的节点h′i,将最终的车道节点聚合特征H′Gv用于图遍历模块。

图 5 GAT聚合邻接节点信息示意图 Fig. 5 Schematic diagram of GAT aggregation neighbor node information

对于目标车辆和周围多交通参与者i的历史轨迹输入,其特征向量定义为:

(2)

式中,向量下标-th为历史轨迹过去的时间段;向量上标i=0时,表示目标车辆;θ为交通参与者类别(车辆、行人、非机动车、障碍物)。

2.2 图遍历策略

在车道图中(见图 2),目标车辆可沿车道线行驶至下一个车道节点,且该行驶行为符合道路安全规则。基于这一特性,图遍历策略将遍历目标车辆的所有可能行驶路线,并为每条路线输出对应的概率表示。此过程会不断迭代,直至所有可能路线均被遍历完毕。

图遍历策略模块遍历节点得到对应概率,如图 6所示。f表示时间变量t的未来时间值,图遍历策略模块将特征提取模块中得到的节点特征信息H′Gv作为输入。同时为了预测车辆未来决策行为,引入了多分类的预测任务,相对应于目标车辆未来可能经过的所有节点。该任务以遍历车辆未来所有可能经过的不同节点,使用MLP和softmax输出车辆未来不同时刻经过不同节点离散化的概率表示,由此得到车辆最有可能采取的驾驶行为,进而得到时间序列下节点的遍历概率,最终输出车辆未来的节点轨迹分布。本研究使用交叉熵损失函数定义模块的损失函数。

(3)

式中,Egt为地面真值;uv为不同的车道节点; ρ(u, v)为预测概率。

图 6 图遍历策略示意图 Fig. 6 Schematic diagram of graph traversal strategy

2.3 轨迹预测

轨迹预测模块根据2.1节和2.2节2个模块得到的节点轨迹分布及车道节点特征,使用坐标预测多模态的车辆轨迹。首先,为了有选择性地聚合预测路径上的节点信息,根据图遍历策略预测的采样路径序列,使用多头注意力机制。Q为目标车辆的历史轨迹信息HG0KV为车道节点特征H′Gv;输出新的节点特征hGv;然后,节点特征hGv拼接目标车辆的特征编码HG0及变量z作为MLP的输入,得到未来时间tf内的1 000条轨迹预测输出。最后,为了得到多模态的轨迹输出,采用凝聚层次聚类方法,获取轨迹分布的最终k条预测轨迹,具体算法流程为:

(1) 预设聚类簇数k

(2) 初始化单条轨迹的聚类簇,即1 000个聚类簇。

(3) 根据Ward距离初始化聚类簇距离矩阵,距离矩阵最近的2个聚类簇合并为1个。

(4) 判断当前聚类簇是否达到预设聚类簇数k,若仍大于预设聚类簇数k则转到第(2)步,否则停止迭代。

2.4 损失函数

试验采用损失函数端到端地训练整个网络:

(4)

式中,τtk为图遍历策略模块得到的采样路径序列;τtgt为未来轨迹地面真值序列。

试验采用的总损失函数是由式(3)和式(4)定义的L1L2结合得到。其中,交叉熵损失函数L1的主要目的是使真实的节点移动轨迹的概率分布尽量接近于预测的节点移动轨迹概率分布;最小平均位移损失函数L2的主要目的是使预测的车辆轨迹与真实的车辆轨迹偏差最小。

3 轨迹预测和评价分析 3.1 数据集

本研究采用nuScenes自动驾驶公开数据集进行轨迹预测和评价分析[20]。从美国和新加坡收集真实道路驾驶数据,是第1个提供整个传感器套件(6个摄像头、1个激光雷达、5个雷达、GPS、IMU)数据的大规模自动驾驶数据集。数据集共包含1 000个场景,每个场景时间长度为20 s并带有地面实况注释和高清地图。前2 s数据用作模型输入,后6 s真实路面轨迹用于训练预测模型及验证模型预测效果。

3.2 轨迹预测模型训练

轨迹预测模型训练的软硬件配置如表 1所示。试验表明,模型所需算力较低,使用RTX 4060可以在8 h内完成训练,在测试集上对每个样本进行预测所需的平均时间为0.017 s。

表 1 训练软硬件配置 Tab. 1 Training hardware and software configuration
软硬件属性 参数
中央处理器 Intel Xeon Platinum 8255C@2.50 GHz
运行内存 40 GB
图形处理器 RTX 4060
操作系统 Ubuntu 18.04
深度学习框架 Pytorch 1.7.1

训练的参数设置为:数据集按比例7∶2∶1随机划分为训练集、测试集和验证集;训练批次大小设置为32;训练轮次设置为100轮;学习率在开始训练时设置为1e-3,每经过5轮训练,学习率会减少为原来的1/2;训练的优化器为Adam;损失函数的2项权重分别选择为λ1=0.5和λ2=1.0。

3.3 评价指标

轨迹预测质量的评价指标设置为当前常用的评价指标:最小平均位移误差(Minimum Average Distance Error,minADE),最小最终距离误差(Minimum Final Distance Error,minFDE),漏失率(Miss Rate,MR)。

(1) 最小平均位移误差。计算k条模型预测的轨迹与真实轨迹之间的二范数的最小值,计算公式为:

(5)

式中,Pti为预测的第i条轨迹的轨迹点坐标;Ptgt为未来轨迹地面真值的轨迹点坐标。

(2) 最小最终距离误差。计算k条模型预测轨迹终点值与真实轨迹终点值之间的二范数的最小值,计算公式为:

(6)

式中,Pthgt为未来th时刻的真实轨迹终点坐标;Pthith时刻的第i条未来预测轨迹终点坐标。

(3) 漏失率。计算k条模型预测的轨迹与真实轨迹之间的二范数,根据给出预测的距离阈值,判断预测轨迹的轨迹点是否正确捕捉到了真实轨迹,计算公式为:

(7)
(8)
3.4 轨迹预测结果对比分析

使用数据集中测试集数据进行轨迹预测,结果与nuScenes数据集上的其他主流方法进行对比(见表 2),体现本研究方法的预测精度。

表 2 测试集模型预测结果对比 Tab. 2 Comparison of test set model prediction results
方法 k=5 k=10
minADE 漏失率 minADE 漏失率
Trajectron++[21] 1.88 0.70 1.51 0.57
P2T[22] 1.45 0.64 1.16 0.46
GOHOME[23] 1.42 0.57 1.15 0.47
THOMAS[24] 1.33 0.55 1.04 0.42
PGP[25] 1.30 0.61 1.00 0.37
本研究方法 1.28 0.50 0.95 0.35

对比模型采用的方法分别为采用图结构循环模型的Trajectron++;提出了一种基于注意力的轨迹生成器的P2T;利用高清地图的图形表示和稀疏投影来生成热图输出来表示代理未来可能出现位置概率的GOHOME;提出多代理联合轨迹预测框架的THOMAS及提出学习离散策略的PGP。

评价指标越小,表示模型的预测结果与真实轨迹之间偏移越小,其预测越准确。当k=5时,minADE下降了1.54%~31.91%,漏失率下降了9.10%~28.57%;当k=10时,minADE下降了5.0%~37.09%,漏失率下降了5.41%~38.60%。通过指标对比可以发现,本研究方法普遍优于一些主流模型。

3.5 消融试验

为了验证模型在特征提取模块中多交通参与者输入对于预测结果的不同影响以及作用,本研究通过消融试验对其进行定量分析,结果如表 3所示。

表 3 周围交通参与者分类的消融试验结果 Tab. 3 Ablation test result with classification of peripheral traffic participants
交通参与者 minADE (k=5) minADE (k=10) 漏失率(k=5) 漏失率(k=10) minFDE (k=1)
1.45 1.06 0.60 0.44 8.77
车辆 1.42 1.03 0.58 0.41 8.24
行人 1.44 1.04 0.61 0.43 8.55
车辆,行人,障碍物 1.28 0.96 0.50 0.35 7.22
车辆,行人,障碍物,非机动车 1.28 0.95 0.50 0.35 7.32

消融试验的结果表明,当考虑车辆或者行人的情况下,各项评价指标比较于不考虑周围交通参与者有所下降但相差不大,而考虑多交通参与者类别时,其评价指标有显著下降。此外,增加考虑非机动车类别评价指标差异不大, 考虑到可能是因为国外城市道路非机动车的数量较少,且国外在保障非机动车路权方面较为完善,因此非机动车对目标车辆未来轨迹影响较小。这说明不同类别的周围交通参与者与目标车辆的交互影响着车辆的决策行为,而考虑对目标车辆周围交通参与者的分类一定程度上可以提高预测轨迹的精度。

为了验证图遍历策略模块在整个模型中的作用,本研究进行对应的消融试验对其定量分析,试验结果如表 4所示。

表 4 消融试验结果 Tab. 4 Ablation test result
有无图遍历策略 minADE(k=5) minADE(k=10) 漏失率(k=5) 漏失率(k=10) minFDE(k=1)
1.32 1.01 0.55 0.36 7.07
1.28 0.95 0.50 0.35 7.32

消融试验结果表明,图遍历策略模块有效提升了模型整体的性能。图遍历策略基于图结构,针对目标车辆有可能采取的不同行为作为多分类任务进行处理,设置相对应的交叉熵损失函数加入模型训练,有效提高了模型预测的精度。

3.6 聚类k值分析

为了验证分析聚类k值的选取对于模型性能的影响,在验证集上选取k=5,10,15,20分别进行训练,不同k值下模型性能对比如表 5所示。

表 5 不同k值下模型性能对比 Tab. 5 Comparison of model performance with different k values
k minADE minFDE 漏失率
5 1.28 2.50 0.50
10 0.95 1.56 0.35
15 0.87 1.31 0.27
20 0.82 1.15 0.24

表 5可知,随着聚类轨迹数量k值不断提高,3种评价指标均有一定程度的下降。然而,聚类轨迹数量提高,模型训练时间也会增加,k=55,10,15时,模型训练时间分别为5,8,17 h,训练成本逐渐增加。另外,考虑模型在实际应用中的实时性,聚类轨迹数量增加,模型预测轨迹样本耗时也会相对应增加。因此,本研究模型训练与验证仅讨论k为5和10的情况。

3.7 可视化场景分析

为了可视化分析本研究模型在城市道路场景下的预测结果,在nuScenes数据集中选取2个用于预测任务的典型城市道路场景,并设置预测轨迹数量k=5,分别对此进行观察分析。

十字路口场景预测结果如图 7所示,该场景是一个带交通信号灯的十字路口,周围交通参与者主要以车辆和行人为主。可以看出,目标车辆在场景中的5条预测轨迹与真实轨迹的方向基本一致,且符合交通信号灯的通行规则,体现了模型多模态预测较高的准确性。此外,5条预测轨迹和真实轨迹的终点坐标及长度各不相同,这说明6 s预测时段内目标车辆的速度、加速度等均有差异,且随着预测时间增长,预测轨迹与真实轨迹间的差异逐渐变大,体现了驾驶人员不同驾驶风格等因素带来的不确定性以及短时预测的较高精度。

图 7 十字路口场景预测结果 Fig. 7 Prediction result at crossroad scenario

侧方车辆汇入车道场景预测结果如图 8所示,该场景为侧方车辆汇入直行车道,周围交通参与者主要以车辆为主。目标车辆在采取左转汇入右侧车道的驾驶行为,5条预测轨迹均有效识别出车辆左转的驾驶意图并与真实轨迹方向保持基本一致,这说明多模态预测在考虑目标车辆不同驾驶意图的情况下,排除了较小概率的右转预测轨迹,符合真实交通场景路况。此外,5条预测轨迹与真实轨迹对比而言,预测轨迹更靠近左侧车道,而真实轨迹则更靠近中间车道。考虑到在该城市的交通场景中,驾驶车辆为右舵靠左行驶,说明该驾驶模式的差异有可能是模型从大量的驾驶数据中学习并捕获得到,这使得模型的预测轨迹相比于真实轨迹更加靠近左侧车道,体现了模型在特定驾驶环境下的适应性。

图 8 侧方车辆汇入车道场景预测结果 Fig. 8 Prediction result at scenario of side-vehicle merging into lane

3.8 时域分析

本研究模型的车辆轨迹预测时域为6 s,为了探究不同时域预测轨迹的精度变化,取1~6 s不同的预测时域,分析k条预测轨迹在时域变化下其精度的变化趋势。

不同预测时域下minADE和minFDE变化情况如图 9所示,随着预测时域的不断增长,指标minADE和minFDE都呈现出指数上升趋势,但是预测时域处于5~6 s时其上升趋势有所减缓,且轨迹预测数量k也会影响指标上升趋势,k越大指标受到时域影响越小。因此,本研究模型适合用于长时域预测,能够一定程度上确保长时域预测精度,且当预测时域较长时,取较大的轨迹预测数量k也可以提高预测精度。

图 9 不同预测时域下minADE和minFDE变化情况 Fig. 9 Variations of minADE and minFDE at different prediction time domains

4 结论

本研究提出了一种基于图遍历策略的轨迹预测方法,将多类别的交通参与者作为输入,通过特征提取、图遍历策略和轨迹预测3个模块实现车辆的多模态的轨迹预测。引入的多类别交通参与者及基于凝聚层次的轨迹聚类方法有效地提高了预测的准确性,同时经过一系列对模型的消融试验,得出主要结论如下。

(1) 考虑复杂城市交通场景下多类型交通参与者,基于历史轨迹信息,提出基于图遍历策略的轨迹预测模型,相比传统轨迹预测模型更加接近真实情况,并有效提升预测轨迹的精度。

(2) 考虑车辆轨迹的不确定性,利用凝聚层次聚类方法,将1 000条预测轨迹中大量相似的轨迹最终聚类为k条,输出多条候选车辆轨迹及其概率,完成多模态轨迹预测。

(3) 公开数据集试验结果表明,本研究方法能够有效预测城市场景下的车辆未来轨迹,且相比其他主流轨迹预测方法,具有较高的准确度及泛化能力。

(4) 本研究模型所需的算力需求较低,可应用于车载端的轨迹预测系统。模型在测试集上对每个样本进行预测所需的平均时间为0.017 s,实际应用落地时,可以凭借多GPU并行计算及云平台提供的算力支持再次提高预测的速度。

参考文献
[1]
陈建国. 面向车联网的智能网联云控平台研究[J]. 软件工程, 2024, 27(1): 10-13, 18.
CHEN Jianguo. Research on intelligent connected cloud control platform for internet of vehicles[J]. Software Engineering, 2024, 27(1): 10-13, 18.
[2]
MONTANARO U, DIXIT S, FALLAH S, et al. Towards connected autonomous driving: Review of use-cases[J]. Vehicle System Dynamics, 2019, 57(6): 779-814. DOI:10.1080/00423114.2018.1492142
[3]
王正武, 陈涛, 向健, 等. 网联混合流高速公路车道管理及通行能力分析[J]. 公路交通科技, 2024, 41(2): 191-202.
WANG Zhengwu, CHEN Tao, XIANG Jian, et al. Expressway lane management and traffic capacity analysis under mixed flow and connected environment[J]. Journal of Highway and Transportation Research and Development, 2024, 41(2): 191-202.
[4]
张建旭, 胡帅, 金宏意. 人机混驾交通流事故预警换道决策及特性分析[J]. 公路交通科技, 2023, 40(11): 212-221, 236.
ZHANG Jianxu, HU Shuai, JIN Hongyi. Lane-changing decision and characteristic analysis on accident warning of mixed traffic flow with human-driving and autonomous vehicle[J]. Journal of Highway and Transportation Research and Development, 2023, 40(11): 212-221, 236. DOI:10.3969/j.issn.1002-0268.2023.11.025
[5]
MOZAFFARI S, AL-JARRAH O Y, DIANATI M, et al. Deep learning-based vehicle behavior prediction for autonomous driving applications: A review[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 23(1): 33-47.
[6]
周亦威, 夏莫, 朱冰. 城市道路场景下考虑多类交通参与者的多模态车辆轨迹预测方法研究[J]. 汽车工程, 2024, 46(3): 396-406.
ZHOU Yiwei, XIA Mo, ZHU Bing. Research on multimodal vehicle trajectory prediction method considering multiple types of traffic participants in urban road scenes[J]. Automotive Engineering, 2024, 46(3): 396-406.
[7]
王珂, 王艳阳, 邓修金, 等. 不确定性对车辆轨迹预测的影响研究综述[J]. 汽车技术, 2022, 7: 1-14.
WANG Ke, WANG Yanyang, DENG Xiujin, et al. A review on the study of impact of uncertainty on vehicle trajectory prediction[J]. Automotive Technology, 2022, 7: 1-14.
[8]
陈瑞祥, 刘金广, 朱新宇. 面向城市交通组织的交通参与者行为特征差异研究[J]. 交通工程, 2022, 22(3): 52-58, 76.
CHEN Ruixiang, LIU Jinguang, ZHU Xinyu. Differences in behavior characteristics of traffic participants for urban traffic organization[J]. Journal of Transportation Engineering, 2022, 22(3): 52-58, 76.
[9]
HUANG Z X, ZHANG Z Y, VAIDYA A. Versatile scene-consistent traffic scenario generation as optimization with diffusion[J/OL]. arXiv(2024-04-03) [2024-04-30]. https://arxiv.org/html/2404.02524v1.
[10]
景荣荣. 人机共驾环境下的车辆轨迹预测与测试方法研究[D]. 郑州: 河南工业大学, 2024.
JING Rongrong. Vehicle trajectory prediction and testing method in human-machine co-driving environment[D]. Zhengzhou: Henan University of Technology, 2024.
[11]
方华珍, 刘立, 肖小凤, 等. 混合示教长短时记忆网络的车辆轨迹预测研究[J]. 交通运输系统工程与信息, 2023, 23(4): 80-87.
FANG Huazhen, LIU Li, XIAO Xiaofeng, et al. Vehicle trajectory prediction based on mixed teaching force long short-term memory[J]. Journal of Transportation Systems Engineering and Information Technology, 2023, 23(4): 80-87.
[12]
吴晓建, 危一华, 王爱春, 等. 基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测[J]. 湖南大学学报(自然科学版), 2023, 50(4): 65-75.
WU Xiaojian, WEI Yihua, WANG Aichun, et al. LSTM-GRU vehicle trajectory prediction based on fused dropout and attention mechanism[J]. Journal of Hunan University (Natural Science Edition), 2023, 50(4): 65-75.
[13]
LIU Y C, ZHANG J H, FANG L J, et al. Multimodal motion prediction with stacked transformers[C]//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2024.
[14]
LU Y H, WANG W, HU X P, et al. Vehicle trajectory prediction in connected environments via heterogeneous context-aware graph convolutional networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 24(8): 8452-8464. DOI:10.1109/TITS.2022.3173944
[15]
陈晓伟, 李煊鹏, 张为公. 基于动态图注意力的车辆轨迹预测研究[J]. 汽车技术, 2024(3): 24-30.
CHEN Xiaowei, LI Xuanpeng, ZHANG Weigong. Research on vehicle trajectory prediction based on dynamic graph attention[J]. Automotive Technology, 2024(3): 24-30.
[16]
GUPTA A, JOHNSON J, LI F F, et al. Social GAN: Socially acceptable trajectories with generative adversarial networks[C]//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 2255-2264.
[17]
张英豪. 基于深度学习的车辆驾驶意图识别与轨迹预测方法研究[D]. 长春: 吉林大学, 2024.
ZHANG Yinghao. Research on vehicle driving intent recognition and trajectory prediction methods based on deep learning[D]. Changchun: Jilin University, 2024.
[18]
CHAI Y N, SAPP B, BANSAL M, et al. Multipath: Multiple probabilistic anchor trajectory hypotheses for behavior prediction[J/OL]. arXiv (2019-10-12) [2024-02-02]. https://doi.org/10.48550/arXiv.1910.05449.
[19]
惠飞, 彭娜, 景首才, 等. 基于凝聚层次的驾驶行为聚类与异常检测方法[J]. 计算机工程, 2018, 44(12): 196-201.
HUI Fei, PENG Na, JING Shoucai, et al. A cohesive hierarchy-based approach for driving behavior clustering and anomaly detection[J]. Computer Engineering, 2018, 44(12): 196-201.
[20]
CAESAR H, BANKITI V, LANG A H, et al. NuScenes: A multimodal dataset for autonomous driving[J/OL]. arXiv (2019-03-26) [2024-02-02]. https://doi.org/10.48550/arXiv.1903.11027.
[21]
SALZMANN T, IVANOVIC B, CHAKRAVARTY P, et al. Trajectron++: Dynamically-feasible trajectory forecasting with heterogeneous data[J/OL]//arXiv(2019-03-26) [2024-02-02]. https://doi.org/10.48550/arXiv.2001.03093.
[22]
DEO N, TRIVEDI M M. Trajectory Forecasts in Unknown Environments Conditioned on Grid-based Plans[J/OL]. arXiv(2020-01-03) [2024-02-02]. https://doi.org/10.48550/arXiv.2001.00735.
[23]
GILLES T, SABATINI S, TSISHKOU D, et al. Gohome: Graph-oriented heatmap output for future motion estimation[C]//Proceedings of International Conference on Robotics and Automation. New York: IEEE, 2022: 9107-9114.
[24]
GILLES T, SABATINI S, TSISHKOU D, et al. Thomas: Trajectory heatmap output with learned multi-agent sampling[J/OL]. arXiv(2021-10-13) [2024-02-02]. https://doi.org/10.48550/arXiv.2110.06607.
[25]
DEO N, WOLFF E M, BEIJBOM O. Multimodal trajectory prediction conditioned on lane-graph traversals[J/OL]. arXiv(2021-06-28) [2024-02-02]. https://doi.org/10.48550/arXiv.2106.15004.