公路交通科技  2024, Vol. 41 Issue (9): 18-27

扩展功能

文章信息

张长隆, 周炜, 杜仙童, 谢鹏程, 崔海涛.
ZHANG Chang-long, ZHOU Wei, DU Xian-tong, XIE Peng-cheng, CUI Hai-tao
基于C-V2X网联车的路侧摄像机标定方法
Roadside Camera Calibration Method Based on C-V2X Connected Vehicle
公路交通科技, 2024, 41(9): 18-27
Journal of Highway and Transportation Research and Denelopment, 2024, 41(9): 18-27
10.3969/j.issn.1002-0268.2024.09.003

文章历史

收稿日期: 2023-12-18
基于C-V2X网联车的路侧摄像机标定方法
张长隆1 , 周炜2 , 杜仙童1 , 谢鹏程1 , 崔海涛2,3     
1. 长沙智能驾驶研究院有限公司, 湖南 长沙 410006;
2. 交通运输部公路科学研究院, 北京 100088;
3. 中公高远(北京)汽车检测技术有限公司, 北京 101103
摘要: 为了安全高效地标定公开道路上的路侧摄像机, 提出了一种新的标定方法。该方法不需要任何先验知识和封闭道路来阻断交通, 克服了现有方法需要人工测量的局限性。它将网联车当作标志物, 利用蜂窝车联网(C-V2X)通信技术, 通过网联车提供路侧摄像机视野中各位置的WGS-84坐标并采用深度学习算法提取用于标定的网联车图像坐标。对网联车的图像坐标及其WGS-84坐标进行时间戳同步后, 基于直接线性变换获取网联车图像坐标与其WGS-84坐标之间的映射关系, 完成路侧摄像机标定。在长沙市真实路口进行选址搭建试验平台, 采集了82个验证点对本研究方法进行可行性分析试验。结果表明: 本研究方法的标定误差基本保持在1.5 m以内, 能够满足协作式智能交通系统(C-ITS)应用的车道级定位要求。同时, 将该方法与2种具有代表性的路侧摄像机标定方法进行了对比, 结果表明本研究方法具有1.80%的最小均方根误差。此外, 还探究了网联车姿态、网联车速度和GNSS定位精度对标定精度的影响, 分别设计对比试验加以分析, 最后依此总结了实用的指导建议, 以便采用本研究方法时更容易地获得较高的标定精度。
关键词: 智能交通    路侧摄像机标定    蜂窝车联网    网联车    WGS-84坐标    
Roadside Camera Calibration Method Based on C-V2X Connected Vehicle
ZHANG Chang-long1, ZHOU Wei2, DU Xian-tong1, XIE Peng-cheng1, CUI Hai-tao2,3    
1. Changsha Intelligent Driving Institute Co., Ltd., Changsha, Hunan 410006, China;
2. Research Institute of Highway, Ministry of Transport, Beijing 100088, China;
3. Zhonggong Gaoyuan (Beijing) Automobile Testing Technology Co., Ltd., Beijing 101103, China
Abstract: To safely and efficiently calibrate roadside cameras on the open road, the novel calibration method was proposed. The method did not require any prior knowledge or road closures to block traffic, overcoming the limitations of existing methods that required manual measurements. The method treated connected vehicles as markers. The WGS-84 coordinate of each position in the field of roadside camera's view was provided by the connected vehicle, and the coordinate of connected vehicle image for calibration was extracted by using the depth learning algorithm via cellular vehicle-to-everything (C-V2X) communication technology. After synchronizing the image coordinates and their WGS-84 coordinates with time stamps, based on the direct linear transformation, the mapping relation between connected vehicle image coordinate and its WGS-84 coordinates was obtained to calibrate the roadside camera.An experimental platform was set up at a real intersection in Changsha. There were 82 verification points collected to conduct feasibility analysis experiments. The result indicates that the errors of all 82 validation points are almost no more than 1.5 m, demonstrating that the proposed method can meet the lane-level positioning requirements for the cooperative intelligent transport system (C-ITS) application. Simultaneously, this method is compared with two representative roadside camera calibration methods, and the result shows that the proposed method has the minimum root mean square error of 1.80%.In addition, the influences of connected vehicle attitude, connected vehicle speed and GNSS positioning accuracy on the calibration accuracy were also discussed. The comparative experiments were designed and analyzed respectively. Finally, some practical suggestions were summarized, so that higher calibration accuracy can be easily obtained by using the proposed method.
Key words: intelligent transport    roadside camera calibration    C-V2X    connected vehicle    WGS-84 coordinate    
0 引言

随着协作式智能交通系统(Cooperative Intelligent Transport System,C-ITS)在全球范围内的快速发展,路侧摄像机不但应用于道路监控,而且还广泛应用于交通参与者分析,例如目标分类[1-2]、目标定位[3-4]、目标跟踪[5-6]和车辆速度估计[7],以弥补网联自动驾驶车辆的感知盲区,提高道路安全。这些新应用大部分都需要获取路侧摄像机检测目标的世界坐标,如World Geodical System-84(WGS-84)坐标,而且通常需要路侧摄像机检测目标具有车道级定位精度[8-11],即定位误差在1.5 m以内。但是路侧摄像机只能提供检测目标的图像坐标,无法直接提供其WGS-84坐标。因此,需要通过对路侧摄像机进行标定来建立图像坐标与WGS-84坐标之间的映射关系[12-13]

路侧摄像机的应用环境特点为:(1)路侧摄像机一般安装在监控杆上,且是静止的;(2)路侧摄像机的工作环境一般为开放道路,存在来来往往的车辆,直接在道路上进行人工测量是非常危险的;(3)路侧摄像机仍然需要通过标定来获取检测目标的世界坐标,但出于安全和高效考虑,在标定过程中应尽量减少人工干预,尽可能提高自动化程度,以便实现大规模部署。目前已有的摄像机标定方法可分为传统的摄像机标定方法、自标定方法、主动视觉方法这3类。

传统的摄像机标定方法需要人工放置标志物,通过已知的标志物几何参数即可得到空间三维坐标系与图像坐标系之间的映射关系,再通过优化算法求解最优的标定参数。根据标志物的维度可分为一维[14-15]、二维[16-17]和三维[18]标定方法,例如Zhang[19]使用大小已知的二维棋盘格来标定相机,通过移动相机或棋盘格,获得棋盘格在不同视角下的多幅图像。利用这些图像和棋盘格内已知的角点坐标就可基于直接线性变换和非线性优化[20]计算摄像机参数。然而在中国,路侧摄像机通常安装在固定高度为6 m的监控杆上。标志物的尺寸需要随着距离的增加而增大,这样才能在图片中检测到远距离的标志物。此外,在不封闭道路的情况下,在交通流不断的道路上人工摆放标志物是不安全的,而且会妨碍交通。因此,该方法不太适用于开放道路上路侧摄像机的标定。

自标定方法[21-22]不需要人工放置标志物,但是需要获取同一目标在多个视角下的图像,然后根据多视图几何理论计算标定参数。这种方法要求摄像机具有相同且固定的内参。只要已知本质矩阵或者基础矩阵,就可以计算摄像机的内参和外参。通常可以通过2种方法实现:在多个视角安装多台同类型摄像机,单台摄像机可以移动到多个视角,其中后者更为常见。Maybank等[23]将一台摄像机通过刚体运动(平移和旋转运动)移动到3个不同的位置。先获取摄像机移动前后图像中对应点的图像坐标,然后通过绝对二次曲线约束和Kruppa方程计算出摄像机的内参。与此类似,Luong等[24]只需将摄像机移动前后图像中对应点的图像坐标作为唯一输入,即可迭代计算出摄像机的内参和外参。然而这种方法需要估计的参数太多,无法直接用于获取摄像机视野中检测目标的WGS-84坐标,而且静止的路侧摄像机无法通过运动等来提供多个视角下的目标图像,故该标定方法也无法较好地适用于路侧摄像机的标定。

基于主动视觉的标定方法[25-27]通常称为手眼标定,主要是在特殊平台上操作摄像机进行可控运动(平移或旋转运动等),然后计算摄像机的相对位姿。最常用的是纯旋转或纯平移。例如Ma[25]使用纯平移来标定摄像机。这种方法需要摄像机运动,因此,基于主动视觉的标定方法也不太适用于标定静止的路侧摄像机。

此外,随着技术的进步,有研究学者提出了包括基于消失点标定方法在内的其他标定方法。其中,基于消失点的路侧摄像机标定方法的步骤为:首先,在有大量平行线的场景中,提取图像中的所有直线进行消失点检测;其次,获取与道路相关的一些先验知识作为已知条件,如车道宽度、车道线长度等;最后,根据2个或3个消失点和先验知识完成路侧摄像机标定。摄像机外参中的平移向量不能通过消失点直接计算,需要用到一些与道路相关的先验知识。例如Sochor等[28]和Dubská等[29]提出的方法都是先利用车辆的轨迹和强边缘线段来确定3个消失点,然后利用车辆的三维信息和3个消失点,对路侧摄像机进行标定。然而,基于消失点的路侧摄像机标定方法通常存在一些默认假设和约束,如主点位于图像中心、零偏斜、道路笔直等。该方法对先验知识和消失点依赖较大,一旦无法准确获取消失点和先验知识,将在很大程度上影响标定精度,甚至无法估计路侧摄像机参数[30-32]。然而在大多数场景下先验知识难以获取,例如在没有封闭的开放道路上,直接人工测量车道宽度、车道线长度等道路相关信息是非常危险的。因此,该方法对路况有要求,实现难度较大。除此之外,Bhardwaj等[33]提出了路侧摄像机自动标定系统。在摄像机内参已知的前提下,摄像机的外参可通过交通视频中车身关键点(如尾灯、后视镜)的图像坐标与10种流行车辆模型之间的几何对应关系进行估计得到。但该标定方法受限于车辆模型的选择及车身关键点的准确提取。由于全球导航卫星系统(Global Navigation Satellite System,GNSS)接收机通过实时动态测量(Real-time Kinematic,RTK)技术可以达到厘米级精度[34],Liao等[35]提出了1种基于GNSS的路侧摄像机标定方法。将带有GNSS接收器的可移动设备(如携带GNSS设备的行人[35]或可搬动的简易三脚架[36])作为标志物以提供路侧摄像机视野中任意点的世界坐标;但在开放道路上,人工操作带有GNSS接收器的移动设备是非常危险的。

本研究的目的是寻找一种安全、方便、能克服上述某些局限性的有效标定方法。随着蜂窝车联网(C-V2X)通信技术的发展,通过GNSS定位技术,网联车可以实时共享自身的经纬度信息。本研究利用网联车的WGS-84坐标及其在摄像机视野中的图像坐标来标定路侧摄像机。该方法适用于开放道路,无需依赖任何先验知识和道路场景假设,而且可以充分利用基础设施和车联网环境,为C-V2X技术的应用提供了一种新的可能。本研究的创新点主要体现在以下几个方面:

(1) 将网联车作为标志物,通过网联车提供路侧摄像机视野中各位置的WGS-84坐标,从而获得网联车图像坐标与其WGS-84坐标之间的映射关系,实现对路侧摄像机的标定;

(2) 利用C-V2X技术进行标定数据采集,并使用深度学习算法处理标定数据,最大程度地减少了人工干预,有利于安全高效地实施本研究所提方法;

(3) 从影响图像坐标和WGS-84坐标及二者之间准确对应的角度,进一步探究了网联车姿态、网联车速度和GNSS定位精度对标定精度的影响,通过试验分析与结果对比,总结了实用的指导建议,以便采用本研究方法时更容易获得较高的标定精度。

1 研究场景与框架

主要研究场景如图 1所示。路侧摄像机标定系统由路侧单元(Road Side Unit,RSU)、搭载车载单元(Onboard Unit,OBU)的网联车、边缘计算单元(Multi-access Edge Computing,MEC)和路侧摄像机组成。系统功能描述为MEC可以通过路侧摄像机获取实时交通信息。网联车可以通过C-V2X技术向RSU发送基础安全消息(Basic Safety Message,BSM)[37-39],BSM主要包括位置(WGS-84坐标)、速度及网联车的航向角和时间戳等。

图 1 路侧摄像机标定场景 Fig. 1 Roadside camera calibration scene

本研究所提出的路侧摄像机标定方法框架如图 2所示,主要包括标定数据采集、标定数据同步和标定参数矩阵求解。首先,在标定数据采集之前,先对路侧摄像机标定系统中的RSU和OBU通过已集成的GNSS模块进行授时,对MEC和路侧摄像机通过NTP授时服务与RSU进行时间同步,以保证整个通信链路的时序对齐。然后,通过C-V2X通信技术采集网联车每一时刻的WGS-84坐标,同时让MEC触发路侧摄像机抓拍网联车,并将网联车的图像数据及其WGS-84坐标数据保存在MEC中。至此,标定数据采集完成。然后,利用深度学习检测算法[40]对保存在MEC中的图像进行逐帧处理,并以人机交互的方式手动选择每条车道上网联车首次出现在路侧摄像机视野中的二维检测框。然后,将选定的网联车二维检测框作为跟踪对象,并由跟踪算法[41]持续跟踪。跟踪算法可在后续图像中自动输出网联车的二维边界框(Bounding Box,Bbox)。将这些Bbox的底边中点和图像名称成对存储,从而获得图像坐标。由于图像均是以时间戳命名,所以实际上为图像坐标与时间戳进行成对存储。然后,基于时间戳匹配方法对网联车的图像坐标和WGS-84坐标进行同步,以保证它们准确对应。最后,基于由图像坐标和WGS-84坐标组成的多个点对求解路侧摄像机标定矩阵,从而完成标定。

图 2 标定路侧摄像机的方法框架 Fig. 2 Framework of roadside camera calibration method

2 路侧相机标定方法 2.1 标定数据采集

标定数据的采集依赖于C-V2X通信技术,主要步骤如图 3所示。

图 3 标定数据采集步骤 Fig. 3 Calibration data collection procedure

首先,网联车在车道上行驶时,通过搭载的OBU实时发送含自身位置(WGS-84坐标)、时间戳等数据的BSM给RSU。RSU通过C-V2X技术接收到BSM并解析出其中的时间戳和WGS-84坐标后,立即将该数据转发给MEC,并保存在MEC上。

然后,MEC会同时触发路侧摄像机抓拍行驶中的网联车。当网联车离摄像机小于一定距离时,MEC开始保存摄像机抓拍到的图像;当网联车离摄像机大于一定距离时,MEC停止保存摄像机抓拍到的图像。由于路侧摄像机抓拍的图像中不可避免地包含目标网联车和其他车辆,因此为了清楚地区分网联车和其他车辆,通常在网联车的车身(尤其是尾部)粘贴特定的反光条。

最后,在MEC中保存的以时间戳命名的系列图像和来自BSM的时间戳、WGS-84坐标即为所要采集的标定数据。在标定数据采集过程中,只需要1辆网联车,但网联车需要2条以上的不同车道上行驶,并按上述步骤依次采集并保存标定数据。在本研究中,为了提高效率,要求网联车分别在最左侧和最右侧的车道上行驶,即1辆网联车会沿2条不同车道分别行驶1次,最后得到2组数据。OBU以固定的时间间隔100 ms向RSU发送含WGS-84坐标和时间戳等数据的BSM。

2.2 标定数据同步与标定参数矩阵求解

为了保证网联车的图像数据和其WGS-84坐标数据一一对应,本研究采用时间戳同步[42]方法。进一步基于小孔成像模型[43]在忽略WGS-84坐标系中高程的情况下(令高程为0),通过直接线性变换计算图像坐标与WGS-84坐标之间的映射关系:

(1)

式中,(lati, loni)为WGS-84坐标;(u, v)为图像坐标;s为缩放因子;M 为映射关系矩阵,也即待求的路侧摄像机标定矩阵:

(2)

m33≡1,展开式(1)即可得到:

(3)

给定N(N≥4)个{(u, v)i, (lati, loni)i}i=1N点对,可以求解式(3),得到矩阵 M 。为了避免外点干扰,本研究采用随机采样一致性(Random Sample Consensus,RANSAC)方法[44]对矩阵 M 进行求解。

为了获取较高的标定精度,网联车的图像坐标与GNSS接收机天线的安装位置在路面上的投影点应保持对应,即网联车的图像坐标与其WGS-84坐标需要保持一致。由于本研究所要标定的路侧摄像机安装在监控杆上,监控视角在车辆尾部,所以选择网联车的二维最小矩形框的底边中点作为其图像坐标。相应地,GNSS接收机天线的安装位置应该在网联车的车尾中轴线位置。

3 试验和结果 3.1 试验过程

根据所提方法在长沙的一个开放路口进行了相关试验。安装在监控杆上待标定的路侧摄像机如图 4所示。路侧摄像机标定系统的试验平台所用到的设备参数如表 1所示。GNSS接收机的天线安装在网联车的靠近车尾中轴线的位置如图 5(a)所示。为了进行标定精度分析,使用手持式RTK移动站(见图 5(b))采集了82个验证点,它们具有厘米级定位精度,且分布如图 6所示。所有试验中的误差均为距离误差:先将验证点的图像坐标和标定得到的映射关系矩阵代入式(1)计算对应的WGS-84坐标,再用Haversine公式[45]计算其与验证点真实的WGS-84坐标之间的距离。

图 4 城市路口待标定的路侧摄像机 Fig. 4 Roadside camera calibrated at urban road intersection

表 1 试验涉及到的硬件 Tab. 1 Hardware involved in experiments
硬件 类型说明 描述
路侧摄像机 网络摄像机 1 920×1 080@30 fps,焦距12 mm
RSU CIDI RSU-5G CPU为iMX8;内存4 GB;存储32 GB;LTE-V模组为ZM8350
OBU CIDI OBU-5G CPU为iMX8;内存4 GB;存储32 GB;LTE-V模组为AG550;内置高精度定位模块,支持多系统双频,RTK厘米级定位精度
MEC CIDI TPCU CPU为8 core ARM-A78 v8.2;GPU为1792 core;内存32 GB;存储64 GB
手持式RTK移动站 华测i70 Ⅱ RTK精度:水平精度为±(8+1.0×10-6D)mm;高程精度为±(15+1.0×10-6D) mm

图 5 定位试验设备 Fig. 5 Positioning equipments for experiments

图 6 验证点的图像坐标 Fig. 6 Image coordinates of validation points

3.2 可行性验证 3.2.1 验证试验

一辆网联车以30 km/h的速度依次通过路侧摄像机视野内的2条车道以采集标定数据。最终用于标定的点对如图 7所示。由图 8表 2可知,试验结果中最大误差为1.57 m,最小误差为0.44 m,平均误差为0.98 m,约98%验证点的测试误差均不超过1.5 m。因此本研究提出的路侧摄像机的标定精度满足路口区域内C-ITS应用的车道级定位要求[8-11]

图 7 标定路侧摄像机的点对 Fig. 7 Point-pairs for calibrating roadside camera

图 8 路侧摄像机标定误差 Fig. 8 Roadside camera calibration errors

表 2 标定误差距离分布 Tab. 2 Calibration errors distance distribution
误差范围/m 数量/个 个数占比/%
[0,0.5) 1 1.22
[0.5,1.0) 42 51.22
[1.0,1.5) 37 45.12
[1.5,2.0) 2 2.44

3.2.2 与其他标定方法比较

为了进一步验证本研究方法的可行性,以均方根误差[29, 33]为指标,与2个具有代表性的路侧摄像机标定方法[29, 33]进行标定结果对比。均方根误差越小,说明标定方法越准确、越稳定。本研究方法与其他2种不同标定方法的结果对比见表 3

表 3 所提标定方法与其他方法对比 Tab. 3 Proposed calibration method v.s. other methods
方法 最小均方根误差/% 已知先验知识
自动标定方法[33] 5.07
消失点标定方法[29] 5.40
本研究方法 1.80

表 3所示,本研究方法具有最小的均方根误差,表明该方法的标定精度已达到先进水平。不同于其他2种标定方法[29, 33]需要已知车辆尺寸等先验信息,本研究方法不需要任何先验知识,可以在不封闭道路的情况下用于开放道路上路侧摄像机的标定。

3.3 不同影响因素下的标定精度验证试验

为了获得更高的标定精度,本研究从网联车姿态、网联车速度和GNSS定位精度3个方面设计了标定试验,并对标定结果进行了比较。试验设置如表 4所示。

表 4 影响标定精度的3个因素的试验设置 Tab. 4 Experimental settings of 3 factors affecting calibration accuracy
试验内容 轨迹 速度/(km·h-1) 工作模式
网联车姿态 试验中的变量 30 RTK
网联车速度 正常 试验中的变量 RTK
GNSS定位精度 正常 30 试验中的变量

3.3.1 网联车姿态的影响

在标定过程中,由于路侧摄像机的安装角度和位置不同,使得网联车在图像中呈现出不同的行驶姿态。为了模拟网联车在试验过程中的姿态变化,网联车在越过停止线后进行变道行驶,如从最左侧的直行道变道到最右侧的直行道。

图 9可知,试验结果中最大误差为1.99 m,最小误差为0.62 m,平均误差为1.24 m。与图 8相比,摄像机标定精度有所下降,这是因为网联车的图像坐标由其二维Bbox的底边中点表示。当图像中网联车的姿态发生变化时,其二维Bbox的大小和底边中点也会相应变化,导致GNSS接收机天线在地面上的投影点不再总是与网联车的图像坐标相对应,即网联车的图像坐标与其WGS-84坐标不再保持一一对应,不可避免地引入了噪声,使标定精度下降。正常情况下,网联车的二维Bbox底边中点(红点)与GNSS天线(绿圈)所在地平面上的投影点(绿点)重合;当车辆姿态发生变化时,网联车的二维Bbox底边中点(红点)与GNSS天线(绿圈)所在地平面上的投影点(绿点)会出现明显偏移,如图 10所示。

图 9 网联车行驶姿态改变后的标定误差 Fig. 9 Calibration errors after connected vehicle's driving posture variation

图 10 网联车行驶姿态变化前后GNSS天线安装位置在地面上投影点的变化 Fig. 10 Ground projection point variation of GNSS antenna installation position on connected vehicle before and after driving posture variation

3.3.2 网联车速度影响

采集标定数据时,网联车分别以30,40,50 km/h的速度行驶。由图 11图 12可知,车速对标定精度有一定的影响,标定误差与网联车行驶速度正相关。这主要是因为当网联车运动时,由于存在路侧摄像机编解码等延迟,导致摄像机抓拍到的网联车位置与MEC在当前时刻接收到的网联车实际位置可能不一致(其位置误差可近似为网联车当前速度与延迟时间的乘积),从而会引入噪声,影响最终的标定精度。但整体上,平均误差比较小,从一定程度上证明了本研究方法能够较好地应用于C-ITS路侧场景。

图 11 不同车速下的标定误差 Fig. 11 Calibration errors at different vehicle speeds

图 12 不同车速下的标定平均误差 Fig. 12 Mean calibration errors at different speeds

3.3.3 GNSS定位精度对标定精度的影响

为了测试GNSS定位精度对标定精度的影响,试验分别在GNSS定位模块的RTK模式和单点定位模式下采集标定数据。

表 5图 13可知,当GNSS定位精度下降时,标定精度也会相应降低。在本研究方法中,只有图像坐标和WGS-84坐标这2个输入。二者中任何一个出现误差都会对标定精度产生重大影响。3.3.1节关于网联车姿态的试验可以当作网联车姿态导致其图像坐标出现误差的例子。本试验验证了代表网联车位置的WGS-84坐标出现误差后对标定精度的影响。这2项试验结果表明,标定精度会不可避免地下降。

表 5 两种GNSS定位模式下的标定误差对比(单位:m) Tab. 5 Comparison of calibration errors with two GNSS positioning modes(unit: m)
工作模式 最大误差 最小误差 平均误差
RTK 1.57 0.44 0.98
单点定位 3.0 1.05 1.94

图 13 两种GNSS定位模式下的标定误差 Fig. 13 Calibration errors with two GNSS positioning modes

3.4 建议

本研究旨在为C-ITS应用中的路侧摄像机标定任务提供工程化创新方法。为了还原真实的交通环境来验证本研究方法的可行性,本研究在开放道路下的实际路口进行选址搭建试验平台,并设计了验证试验。结果表明本研究方法可以安全、方便地对开放道路上的路侧摄像机进行标定,其标定精度满足C-ITS应用的车道级定位要求。虽然试验对象只选定了1个典型城市平面交叉口路侧摄像机进行标定以验证其可行性,但是该路侧摄像机标定方法目前已经在长沙市、重庆市、天津市、襄阳市等地车联网先导区进行落地应用,其普适性已得到反复验证。

此外,为了更容易地获得较高的标定精度,本研究还对影响标定精度的3个主要因素进行了评估。尽管这3个因素可能会影响最终的标定精度,但可以采用如下建议进行规避。

(1) 路侧摄像机安装位置应尽量靠近监控道路的中心,而且需要调整路侧摄像机安装角度,使图像中道路进口处的停止线尽可能水平。

(2) 在采集标定数据时,网联车尽量低速行驶。

(3) 在采集标定数据之前,需要确认网联车发送的WGS-84坐标是否准确。最好的方法是在高精度地图或谷歌地图上验证网联车静止时的WGS-84坐标。

(4) 整个标定过程可以看作是1个只有2个输入(网联车的图像坐标及其WGS-84坐标)的黑盒。当在环岛和高架桥等特殊路况下标定路侧摄像机时,本研究方法中仅有的2个输入需要先进行相应的校正然后才能输入至黑盒。例如,将图像中网联车的二维Bbox的底边中点替换为三维Bbox的底面中心及与其他的传感器(如惯性测量单元和LiDAR)进行融合,从而实现对黑盒的2个输入进行校正。

4 结论

本研究提出了一种基于C-V2X技术的便捷式路侧摄像机标定方法。该方法以网联车为标志物,利用C-V2X通信技术采集标定数据,并使用深度学习算法提取图像坐标,减少了人工干预,提高了自动化程度,有利于大规模部署。通过可行性试验结果可知,本研究方法的标定误差基本保持在1.5 m以内,能够满足C-ITS应用的车道级定位要求。通过与2个具有代表性的路侧摄像机标定方法进行对比,结果表明本研究方法具有1.8%的最小RMSE,即标定精度优于其他2种方法;本研究还对比分析了网联车姿态、网联车速度和GNSS定位精度对标定精度的影响,并根据试验结果总结出了实用的指导建议。

本研究也具有一定的局限性。长时间完全遮挡会导致标定方法失效。如在采集标定数据时,大型车长时间完全遮挡网联车,无法获取网联车的图像坐标,从而导致标定参数无法计算。故在采集标定数据时需要避免大型车遮挡网联车的情况。此外,本研究采用时间戳同步方法进行标定数据同步时,没有充分考虑路侧摄像机编解码等延迟和网联车的运动等因素。未来将对标定数据同步进行更深入分析,使本研究方法适用于更多交通场景。

参考文献
[1]
SONG Y C, YAO J R, JU Y F, et al. Automatic Detection and Classification of Road, Car, and Pedestrian Using Binocular Cameras in Traffic Scenes with a Common Framework[J]. Complexity, 2020. DOI:10.1155/2020/2435793
[2]
李晓欢, 霍科辛, 颜晓凤, 等. 基于特征加权视觉增强的雷视融合车辆检测方法[J]. 公路交通科技, 2023, 40(2): 182-189.
LI Xiao-huan, HUO Ke-xin, YAN Xiao-feng, et al. A Method for Radar-camera Fusion Vehicle Detection Based on Feature Weighted and Visual Enhancement[J]. Journal of Highway and Transportation Research and Development, 2023, 40(2): 182-189.
[3]
ZHENG Y, PENG S L. Model Based Vehicle Localization for Urban Traffic Surveillance Using Image Gradient Based Matching [C]//2012 15th International IEEE Conference on Intelligent Transportation Systems. New York: IEEE, 2012: 945-950.
[4]
LU D, JAMMULA V C, COMO S, et al. Carom-vehicle Localization and Traffic Scene Reconstruction from Monocular Cameras on Road Infrastructures [C]//2021 IEEE International Conference on Robotics and Automation (ICRA). New York: IEEE, 2021: 11725-11731.
[5]
HE H, CHEN S C, SUN W Q, et al. Vehicle Tracking and Controlling Based on Roadside Cameras [C]//2020 Chinese Automation Congress (CAC). New York: IEEE, 2020: 7331-7336.
[6]
WAN Y W, HUANG Y, BUCKLES B. Camera Calibration and Vehicle Tracking: Highway Traffic Video Analytics[J]. Transportation Research Part C: Emerging Technologies, 2014, 44: 202-213.
[7]
LIU C H, Huynh D Q, SUN Y C, et al. A Vision-based Pipeline for Vehicle Counting, Speed Estimation, and Classification[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 22(12): 7547-7560.
[8]
ZHANG C L, WEI J M, HU A S, et al. A Novel Method for Calibration and Verification of Roadside Millimetre-wave Radar[J]. IET Intelligent Transport Systems, 2022, 16(3): 408-419.
[9]
AHMED-ZAID F, BAI F, BAI S, et al. Vehicle Safety Communications-applications (Vsc-a) Final Report, DOT HS 811 492C[R]. Washington, D. C. : U. S. Department of Transportation, 2011.
[10]
CHANG J, FOK E. Connected Vehicle Pilot Positioning and Timing Report: Summary of Positioning and Timing Approaches in CV Pilot Sites, FHWA-JPO-18-638 [R]. Washington, D. C. : U. S. Department of Transportation, 2018.
[11]
J2945/1_202004, On-board System Requirements for V2V Safety Communications[S].
[12]
LI B, HENG L, KOSER K, et al. A Multiple-camera System Calibration Toolbox Using a Feature Descriptor-based Calibration Pattern [C]//2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. New York: IEEE, 2013: 1301-1307.
[13]
RAMEAU F, PARK J, BAILO O, et al. MC-Calib: A Generic and Robust Calibration Toolbox for Multi-camera Systems[J]. Computer Vision and Image Understanding, 2022, 217: 103353. DOI:10.1016/j.cviu.2021.103353
[14]
ZHANG Z Y. Camera Calibration with One-dimensional Objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.
[15]
WU F C, HU Z Y, ZHU H J. Camera Calibration with Moving One-dimensional Objects[J]. Pattern Recognition, 2005, 38(5): 755-765.
[16]
MENG X Q, HU Z. A New Easy Camera Calibration Technique Based on Circular Points[J]. Pattern Recognition, 2003, 36(5): 1155-1164.
[17]
LIU Z, LI F J, LI X J, et al. A Novel and Accurate Calibration Method for Cameras with Large Field of View Using Combined Small Targets[J]. Measurement, 2015, 64: 1-16.
[18]
KHROUCH H, HSAINI A M, BOUAZI A, et al. Experimental Camera Calibration Study for 3D Localization [C]//2022 2nd International Conference on Innovative Research in Applied Science, Engineering and Technology (IRASET). New York: IEEE, 2022: 1-4.
[19]
ZHANG Z Y. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
[20]
ABDEL-AZIZ Y I, KARARA H M, HAUCK M. Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-range Photogrammetry[J]. Photogrammetric Engineering & Remote Sensing, 2015, 81(2): 103-107.
[21]
BOUGNOUX S. From Projective to Euclidean Space Under Any Practical Situation, a Criticism of Self-calibration [C]//Sixth International Conference on Computer Vision (IEEE Cat. No. 98CH36271). New York: IEEE, 1998: 790-796.
[22]
BOUDINE B, KRAMM S, EL AKKAD N, et al. A Flexible Technique Based on Fundamental Matrix for Camera Self-calibration with Variable Intrinsic Parameters from Two Views[J]. Journal of Visual Communication and Image Representation, 2016, 39: 40-50.
[23]
MAYBANK S J, FAUGERAS O D. A Theory of Self-calibration of a Moving Camera[J]. International Journal Of Computer Vision, 1992, 8(2): 123-151.
[24]
LUONG Q T, FAUGERAS O D. Self-calibration of a Moving Camera from Point Correspondences and Fundamental Matrices[J]. International Journal of Computer Vision, 1997, 22: 261-289.
[25]
MA S D. A Self-calibration Technique for Active Vision Systems[J]. IEEE Transactions on Robotics and Automation, 1996, 12(1): 114-120.
[26]
LIU J R, LIU X L, CAO Z Q, et al. A Novel Geometric Calibration Method for Active Stereovision System [C]//2021 IEEE 17th International Conference on Automation Science and Engineering (CASE). New York: IEEE, 2021: 1776-1781.
[27]
TIAN F P, FENG W, ZHANG Q, et al. Active Camera Relocalization from a Single Reference Image Without Hand-eye Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 41(12): 2791-2806.
[28]
SOCHOR J, JURÁNEK R, HEROUT A. Traffic Surveillance Camera Calibration by 3d Model Bounding Box Alignment for Accurate Vehicle Speed Measurement[J]. Computer Vision and Image Understanding, 2017, 161: 87-98.
[29]
DUBSKÁ M, HEROUT A, JURÁNEK R, et al. Fully Automatic Roadside Camera Calibration for Traffic Surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 16(3): 1162-1171.
[30]
YOU X H, ZHENG Y. An Accurate and Practical Calibration Method for Roadside Camera Using Two Vanishing Points[J]. Neurocomputing, 2016, 204: 222-230.
[31]
SONG J F, SONG H S, WANG S Y. PTZ Camera Calibration Based on Improved DLT Transformation Model and Vanishing Point Constraints[J]. Optik, 2021, 225: 165875.
[32]
SCHOEPFLIN T N, DAILEY D J. Dynamic Camera Calibration of Roadside Traffic Management Cameras for Vehicle Speed Estimation[J]. IEEE Transactions on Intelligent Transportation Systems, 2003, 4(2): 90-98.
[33]
BHARDWAJ R, TUMMALA G K, RAMALINGAM G, et al. Autocalib: Automatic Traffic Camera Calibration at Scale[J]. ACM Transactions on Sensor Networks (TOSN), 2018, 14(3/4): 1-27.
[34]
ZHANG C L, WEI J M, DAI J G, et al. A Roadside Millimeter-wave Radar Calibration Method Based on Connected Vehicle Technology[J]. IEEE Intelligent Transportation Systems Magazine, 2022, 15(3): 117-131.
[35]
LIAO H C, WU H J. An Automatic Camera Calibration Method Using GPS-enabled Mobile Device [C]//2009 11th International Conference on Advanced Communication Technology. New York: IEEE, 2009, 1: 760-763.
[36]
YAN C P, SHEN L C, ZHOU D L, et al. A New Calibration Method for Vision System Using Differential GPS [C]//2014 13th International Conference on Control Automation Robotics & Vision (ICARCV). New York: IEEE, 2014: 1514-1517.
[37]
CHEN S Z, HU J L, SHI Y, et al. LTE-V: A TD-LTE-Based V2X Solution for Future Vehicular Network[J]. IEEE Internet of Things Journal, 2016, 3(6): 997-1005.
[38]
CHEN S Z, HU J L, SHI Y, et al. A Vision of C-V2X: Technologies, Field Testing, and Challenges with Chinese Development[J]. IEEE Internet of Things Journal, 2020, 7(5): 3872-3881.
[39]
ZHANG X K, WANG H W, FENG W Y, et al. Vehicle Environment Awareness Based Messages Transmission Frequency Optimization in C-V2X[J]. IEEE Wireless Communications Letters, 2023, 12(7): 1116-1119.
[40]
ZHOU X Y, WANG D Q, KRÄHENBVHL P. Objects as Points [EB/OL]. arXiv preprint arXiv: 1904.07850, 2019. https://doi.org/10.48550/arXiv.1904.07850.
[41]
ZHANG Y F, SUN P Z, JIANG Y, et al. Bytetrack: Multi-object Tracking by Associating Every Detection Box [C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 1-21.
[42]
SONG S P, DONG C Q, QIN K J, et al. Research on Time Synchronization and Spatial Calibration Algorithms of Radar and Camera [C]//2022 2nd International Conference on Detection Technology and Intelligence System(DTIS 2022). Bristol: IOP Publishing Ltd., 2022.
[43]
DAWSON-HOWE K M, VERNON D. Simple Pinhole Camera Calibration[J]. International Journal of Imaging Systems and Technology, 1994, 5(1): 1-6.
[44]
DERPANIS K G. Overview of the RANSAC Algorithm[J]. Image Rochester NY, 2010, 4(1): 2-3.
[45]
CHOPDE N R, NICHAT M. Landmark Based Shortest Path Detection by Using A* and Haversine Formula[J]. International Journal of Innovative Research in Computer and Communication Engineering, 2013, 1(2): 298-302.