公路交通科技  2023, Vol. 40 Issue (3): 69-75

扩展功能

文章信息

左文生, 张权, 刘畅, 王兵见, 杜进生
ZUO Wen-sheng, ZHANG Quan, LIU Chang, WANG Bing-jian, DU Jin-sheng
基于亚像素角点检测技术的桥梁拉索索力监测研究
Study on Monitoring of Bridge Cable Force Based on Sub-pixel Corner Detection Technology
公路交通科技, 2023, 40(3): 69-75
Journal of Highway and Transportation Research and Denelopment, 2023, 40(3): 69-75
10.3969/j.issn.1002-0268.2023.03.009

文章历史

收稿日期: 2022-03-22
基于亚像素角点检测技术的桥梁拉索索力监测研究
左文生1 , 张权2 , 刘畅2 , 王兵见3 , 杜进生2     
1. 镇江市港航事业发展中心,江苏 镇江 212000;
2. 北京交通大学,北京 100044;
3. 交通运输部公路科学研究院,北京 100088
摘要: 针对桥梁拉索索力监测过程中存在的传感器布设及维护困难问题,根据拉索振动状态与形状特征,对比分析了不同类型的图像特征提取与目标追踪原理。选定亚像素角点检测法作为获取拉索索力信息的方式, 提出了一套基于视频图像技术的索力监测方案:在拉索中间部位安置带有角点特征的标识板,采用视频拍摄设备录制了拉索振动视频并将其分解为逐帧图像,经降噪、畸变修复及裁剪后,对角点部位进行了亚像素级别的检测与定位,最终由分析处理得到了拉索振动基频计算索力值大小。通过室内试验的方式验证了该方案的可行性与准确性,试验结果表明:在所设工况下,采用亚像素角点检测技术测得的拉索振动基频与DASP系统测得的结果偏差在1%以内,该技术的应用具有较高的精度;提高视频拍摄的帧率可捕获更多时间节点的拉索振动信息,使得两种方式所得基频差值进一步缩小。将亚像素角点检测技术获得的基频值分别代入3类索力计算公式。与实际张拉力比较的结果表明:当张拉力较小时,考虑拉索抗弯刚度与垂度影响的Zui理论公式计算结果同实际值偏差最小;随着张拉力的提升,各理论计算值同实际值偏差逐渐缩小,故该方案可应用于桥梁拉索索力的监测。在实际工程中,采用工业相机结合长焦镜头可满足远距离监测需求。
关键词: 桥梁工程     拉索索力     亚像素角点检测算法     桥梁拉索     图像识别    
Study on Monitoring of Bridge Cable Force Based on Sub-pixel Corner Detection Technology
ZUO Wen-sheng1, ZHANG Quan2, LIU Chang2, WANG Bing-jian3, DU Jin-sheng2    
1. Zhenjiang Port and Maritime Business Development Center, Zhenjiang Jiangsu 212000;
2. Beijing Jiaotong University, Beijing 100044, China;
3. Research Institute of Highway, Ministry of Transport, Beijing 100088, China
Abstract: In view of the difficulties of sensor layout and maintenance in the process of bridge cable force monitoring, different types of image feature extraction and target tracking principle are compared and analyzed according to the vibration state and shape characteristics of cable. Selecting the sub-pixel corner detection method is as the way to obtain cable force information, the cable force monitoring scheme based on video image technology is proposed: A marker plate with corner features is placed in the middle of the cable, and the cable vibration video is recorded and decomposed into frame-by-frame images using video shooting equipment. After denoising, distortion repair and cropping, the sub-pixel level detection and positioning on the corners are performed, the calculated cable force values of the cable vibration fundamental frequency are obtained by analysis and processing at last. The feasibility and accuracy of the scheme are verified by laboratory experiment. The experimental result shows that (1) the deviation between the vibrating fundamental frequency of cable measured by sub-pixel corner detection technology and the result measured by the DASP system is within 1%, with higher accuracy; (2) increasing the video shooting frame rate can capture can capture more cable vibration information of time nodes, and reduce the difference between the fundamental frequencies obtained by the 2 methods. The fundamental frequency value obtained by sub-pixel corner detection technology is substituted into 3 types of cable force calculation formula respectively. The result of comparison with the actual tension force shows that (1) when the tensioning force is small, the deviation between the result calculated by Zui 's theoretical formula and the actual value considering the influence of cable bending stiffness and sag is the smallest; (2) with the increase of the tension force, the deviation between the theoretical calculation value and the actual value gradually reduces, so this scheme can be applied to the monitoring of the cable force of bridge. In practical engineering, industrial camera and telephoto lens can meet the needs of remote monitoring.
Key words: bridge engineering     cable force     sub-pixel corner detection algorithm     bridge cable     image recognition    
0 引言

拉索作为缆索桥的关键受力构件,其索力值大小和健康状态关乎桥梁应力分布和结构安全。当前,索力的监测方法包括压力传感器法、频率法、磁通量法和筋式光纤光栅测力法[1-3],其中,频率法因其设备选用灵活、结果准确等优点而被广泛应用[4-6]。频率法测索力理论构建了拉索自振频率与索力间的关系,根据拉索振动平衡微分方程,结合张紧弦或梁模型假设,得到不同边界条件下的索力计算式,分别为张紧弦理论公式、考虑拉索抗弯刚度与垂度影响的Zui理论公式和能量法理论公式[7-10]。实际工程中,拉索的自振频率可通过拾振器、声发射传感器或激光测振仪获取,但存在布设困难、费用高昂等问题,故考虑采用计算机图像学原理获取自振频率。

计算机监测结构位移的通用流程分为相机标定、特征提取、目标追踪、位移计算4个步骤[11],考虑监测对象为拉索平面内的自振频率,当成像平面同拉索振动平面平行时,无需通过相机标定将图像中的拉索像素坐标换算为物理坐标,仅获取像素坐标表示的时程曲线,作傅里叶变换即可得到自振频率。特征提取是目标追踪的基础,常见的图像特征有灰度特征、梯度特征、形状特征及颜色特征[12-14],目标追踪根据目标特征在图像序列或单张图像中进行像素坐标定位,从而描述位移变化情况。OpenCV开源库提供多种特征定位算法,如基于灰度特征定位算法的模板匹配算法,基于梯度、形状特征定位的边缘检测算法、直线检测和角点检测算法[15-17],本研究根据频率法测拉索索力理论,结合拉索形状特征,利用图像学定位原理,开发一套易于操作、可实现远程、非接触的高精度索力监测方案。

1 图像特征检测算法分析

数字图像作为计算机图形信息的载体,是一种对空间中辐射强度分布的表现形式,其基本组成单元为像素,是连续空间信息在成像空间中的离散,表达方式为I(r, c)。其中,I为像素值,采用二进制位来定义颜色、灰度等属性,rc分别为图像像素群的行和列,对图像的识别或检测多为采用基于像素值相关的计算[12]

模版匹配技术通过匹配度计算寻找目标对象中同模板相似的位置,此方法运算量较大且易受环境光照的影响。视频录制过程中,当拉索发生较大变形或光照强度变化过快时,将因目标与模板像素值差距过大而导致定位失败。边缘检测算法通过增强算子突出图像一阶导数、二阶导数等边缘特征,并由设定的阈值提取边缘点集实现边缘定位。该方法的使用将得到巨量的拉索边缘数据,导致关注部位的运动位置难以筛选,故不宜应用于拉索振动信息的检测。角点检测的判定依据为某邻域内两个主方向的特征值,采用窗口在被检测图像中任意方向滑动,比对滑动前后像素值变化判断角点的有无[15]。其中,Harris角点检测法主要通过窗口统计水平和竖向像素灰度梯度变化情况来判断角点。对于灰度分布比较均匀的“平坦”区域,梯度方向存在差异但幅值较小;对于角点存在的区域,则梯度值沿水平和竖向分散。根据该特征,将窗口内的像素值减去均值,再进行对角化,得到的特征值为主分量上的方差。若两个主成分特征值都较大,则代表梯度分布较散,梯度变化程度较大,符合角点在窗口区域的特点;若在“平坦”区域,两个特征值均较小,若在“边缘”区域,则一个特征值较大,另一个较小。Shi-Tomasi算法在Harris算法上进行了改进,主要是在计算所得两个特征值均大于设定阈值时,判定为角点。OpenCV提供了函数goodFeaturesToTrack来使用Shi-Tomasi法获取图像中“最好”的角点。通常情况下,输入灰度图像,确定想要检测到的角点数目,设置角点的质量水平,低于所设最低水平的角点将被忽略,把合格角点按角点质量进行降序排列并计算欧式距离,函数选取质量最高的角点并将它附近最小欧式距离之内的角点删掉,依次获取图像中所有的角点。

在拉索关注位置安置设有角点的标识板,采用角点检测技术仅追踪特征显著的角点位置坐标,最终获取信息量少且目标明确不易丢失。同时,考虑拍摄设备与拍摄对象距离较远的情况。该场景下,成像视场范围过大,单个像素对应现实长度过长,结构物信息被“粗糙”离散于像素矩阵中,关注点位定位精准度面临问题。图像处理中一般有两种提升检测精度的方法,一是提高图像获取系统的光学放大倍数或相机的分辨率,另一种则是引入亚像素技术弥补硬件差距,通过软件插值的方法将像素细分至0.01倍像素的精度,相当于提高100倍的分辨率,大大节省对系统硬件的投入。本研究基于OpenCV软件库编写包含cornerSubPix函数的程序实现对角点的亚像素级别检测。

2 基于亚像素角点检测技术的拉索索力监测试验 2.1 试验概况

采用室内试验的方式探究亚像素角点检测技术监测桥梁拉索索力的可行性。因频率法计算索力所用的频率为拉索振动基频,故首先通过亚像素角点检测技术获得基频信息,进而进行索力计算。考虑基频对应振型的最大振幅位于拉索中部,为方便位移信息获取,将带有角点的标识板预先安装在拉索中间位置处。调整拍摄设备焦距和方向,保证标识板位于取景器中心,保持成像平面与拉索振动平面平行。侧向敲击拉索后,录制视频并将其分解为逐帧图像,通过亚像素角点检测算法检测标识板内角点位置坐标,提取时程曲线,经傅里叶时频域转换后获得自振频率,代入索力计算公式计算索力值大小。

拉索选用环氧喷涂钢绞线,公称直径15.2 mm,喷涂标准外径16.1 mm,长度4 m,弹性模量E0=1.95×105 MPa。根据奈奎斯特定理,采样频率应至少为被采集样本最高振动频率的2倍[18],选用iPhone11智能手机作为视频录制设备,该机型支持120,240 fps两种高帧率模式,由液压阻尼云台三脚架固定手机设备。

使用划痕为0.38 mm的签字笔绘制标识板的角点,其余部分由喷涂填充。根据拍摄镜头焦距、物距及像素大小计算iPhone11单位像素对应的视场[19],在试验现场物距为3 m的情况下,像素识别宽度约为0.572 mm,大于角点边线尺寸,故像素级定位无法满足精准度要求,采用亚像素技术提高检测精度。同时,因标识板质量较小,不考虑其对钢绞线振动的影响。

设置多组拉索张拉工况,每组采样时长均为20 s,见表 1。安装DASP系统同步采集基频数据,作为亚像素角点检测方案的对照组,并通过与有限元模拟结果对比证实操作过程的可靠性。

表 1 试验工况 Tab. 1 Test conditions
工况 张拉力/kN 视频拍摄帧率/fps
工况1 5 120,240
工况2 10 120,240
工况3 15 120,240
工况4 25 120,240

2.2 有限元模拟

针对钢绞线螺旋结构特点,本研究采用UG三维建模软件进行几何模型的建立。设置中心圆柱体后,插入螺旋线作为扫掠的参考线,通过对其延展类型、方向、大小、螺距、长度参数进行配置完成整体建模。将钢绞线模型进行保存,并在Ansys Workbench中打开,选择六边形单元进行网格划分,两端单元尺寸2.0 mm,其他部位3.0 mm。

对于钢绞线受张拉的工况,调用热稳态分析和静态结构分析系统为钢绞线施加张拉力并完成模态计算。其中,钢材热膨胀系数按实际情况取1.2×10-5-1,降温温差根据热膨胀系数、张拉力、弹性模量及截面尺寸计算,以张拉力15 kN为例,降温温差取46.5 ℃来计算结构基频。其他工况的模拟与上述过程相同。

2.3 试验数据分析

待传入DASP系统的信号平稳后,敲击钢绞线,使其仅在成像平面内发生振动。在开始6.5 s附近达到峰值后震荡回落,持续时间约3 s,选取适当长度波段进行分析。选用adobe premiere pro软件,导入由iPhone11在120 fps模式下录制的视频,分解得到图像2 400张,单张图像大小为1 920 px×1 080 px。通过Adobe Photoshop Lightroom将图像进行畸变修复、降噪与曝光调整,同时为减少无关信息,加快计算速度,编写程序将图像裁剪为(720, 360)至(1 240, 600)像素范围。采用包含cornerSubPix的亚像素角点检测程序对标识板进行粗定位。调整搜索窗口尺寸、质量返还数、质量因子和最短欧式距离获取最佳坐标信息。

重复上述方法,以中心位置角点像素坐标作为纵轴数值,以序列号乘以时间间隔1/120 s为横轴数值,得到各工况拉索垂直于轴向振动的时程曲线,结果如图 1所示。对时程数据进行傅里叶变换求得各阶振动频率,如图 2所示。

图 1 各试验工况时程曲线 Fig. 1 Time history curve under each test condition

图 2 各试验工况频谱图 Fig. 2 Spectrogram under each test condition

图 3为通过加速度传感器检测、有限元模拟计算、手机120 fps模式下录制所获得的基频检测结果,对比不同工况下数据值可以发现:

图 3 120 fps录制模式下的基频检测结果 Fig. 3 Fundamental frequency detection result at 120 fps recording mode

(1) 各组张拉力下,采用亚像素角点技术所得拉索振动基频相较加速度传感器实测值偏差分别为0.24%,0.36%,0.83%,0.97%,精准度较高。

(2) 亚像素角点技术所得拉索振动基频较加速度传感器获取的频率偏小,采用有限元模拟计算得到的偏大。

(3) 随着张拉力的提升,采用各频率识别方式测算的基频值均逐步增大,如表 2所示。

表 2 基频测量结果 Tab. 2 Fundamental frequency measurement result
张拉力/kN 传感器实测值/Hz 有限元模拟值/Hz 亚像素角点检测值/Hz
5 11.718 11.749 11.690
10 15.625 15.605 15.569
15 18.554 18.806 18.400
25 23.437 24.459 23.096

求解拉索动力学方程可知,拉索的自振频率或自振频率的平方同索力值正相关,即随着索力的提升,在边界约束一定的情况下,其频率值越来越大。由于采用手机录制视频的帧率为120 Hz远小于加速度传感器的1 024 Hz,在录制过程中漏失部分位移信息,导致最终计算存在偏差。将iPhone 11视频录制帧率提升至240 Hz,经过对视频处理计算振动频率,所得结果见表 3

表 3 基频测量结果 Tab. 3 Fundamental frequency measurement result
张拉力/kN 传感器实测值/Hz 亚像素角点检测值/Hz
120 fps 240 fps
5 11.718 11.690 11.712
10 15.625 15.569 15.588
15 18.554 18.400 18.514
25 23.437 23.096 23.274

加速度传感器检测以及手机在120 fps,240 fps两种录制模式下获得的基频结果如图 4所示,可以发现:通过提高手机拍摄视频的帧率,可以使其在更短的时间间隔内捕捉到更多的钢绞线拉索振动信息,从而使获得的钢绞线振动基频与加速度传感器实测值更为接近。

图 4 240 fps录制模式下的基频检测结果 Fig. 4 Fundamental frequency detection result at 240 fps recording mode

3 基于频率法的拉索索力计算

在频率法测索力的基本假定下,通过建立拉索动力学方程[20]获得的索力计算公式主要包括张紧弦理论公式、考虑拉索抗弯刚度与垂度影响的Zui理论公式和能量法理论公式[7-10],将亚像素角点检测技术所得基频代入相应公式,计算结果如表 4所示。

表 4 索力理论值计算结果对比 Tab. 4 Comparison of calculated cable force theoretical values
张拉力/kN 张紧弦理论/kN 偏差/% Zui理论/kN 偏差/% 能量法理论/kN 偏差/%
5 6.192 23.8 5.355 7.1 6.160 23.2
10 10.989 9.8 10.922 9.2 10.947 9.4
15 15.518 3.5 15.423 2.8 15.468 3.1
25 24.756 0.9 24.606 1.5 24.693 1.2

通过对比发现:加载在钢绞线上的张拉力较小时,考虑抗弯刚度与垂度影响的Zui理论公式计算的索力值与实际值最为接近。随着张拉力的提升,由各理论公式计算所得索力值与实际索力值差距不断缩小。当实际索力达25 kN时,由张紧弦理论公式计算所得索力值最为接近。

4 结论

视频图像检测技术在桥梁工程中的应用属于健康监测的范畴,本研究旨在提升监测效率与精度,改善监测人员工作环境,促进监测手段向自动化与智能化迈进。通过分析试验结果可得:

(1) 在所设工况下,采用亚像素角点检测技术测得的钢绞线拉索振动基频与加速度传感器所测的结果偏差在1%以内,具有较高的精度。

(2) 提高视频拍摄的帧率可提高图像定位的精度。本研究在120 fps拍摄模式得到图像角点清晰,提高至240 fps后获取到更多的钢绞线拉索振动信息,计算结果随着拍摄帧率的提升而接近加速度传感器所测数值。

(3) 在加载的张拉力较小时,考虑抗弯刚度与垂度影响的Zui理论公式计算所得索力值与实际值最为接近,随着张拉力的提升,各理论公式计算值与实际值差距不断缩小。

实际场景下,大型桥梁结构拉索的振动幅度为厘米级别,振动频率多在10~20 Hz范围内[21]。由焦距、物距、像素尺寸关系公式计算可知[19],搭载长焦镜头的工业相机可满足百米距离下的拉索振动位移监测要求,根据本研究所提出的解决方案,预先在桥梁拉索中间位置安装带有角点的标识板,平行振动平面布设视频采集设备,结合亚像素技术获取拍摄图像中的标识板位置精确振动信息,进行计算获得实时索力值大小。故本索力监测方案具有实际工程意义,可在实践中作进一步深化和推广。

参考文献
[1]
袁凌风. 斜拉桥索力监测及桥梁状态评估分析[D]. 南京: 东南大学, 2017.
YUAN Ling-feng. Cable Force Monitoring in Cable-stayed Bridge and Evaluation of Bridge Stat[D]. Nanjing: Southeast University, 2017.
[2]
DONG J L, YAN X, LI S L. Cable Force Monitoring and Prediction for Cable Group of Long-span Cable-supported Bridges[J]. Journal of Civil Structural Health Monitoring, 2018, 8(4): 597-605. DOI:10.1007/s13349-018-0301-8
[3]
胡军, 陈宏波, 应汉雨. 光纤光栅在桥梁预应力索索力监测中的应用[J]. 武汉理工大学学报, 2011, 33(10): 96-99.
HU Jun, CHEN Hong-bo, YING Han-yu. The Application of Fiber Bragg Grating in Bridge Prestressed Cable Force Monitoring[J]. Journal of Wuhan University of Technology, 2011, 33(10): 96-99. DOI:10.3963/j.issn.1671-4431.2011.10.022
[4]
陈明. 频率法索力测定概率分析及参数识别[D]. 哈尔滨: 哈尔滨工业大学, 2014.
CHEN Ming. Probability Analysis and Parameters Identification of Cable Tested Tension by Frequency Method[D]. Harbin: Harbin Institute of Technology, 2014.
[5]
徐俊峰, 冯志敏, 李宏伟, 等. 基于动态监测的斜拉桥索振动幅值与索力识别研究[J]. 公路交通科技, 2022, 39(2): 111-116.
XU Jun-feng, FENG Zhi-min, LI Hong-wei, et al. Study on Vibration Amplitude and Force Identification of Cables of Cable-stayed Bridge Based on Dynamic Monitoring[J]. Journal of Highway and Transportation Research and Development, 2022, 39(2): 111-116. DOI:10.3969/j.issn.1002-0268.2022.02.013
[6]
闫维明, 许晓建, 李勇, 等. 基于振动频率法和优化功能的斜拉索索力测试研究[J]. 公路交通科技, 2015, 32(11): 61-67.
YAN Wei-ming, XU Xiao-jian, LI Yong, et al. Cable Force Measurement Based on Vibration Frequency Method and Optimization Function[J]. Journal of Highway and Transportation Research and Development, 2015, 32(11): 61-67. DOI:10.3969/j.issn.1002-0268.2015.11.010
[7]
INVINE H M, CAUGHEY T K. The Linear Theory of Free Vibrations of a Suspended Cable[J]. Proceedings of the Royal Society A: Mathematical, Physical and Engineering Sciences, 1974, 341(1626): 299-315.
[8]
ZUI H, SHINKE T, NAMITA Y. Practical Formulas for Estimation of Cable Tension by Vibration Method[J]. Journal of Structural Engineering, 1996, 122(6): 651-656. DOI:10.1061/(ASCE)0733-9445(1996)122:6(651)
[9]
任伟新, 陈刚. 由基频计算拉索拉力的实用公式[J]. 土木工程学报, 2005, 38(11): 26-31.
REN Wei-xin, CHEN Gang. Practical Formulas to Determine Cable Tension by Using Cable Fundamental Frequency[J]. China Civil Engineering Journal, 2005, 38(11): 26-31. DOI:10.3321/j.issn:1000-131X.2005.11.005
[10]
张巍, 王广政, 孙永明. 考虑抗弯刚度的斜拉索频率与索力分析[J]. 公路交通科技, 2012, 29(7): 64-69, 75.
ZHANG Wei, WANG Guang-zheng, SUN Yong-ming. Analysis on Frequency and Force of Stay Cable Considering Flexural Rigidity[J]. Journal of Highway and Transportation Research and Development, 2012, 29(7): 64-69, 75. DOI:10.3969/j.issn.1002-0268.2012.07.011
[11]
DONG C Z, CELIK O, CATBAS F N. Marker-free Monitoring of the Grandstand Structures and Modal Identification Using Computer Vision Methods[J]. Structural Health Monitoring, 2019, 18(5/6): 1491-1509.
[12]
章毓晋. 计算机视觉教程[M]. 北京: 人民邮电出版社, 2017.
ZHANG Yu-jin. A Course of Computer Vision[M]. Beijing: Post & Telecom Press, 2017.
[13]
CELIK O, DONG C Z, CATBAS F N. A Computer Vision Approach for the Load Time History Estimation of Lively Individuals and Crowds[J]. Computers and Structures, 2018, 200: 32-52. DOI:10.1016/j.compstruc.2018.02.001
[14]
MARR D. A Computational Investigation into the Human Representation and Processing of Visual Information[M]. Cambridge: The MIT Press, 2018.
[15]
毛星云. OpenCV3编程入门[M]. 北京: 电子工业出版社, 2015.
MAO Xing-yun. OpenCV3 Programing Introduction[M]. Beijing: Publishing House of Electronics Industry, 2015.
[16]
叶肖伟, 董传智. 基于计算机视觉的结构位移监测综述[J]. 中国公路学报, 2019, 32(11): 21-39.
YE Xiao-wei, DONG Chuan-zhi. Review of Computer Vision-based Structural Displacement Monitoring[J]. China Journal of Highway and Transport, 2019, 32(11): 21-39.
[17]
FENG D, SCARANGELLO T, FENG M Q, et al. Cable Tension Force Estimate Using Novel Noncontact Vision-based Sensor[J]. Measurement, 2017, 99: 44-52.
[18]
赵云鹏. 基于频率法的平行钢绞线斜拉索索力测试研究[D]. 郑州: 郑州大学, 2013.
ZHAO Yun-peng. Research on Testing Cable Force of Parallel Strand Stayed-cable Based on Frequency Method[D]. Zhengzhou: Zhengzhou University, 2013.
[19]
赵存华. 应用光学[M]. 北京: 电子工业出版社, 2017.
ZHAO Cun-hua. Applied Optics[M]. Beijing: Publishing House of Electronics Industry, 2017.
[20]
郑宪政, 郝超. 用振动法估算拉索张力的实用公式[J]. 国外桥梁, 1997, 25(3): 27-32.
ZHENG Xian-zheng, HAO Chao. Practical Formulas for Estimating Cable Tension through Vibration Method[J]. Foreign Bridges, 1997, 25(3): 27-32.
[21]
HUI L, CHEN W L, FENG X, et al. A Numerical and Experimental Hybrid Approach for the Investigation of Aerodynamic Forces on Stay Cables Suffering from Rain-wind Induced Vibration[J]. Journal of Fluids & Structures, 2010, 26(7/8): 1195-1215.