公路交通科技  2022, Vol. 39 Issue (5): 50-56

扩展功能

文章信息

金肃静, 罗佳, 顾海荣, 刘胜, 韩帅
JIN Su-jing, LUO Jia, GU Hai-rong, LIU Sheng, HAN Shuai
基于深度相机的碎石撒布质量检测方法
A Method for Inspecting Quality of Gravel Spreading by Depth Camera
公路交通科技, 2022, 39(5): 50-56
Journal of Highway and Transportation Research and Denelopment, 2022, 39(5): 50-56
10.3969/j.issn.1002-0268.2022.05.007

文章历史

收稿日期: 2021-11-01
基于深度相机的碎石撒布质量检测方法
金肃静1,2,3 , 罗佳2 , 顾海荣2 , 刘胜4 , 韩帅2     
1. 浙江省交通运输科学研究院, 浙江 杭州 311305;
2. 长安大学 公路养护装备国家工程实验室, 陕西 西安 710064;
3. 浙江省道桥检测与养护技术研究重点实验室, 浙江 杭州 311112;
4. 丽水市交通工程质量监督站, 浙江 丽水 323050
摘要: 在道路工程中, 为了准确快速检测碎石封层施工中碎石的撒布质量, 采用基于TOF原理的深度相机获取碎石封层表面的彩色图像和深度信息, 基于最大类间方差法分析封层表面彩色图像, 将图像分为前景背景两类, 不断迭代计算类间方差, 识别分离表面图像中的碎石颗粒与沥青, 并基于形态学方法平滑处理碎石轮廓边缘, 剔除小径颗粒, 优化碎石轮廓, 基于碎石轮廓的像素比计算碎石覆盖率。利用获取的深度信息直观地观察整个封层表面凹凸不平的起伏程度, 对像素点深度信息进行卷积二重积分, 构建碎石封层表面的空间曲面, 计算碎石封层的路面构造深度。在实验室模拟直径9.5~19 mm的碎石颗粒撒布后的状态, 搭建图像采集装置, 分别在200 mm和300 mm高度获取碎石封层图像, 对碎石封层图像进行识别, 计算覆盖率, 分析在不同高度下该方法的检测误差, 并进行图像法深度信息检测与铺沙法检测结果的对比试验, 验证路面构造深度检测方法的正确性和可行性。结果表明: 利用深度相机采集碎石图像, 基于最大类间方差法可准确地描绘识别出碎石轮廓, 在不同高度下碎石覆盖率检测误差不大于2%;在同一路段, 路面构造深度检测与铺沙法检测结果误差不超过3%, 且可以保留封层表面的纹理与轮廓细节信息, 能够快速检测分析碎石撒布质量。
关键词: 道路工程     碎石撒布质量检测     深度相机     碎石封层     覆盖率     构造深度    
A Method for Inspecting Quality of Gravel Spreading by Depth Camera
JIN Su-jing1,2,3, LUO Jia2, GU Hai-rong2, LIU Sheng4, HAN Shuai2    
1. Zhejiang Scientific Research Institute of Transport, Hangzhou Zhejiang 311305, China;
2. National Engineering Laboratory for Highway Maintenance Equipment, Chang'an University, Xi'an Shaanxi 710064, China;
3. Keylaboratory of Road and Bridge Inspection and Maintenance Technology Research of Zhejiang Province, Hangzhou Zhejiang 311112, China;
4. Lishui Traffic Engineering Quality Supervision Station, Lishui Zhejiang 323050, China
Abstract: In road engineering, to accurately and quickly inspect the gravel spreading quality in the gravel seal, the color image and depth information of gravel seal surface are obtained by using the TOF principle based depth camera. The color image of the seal surface is analyzed based on the maximum inter-class variance method. The images are divided into foreground images and background images, the inter-class variance is iteratively calculated continuously, the gravel particles and asphalt mortar in the surface images are identified and separated. The edge of the gravel contour is smoothed based on morphological method, the small-diameter particles are removed, the gravel contour is optimized, and finally the gravel coverage is calculated according to pixel ratio of the gravel outline. The unevenness of the entire seal is visually observed with the obtained depth information, the double convolution integral is performed on the depth information of each pixel to construct the space surface of the gravel seal and calculate the pavement structure depth of the gravel seal. The spreaded state of gravel particles with diameter of 9.5-19 mm is simulated in laboratory, and an image acquisition device is set up. The images of gravel seal are obtained at 200 mm and 300 mm heights respectively, which are identified to calculate the coverage rate and analyze the detection errors of this method at different heights. The comparison test of the inspection results obtained by the image depth information method and sand spreading method is carried out, which verified the correctness and feasibility of the pavement structure depth inspection method. The result shows that (1) the gravel contour could be accurately described and identified based on the maximum inter-class variance method with the gravel images collected by depth camera, and the inspection error of the gravel coverage at different heights is not more than 2%; (2) the difference of inspection results between the 2 method is not more than 3% in the same road section, the texture and contour details of the seal surface can be retained, and the quality of gravel spreading can be quickly inspected and analyzed.
Key words: road engineering     gravel spreading quality inspection     depth camera     gravel seal     coverage rate     structure depth    
0 引言

碎石封层技术是一种高效、经济、快速的路面养护技术,运用碎石封层车将一定级配的碎石及沥青同步铺洒在路面上,通过胶轮压路机或自然行车碾压形成单层沥青碎石磨耗层,在公路工程中应用广泛[1-3]

碎石撒布的覆盖率是碎石封层施工质量的重要指标之一[4],会影响基层表面整体受力及沥青面层的抗裂能力,进而影响道路的使用寿命[5]。目前国内对碎石覆盖率计算方法已开展了部分研究,张国华[6]通过计算沥青喷洒量和碎石撒布量来衡量碎石封层的施工质量和覆盖率;谢立扬[7]在假定试验数据按正态分布的情况下,以撒布概率作为碎石撒布质量的评价指标;高晓刚[8]等人通过超声波测量以及均方差来判断碎石撒布的覆盖率。以上技术都未能直接观测封层表面数据,碎石覆盖率评价方法不够完善。

路面构造深度是表征路面微观构造的重要指标[9]。国内外获取路面构造深度的检测方法有铺沙法、排水测定法和激光断面检测法[10]。铺沙法将已知体积的标准沙均匀地铺洒在路面上,沙的体积与所摊铺面积之比为路面的构造深度,操作简单,但对标准沙的尺寸、干湿度均有严格要求,检测速度慢;排水测定法是通过检测一定体积的水通过路面所消耗的时间来反映构造深度,但水的流动性不易控制,测量复杂;激光断面检测法[11]采用激光传感器采集数据,测量结果精确,但设备昂贵。华南理工大学王端宜[12]提出采用数码相机获取路面图像,运用图像点的明暗差异表示路表的凹凸程度,再通过比例修正得到路表构造深度,此种方法易受路面纹理结构和光照影响。

针对上述问题,本研究对碎石封层施工中的碎石撒布质量评价方法进行研究。采用深度相机获取碎石封层的表面图像和深度图像,根据表面图像像素点的灰度差异,提出了基于最大类间方差法和形态学方法的碎石覆盖率算法,快速准确地识别分离碎石轮廓,并计算碎石的覆盖率;通过深度图像数据,构建碎石封层表面的空间曲面,计算碎石封层的构造深度;对碎石封层的碎石撒布覆盖率和表面构造深度指标进行评价。

1 碎石封层表面图像的获取

相比于超声波、雷达、激光等传感器,视觉传感器的成本更低,并且可同时获取碎石的彩色图像,已经被广泛应用于工业领域中。常见的基于视觉传感器的深度数据获取方法有双目测距法、结构光投影法和飞行时间法[13]。双目测距法和结构光投影法更依赖纯图像匹配,容易受环境光干扰,室外效果差,随检测距离增加,精度会变降低[14],而飞行时间法受环境光的干扰少,测量精度更高。本研究利用基于飞行时间法原理的深度相机采集数字图像,研究碎石封层的覆盖率和构造深度检测方法。

基于飞行时间法(TOF)原理的深度相机可以测量光脉冲在传感器与物体表面之间的飞行时间[15],飞行时间与光速的乘积是测量距离的两倍。被测物体与相机之间距离的计算公式如下:

(1)

式中,D为被检测面与深度相机之间的距离;c为光速,3×108 m/s; Δφ为发射信号与接收信号之间的相位差;f为信号的调制频率。图 1为图像采集试验装置。

图 1 图像采集装置 Fig. 1 Image acquisition device

将L515型深度相机固定在相机托架上,通过调整水平支架和竖直支架的位置,使深度相机与碎石封层表面保持平行,深度相机信号输出端与计算机连接,采集碎石封层的图像。

2 碎石封层表面的覆盖率计算

碎石覆盖率也就是图像中碎石颗粒像素占整个图像像素总数的百分比。为了准确区分图像中的碎石与沥青类别,研究了一种基于最大类间方差法和形态学方法的碎石封层覆盖率算法。

2.1 基于最大类间方差法的颗粒分离

计算机进行图像处理时,会将数字图像转换成为一个二维矩阵[16]。本研究采集的碎石封层图像为彩色图像,为了分析图像像素点灰度变化,并减少计算量,将采集到的三通道的彩色图像转换为单通道的灰度图像。

(2)

式中,R为红色通道像素的亮度级别;G为绿色通道像素的亮度级别;B为蓝色通道像素的亮度级别。

对灰度化后碎石封层图像进行二值化处理[17],凸显出封层表面的碎石轮廓。最大类间方差法(OTSU),是一种基于全局的二值化算法。首先根据图像的灰度特性,假设一分割阈值,将碎石封层图像分为碎石前景和沥青背景两类,根据前景和背景两类像素的均值和在全局像素中的比例,计算前景和背景的方差。封层图像中的碎石被错分为背景或部分沥青背景被错分为前景时,会导致计算出的方差变小;前景和背景之间的类间方差越大,说明构成图像的两个类间的差别越大。

(3)

式中,nq为灰度值为q的像素数量;n为图像中像素的总数。

为了得到合适的分离阈值k,获得最大类间方差:

(4)
(5)
(6)
(7)

式中,σB2 (k)为碎石和沥青两类别计算出的最大类间方差;m (k)为碎石图像的平均灰度级;P1 (k)为碎石前景类中的像素在全局像素中占的比例;P2 (k)为沥青背景类中的像素在全局像素中占的比例;mG为当分离阈值为k时整幅碎石图像的全局平均灰度级。

根据最大类间方差法不断迭代计算出碎石图像的最优分割阈值,利用最优阈值来对碎石的二值化图像进行处理,得到如图 2比较好的分割效果,可以明显的描绘出碎石轮廓,白色部分为碎石颗粒。

图 2 分割后碎石图像 Fig. 2 Gravel image after segmentation

2.2 形态学方法优化碎石图像

利用最大类间方差法可以有效的分割出碎石颗粒,但此时的碎石图像还存在一些不足,如碎石颗粒间彼此连接、边界模糊、一些碎石的内部存在空洞[18],应对分割后图像进行优化处理。本研究采用形态学方法优化碎石图像,形态学方法分为开运算和闭运算。

首先对分割后的碎石封层图像进行开运算,消除碎石轮廓图像边缘的狭小突刺,断开碎石轮廓之间细小狭长的部分[19]。再进行闭运算填补碎石轮廓图像中内部的小孔和边缘缺口,连接细小狭窄的断裂部分确保连通区域的完整性,平滑连通区域的边缘。

对二值图像进行开闭运算后的效果如图 3所示。

图 3 开闭运算处理分割后图像 Fig. 3 Processing segmented image by opening and closing operations

图 3(a)为开运算处理后图像,设置开运算的阈值为2像素。与二值化处理后的碎石图像相比,可以明显看到消除了其中碎石边缘比较狭小的突刺。图 3(b)为闭运算处理后的图像,填补了碎石轮廓内部的一些小孔,平滑了碎石区域的边缘,优化出一个最佳的碎石轮廓图像。

碎石和沥青同时铺洒时,在碎石封层图像中会有一些小径的碎石或沥青颗粒,对封层整体性能影响比较小,因此剔除一些小径颗粒。图 4为剔除直径3 mm以下的小颗粒状后的碎石图像。

图 4 剔除小颗粒 Fig. 4 Removing small particles

利用下式计算碎石撒布的覆盖率指标。

(8)

式中,ψ为碎石覆盖率;R为碎石封层图像中碎石的面积(像素数);A为整幅图像的面积(像素数)。

3 碎石封层的表面构造深度

路面的构造深度是指一定面积的路表面凹凸不平的平均深度,是评价路面质量的重要指标[20],以较低的成本快速获得高精度的路面构造深度指标是道路路面检测的难度和重点[10, 21]。本研究采用深度相机获取碎石封层深度图像,通过距离封层表面的深度数据计算路面构造深度,对碎石封层的撒布质量进行评价。

利用深度相机获取的碎石封层深度数据如图 5所示,其中XY为获取深度数据的像素坐标,Z轴为深度图像上每像素点深度相机距封层表面的距离,在深度图像上不同的深度表现为不同的颜色。

图 5 封层表面深度数据 Fig. 5 Surface depth data of seal

图 6为封层表面某一断面的深度信息,其中F0为整个深度信息的平均值,断面曲线的波峰与波谷表示每点像素深度,每点的构造深度为每像素点深度与平均深度的偏差值,整个断面曲线的平均构造深度为所有像素点的平均偏差值。

图 6 断面深度信息 Fig. 6 Section depth information

根据深度相机获取的整个表面深度数据,可以直观地观察到碎石封层表面凹凸不平的起伏程度,整个表面的深度数据减去平均深度并进行卷积二重积分计算,得到给定区域碎石封层的构造空间曲面体积V,并根据测量的碎石面积A计算出该测量表面的平均构造深度H

(9)

式中,F0为深度相机距离表面的平均深度;F (x, y)为获取的每像素点的深度数据;D为所测量表面的区域面积;V为空间曲面构造出的体积。

(10)

式中,H为基于深度信息的平均路面构造深度;A为测量的碎石封层表面积;φ为像素图像与实际图像的比例系数。

4 试验验证及分析

在实验室环境下模拟直径在9.5~19 mm的碎石颗粒封层铺撒后的状态,利用深度相机分别在距封层表面200 mm和300 mm处采集30幅碎石封层图像,对获取的彩色图像利用最大类间方差法和形态学处理,描述封层图像上碎石边缘轮廓,并计算碎石的覆盖率,如图 7所示。

图 7 30幅碎石封层表面覆盖率和阈值 Fig. 7 Thirty pieces of gravel seal surface coverage and threshold

图 7(b)为距表面200 mm和300 mm高度利用最大类间方差法计算的分割阈值,不同高度下的图像分割阈值接近。图 7(a)为距表面200 mm和300 mm高度下计算出的碎石覆盖率,两个高度的覆盖率趋势相同,计算的覆盖率在50%左右,碎石覆盖率误差在2%之内,表明该碎石覆盖率检测算法的准确性。

我国公路工程中常用的构造深度检测方法为铺沙法。本研究在碎石级配为9.5~19 mm的典型碎石封层路段随机选择5处封层表面,进行深度信息检测方法与铺沙法的对比试验,采集的每段碎石封层面积为300 mm×300 mm,基于深度相机获取的深度信息检测和铺沙法检测数据见表 1

表 1 5段碎石封层表面的检测数据 Tab. 1 Inspection data of 5-segment gravel seal surface
路段1 路段2 路段3 路段4 路段5
铺沙法体积/mL 470 490 560 540 500
空间曲面构造体积/(×105 mm3) 5.173 7 5.419 2 6.137 9 5.835 5 5.570 9
铺沙法构造深度/mm 5.22 5.44 6.22 5.89 5.56
深度信息构造深度/mm 5.08 5.29 6.01 5.70 5.45

图 8为5段碎石封层表面基于深度相机获取深度信息计算的表面构造深度和铺沙法获得的构造深度的比较曲线,两曲线趋势相同,且深度信息构造深度的最大检测误差在3%之内,结果表明利用深度相机获取深度图像计算的路面构造深度可对碎石封层表面进行准确检测。

图 8 5段碎石封层路面构造深度比较 Fig. 8 Comparison of pavement structure depths of 5\|segment gravel seal

5 结论

(1) 针对现有碎石撒布质量检测方法未能直接观测分析碎石封层表面问题,提出一种基于深度相机获取碎石封层彩色图像和深度信息,分析计算表面碎石覆盖率和封层路面构造深度,对碎石撒布质量进行评价的方法。

(2) 基于最大类间方差法和形态学方法,分离封层表面图像中的碎石与沥青,填补碎石内部空洞,锐化碎石边界,优化碎石轮廓,获得封层表面的碎石覆盖率;对获取整个表面的深度图像信息进行二重积分计算,构建给定区域图像碎石封层空间曲面,并通过各像素点深度偏差值计算碎石封层的平均构造深度。

(3) 在不同高度下采集多幅碎石封层图像进行覆盖率计算,误差在2%之内;分别选择5段不同碎石封层路段,比较深度图像路面构造深度与铺沙法获取的构造深度,最大误差在3%之内,表明该方法可用于碎石封层表面撒布质量的检测。

参考文献
[1]
马沉重. 改性乳化沥青纤维同步碎石封层技术的应用[J]. 筑路机械与施工机械化, 2010, 27(9): 51-53.
MA Chen-zhong. Application of Technology for Synchronous Modified Emulsified Asphalt Fiber Seal Coat[J]. Road Machinery & Construction Mechanization, 2010, 27(9): 51-53. DOI:10.3969/j.issn.1000-033X.2010.09.022
[2]
曹源文, 李亚南, 郑南翔, 等. PVA纤维水泥稳定碎石拌和均匀性检测技术[J]. 公路交通科技, 2019, 36(2): 7-13, 27.
CAO Yuan-wen, LI Ya-nan, ZHENG Nan-xiang, et al. Detection Technology of Mixing Uniformity of PVA Fiber Cement Stabilized Macadam[J]. Journal of Highway and Transportation Research and Development, 2019, 36(2): 7-13, 27.
[3]
刘强, 张志祥. 基于平整度的改建公路用户油耗模型及其测算方法[J]. 公路交通科技, 2021, 38(2): 132-138.
LIU Qiang, ZHANG Zhi-xiang. Analysis on Reconstructed Highway User Fuel Consumption Model and Calculation Method Based on Pavement Roughness[J]. Journal of Highway and Transportation Research and Development, 2021, 38(2): 132-138. DOI:10.3969/j.issn.1002-0268.2021.02.017
[4]
许学民, 朱浮声. 六盘山地区水泥石灰粉煤灰稳定碎石基层路用性能研究[J]. 公路交通科技, 2009, 26(6): 59-63.
XU Xue-min, ZHU Fu-sheng. Study on Road Performance of Cement, Lime and Flyash Combined Stabilized Macadam Base in Liupanshan Mountain Area[J]. Journal of Highway and Transportation Research and Development, 2009, 26(6): 59-63. DOI:10.3969/j.issn.1002-0268.2009.06.012
[5]
NING X Y. Study on the New Waterproof Bonding Material of Bridge Deck Pavement[J]. Applied Mechanics & Materials, 2015, 723: 468-472.
[6]
张国华. 同步碎石封层施工中的材料用量计算分析[J]. 科技创新与应用, 2020, 10(15): 59-60.
ZHANG Guo-hua. Calculation and Analysis of Material Consumption in Construction of Synchronous Crushed Stone Seal Coat[J]. Technology Innovation and Application, 2020, 10(15): 59-60.
[7]
谢立扬, 董强柱, 顾海荣, 等. 沥青同步封层车作业质量评价指标分析[J]. 筑路机械与施工机械化, 2014, 31(7): 69-72.
XIE Li-yang, DONG Qiang-zhu, GU Hai-rong, et al. Analysis on Evaluation Indicators of Operation Quality of Synchronous Chip Sealer[J]. Road Machinery & Construction Mechanization, 2014, 31(7): 69-72.
[8]
高晓刚, 王恩涛. 超声波声时判断混凝土的密实性与均匀性[J]. 北方交通, 2013, 36(S2): 73-75.
GAO Xiao-gang, WANG En-tao. Ultrasonic Sound Judgment on the Concrete Compactness and Uniformity[J]. Northern Communications, 2013, 36(S2): 73-75.
[9]
董祥, 张士萍, 丁小晴, 等. 沥青混凝土路面的纹理构造与抗滑性检测方法[J]. 公路, 2011, 56(11): 14-20.
DONG Xiang, ZHANG Shi-ping, DING Xiao-qing, et al. Textures and Testing Methods of Skid Resistant Performance for Asphalt Concrete Pavement[J]. Highway, 2011, 56(11): 14-20.
[10]
马荣贵, 王建锋, 李平. 沥青路面构造深度精确检测方法研究[J]. 科学技术与工程, 2014, 14(8): 265-268.
MA Rong-gui, WANG Jian-feng, LI Ping. Research on High Precision Measurement of Pavement Texture Depth[J]. Science Technology and Engineering, 2014, 14(8): 265-268. DOI:10.3969/j.issn.1671-1815.2014.08.052
[11]
KIM H B, LEE S W, LEE K H. Measurement of Texture Depth of Pavement Using Potable Laser Profiler[J]. Journal of the Eastern Asia Society for Transportation Studies, 2013, 10: 1576-1589.
[12]
王端宜, 李维杰, 张肖宁. 用数字图像技术评价和测量沥青路表面构造深度[J]. 华南理工大学学报(自然科学版), 2004, 32(2): 42-45.
WANG Duan-yi, LI Wei-jie, ZHANG Xiao-ning. Evaluation and Measurement of Asphalt Pavement Surface Texture Depth with Digital Image Technique[J]. Journal of South China University of Technology (Natural Science Edition), 2004, 32(2): 42-45.
[13]
ENDRES F, HESS J, STURM J, et al. 3\|D Mapping with an RGB-D Camera[J]. IEEE Transactions on Robotics, 2014, 30(1): 177-187.
[14]
WERNER D, AL-HAMADI A, WERNER P. Truncated Signed Distance Function: Experiments on Voxel Size[C]// International Conference Image Analysis and Recognition. Cham: Springer, 2014.
[15]
魏加立, 曲慧东, 王永宪, 等. 基于飞行时间法的3D相机研究综述[J]. 红外技术, 2021, 43(1): 60-67.
WEI Jia-li, QU Hui-dong, WANG Yong-xian, et al. Research Review of 3D Cameras Based on Time-of-flight Method[J]. Infrared Technology, 2021, 43(1): 60-67.
[16]
王世程, 于微波, 杨宏韬. TOF相机深度数据测量中的空间配准方法研究[J]. 组合机床与自动化加工技术, 2020, 62(7): 55-59, 64.
WANG Shi-cheng, YU Wei-bo, YANG Hong-tao. Research on Spatial Registration Method in Deep Data Measurement of TOF Camera[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2020, 62(7): 55-59, 64.
[17]
李保卫. 同步碎石下封层施工工艺及质量评价[J]. 交通世界(建养.机械), 2013, 20(12): 146-147.
LI Bao-wei. Construction Technology and Quality Evaluation of Synchronous Crushed Stone Lower Seal[J]. Transpoworld, 2013, 20(12): 146-147.
[18]
贠青青. 基于数字图像技术的厂拌水泥稳定碎石均匀性快速检测方法研究[D]. 重庆: 重庆交通大学, 2019.
YUN Qing-qing. Research on Method for Rapid Inspecting Uniformity of Plant-mixed Cement Stabilized Crushed Stone Based on Digital Image Technology [D]. Chongqing: Chongqing Jiaotong University, 2019.
[19]
AKIHIDE U, 周贤全. 用图像处理技术检测车辆地板下设备的新型可视化检测系统[J]. 国外铁道机车与动车, 2021, 58(4): 31-33, 39.
AKIHIDE U, ZHOU Xian-quan. New Visual Inspection System of Rolling Stock Underside by Image Processing Technique[J]. Foreign Diesel Locomotive, 2021, 58(4): 31-33, 39.
[20]
赵毅, 杨旋, 郝增恒, 等. 沥青混合料均匀性数字图像评价方法研究进展[J]. 材料导报, 2020, 34(23): 23088-23099.
ZHAO Yi, YANG Xuan, HAO Zeng-heng, et al. Research Progress on Digital Image Evaluation Method of Homogeneity of Asphalt Mixture[J]. Materials Review, 2020, 34(23): 23088-23099.
[21]
黄志福, 翟晓静, 梁乃兴. 基于数字图像处理技术的沥青路面构造深度的评价方法[J]. 合肥工业大学学报(自然科学版), 2017, 40(10): 1382-1388.
HUANG Zhi-fu, ZHAI Xiao-jing, LIANG Nai-xing. Study of Evaluation Method of Asphalt Pavement Structure Depth Based on Digital Image Processing Technology[J]. Journal of Hefei University of Technology (Natural Science Edition), 2017, 40(10): 1382-1388.