0 引言

作为新型的路面病害检测设备，道路巡检无人机以其低功耗、高自动化及巡检过程对路面交通无影响的特点在公路养护工作中起到了重要的作用。对道路巡检无人机拍摄的道路图像进行病害检测时，道路背景和车道线易对检测结果造成干扰^[1]。路面病害通常出现在频繁承受车轮载荷的车道区域，现有研究已提出多种有效的车道线提取方法^[2-5]，从而为其区域内的病害检测奠奠定了良好的技术基础。本研究重点讨论车道区域的提取方法，旨在通过准确提取路面图像中的车道区域，有效排除非车道区域和车道线造成的不利干扰，对实现路面病害的准确检测具有重要意义。

现阶段文献中鲜有涉及车道区域提取的方法，相关研究主要集中在车载视觉系统和高空遥感图像中的道路识别。针对自动驾驶及车辆辅助驾驶领域的车道检测，吴骅跃^[2]采用改进的区域生长法和最小二乘拟合方法实现非结构化道路的识别，但该方法仅实现了单车道的识别；Waykole^[3]和穆柯楠^[4]提出了车道线识别方法，可利用识别的车道线实现车道检测，然而这类方法仅可检测车辆当前行驶车道，且对无车道线的车道区域难以检测。针对高空遥感图像的车道检测^[5-6]，由于拍摄高度和视角的差异，高空遥感图像中道路的形状和大小与道路巡检无人机拍摄的道路存在显著差异，因此针对此类图像设计的道路识别算法并不能很好地适用于低空道路巡检无人机拍摄的道路图像。

在无人机道路识别方面，国内外学者基于传统机器视觉图像处理技术提出了解决方法。Lin^[7-8]先通过灰度阈值分割方法获得初始道路区域，然后利用hough变换检测方法筛选出符合条件的直线，连接这些直线便形成了完整的道路。该方法仅适用于简单直线型道路，对于复杂道路或弯曲道路的检测难以达到理想效果。王博^[1]依据路旁景观区域与路面之间在颜色信息差别，采用多方向拟合的区域生长法与颜色阈值相结合的方式实现了单通道路面区域的有效分割；董培^[9]和Zhou^[10]使用改进的graphcut算法进行道路检测，主要根据航拍图像各个区域对比度不同的特点检测道路。此类方法利用道路的颜色特征、背景对比度差异特征等单一特征来实现道路检测，然而当遇到车辆、复杂背景等情况时，检测精度会降低。候阳阳^[11]使用笔画宽变换算法得到各个图像的笔画宽度以后，结合实际道路的形状及颜色特征，利用聚类法进行道路区域分割，平均分割准确率为91.605%，但这种方法的检测准确率对道路宽度的一致性较为敏感。近年来，随着计算机视觉与深度学习的发展，卷积神经网络广泛应用于道路识别中^[12-15]，深度学习方法主要通过卷积、池化等操作完成特征提取，进而实现检测^[16]。但此类方法常由于训练数据的数量和质量问题导致识别效果不佳，且数据集需手工制作标签，训练深度学习模型费时费力。上述方法提取到的道路图像中未去除的车道线，仍会对病害检测造成干扰，因此有必要进一步探索面向航拍路面图像的车道区域提取方法。

已有研究基于车道区域和其他区域的显著色彩和边缘信息连续的特征，提出了综合颜色和边缘信息连续的特征，提出了综合颜色和边缘信息的车道区域提取方法。然而这类方法有2个局限：一是利用颜色信息可分割出大部分车道目标，但由于存在车道和背景颜色对比不鲜明的问题，会产生过分割及欠分割区域。二是边缘检测可获得图像完整的边界信息，但含有的信息简单，难以实现车道区域的辨识。针对上述不足，本研究充分利用颜色与边缘信息，通过利用形态学滤波处理方式和引入两遍扫描法实现了航拍路面图像中的非路面区域及车道线的有效去除，完成了边缘平滑、区域完整的车道提取，为后续路面病害的准确检测奠定了基础。

1 航拍路面车道提取方法

在处理航拍路面图像时，颜色分割方法易出现过分割的现象，而边缘检测方法存在信息单一的问题。为解决上述问题，首先，根据航拍路面图像内的特征，即车道区域与图像边界相交，设计过分割区域去除方法；其次，引入两遍扫描法，检测与标记边缘检测图像中的连通域，以便于更好地辨识车道区域。基于上述方法，利用标记图像与颜色分割图像完成车道区域识别，航拍路面图像车道区域提取方法流程如图 1所示，主要包含如下步骤。

(1) 进行原图像颜色空间转换，由RGB颜色空间变换到HSV颜色空间。

(2) 明确颜色分割阈值进行车道区颜色分割。

(3) 利用形态学滤波处理方式，结合车道区域位置特征信息去除颜色二分割图像的过分割区域。

(4) 利用Canny算子对原图像进行边缘检测，并做形态学滤波处理，确保车道区域边缘线连续。

(5) 通过两遍扫描法，对边缘检测图像中的连通域进行有效检测及标记。

(6) 将经过步骤(3)和步骤(5)处理后得到的图像进行逻辑运算，并消除颜色分割图像中剩余的过分割区域。

(7) 车道区域提取。

2 颜色分割 2.1 颜色空间的选取

由相机采集的彩色图像主要是以RGB颜色空间R，G，B分量的形式存储，3个颜色分量之间存在一定的线性关系，且亮度的变化会对3个分量值产生影响。RGB颜色空间内难以选到合适的车道区域颜色阈值，颜色分割效果不佳。

HSV颜色空间中的H，S，V这3个分量彼此间相对独立且互不影响^[12]，不会出现因某种分量值发生改变而造成其余分量值变化的问题，基于HSV颜色空间的颜色分割方法能够适应更多的场景。因此本研究进行的车道区域颜色分割是在HSV颜色空间内完成。由式(1)~(4)^[13]可以实现颜色空间转换，即由RGB转换到HSV。

(1)

(2)

(3)

(4)

2.2 初步颜色分割

一般情况下，路面由车道线和车道区域组成。为实现车道区域的颜色分割，须先明确其颜色阈值范围。首先从航拍的路面视频中以一定帧数间隔选取图像作为样本；然后，统计这些样本图像中代表性明显的车道区域的HSV分量值，并将各分量的最值分别设定为其所对应的高低阈值；最后，根据式(5)完成二值化处理。

(5)

式中，G (x, y)为二值化图像；h (x, y)，s (x, y)，v (x, y)分别为原图像的H，S，V分量值；T_h1，T_s1，T_v1和T_h2，T_s2，T_v2分别为H，S，V分量的高阈值和低阈值。

对航拍路面图像进行颜色分割后，得到的结果如图 2所示。车道区域的颜色分割结果存在过分割和欠分割的情况，见图 2(c)和图 2(d)。出现此现象的主要原因为：(1)部分背景区域与车道区域的颜色值一致。(2) 样本HSV值难以充分覆盖所有车道区域HSV值。过分割区域除包含非路面区域以外，还包含车道线区域，这2类区域均会影响最终车道区域的提取结果，因此需将其去除。此外，基于边缘检测的后处理方法可用于找回欠分割的车道区域。

2.3 过分割区域去除

形态学滤波是一种基于形态学理论的非线性滤波方法，能有效处理和提取图像中的形态特征。利用腐蚀运算处理颜色分割图像，能实现图像边界的有效收缩，且可将面积相对较小的过分割区域去除，而且在进行大面积车道区域处理时，采取腐蚀运算并不会显著影响到其形状与大小。

腐蚀运算无法完全处理过分割问题，考虑到航拍路面图像的特征，即图像至少有2个边界与图中长条状的车道区域相交，常为下边界和上边界，有时也可能包括侧边界。以该特点为依据，进行颜色分割图像区域的筛选和判断，以去除过分割区域。

3 区域标记 3.1 Canny边缘检测

边缘是图像灰度变化较大的非连续像素，是图像的重要特征。本研究选用Canny算子进行图像边缘检测，主要用于提取车道区域的边缘，通过结合颜色分割的结果，使提取的车道区域更为准确。为避免车道区域边缘丢失，使用较低的Canny阈值进行边缘检测，同时使用双边滤波进行去噪处理和窗口为3×3像素的形态学闭运算滤波器进行边缘连通处理。

3.2 连通域标记

在进行闭运算处理后，边缘检测图像可以划分为多个连通域，其中包含需要识别的车道区域，因此，需标记各个连通域。为实现此目标，本研究引入了两遍扫描法(Two-pass)^[14]，通过2次扫描进行每个连通域位置和范围的准确确定后，在每个连通域内填充不同的灰度值来完成标记。其扫描顺序由左至右，由上至下，扫描准则如下。

(1) 第1次扫描。若当前访问像素P (x, y)的像素值为1，则对P (x, y)的左及上邻域像素做判断，若P (x, y)的左及上邻域像素值为0，则将一个新的label值赋给该像素，且令label=label+1，则P (x, y)=label；如果P (x, y)的左及上邻域像素中存在非0的像素点Pixels，则将Pixels中的最小值赋给P (x, y)，即P (x, y)=min {Pixels}。第1次扫描结果如图 3所示。图中每一个表格代表一个像素点。图 3(a)中数字0表示无需扫描的背景像素点，数字1表示需扫描的目标像素点。图 3(b)中数字表示第1次扫描后目标像素点被赋予的label值。

(2) 第2次扫描。在完成第1次扫描后，确定当前访问像素P (x, y)的label值，然后寻找与该label值属于同一连通域的最小label值，将次最小label值赋给P (x, y)，通过这种方式完成第2次扫描。第2次扫描结果如图 4所示，图中数字表示第2次扫描后目标像素点被赋予的label值。采用两遍扫描法完成连通域标记的效果如图 5所示。

4 车道区域提取 4.1 图像与运算

图像处理时，将2幅大小相等的图像中的各个像素分别进行逻辑与运算的操作，被称为图像与“运算”。在本研究中，将过分割区域去除处理后得到的颜色分割图像与连通域标记图像的各个像素进行“与运算”。考虑到颜色分割图像中车道区域所对应的灰度值为255，其他区域则为0，而连通域标记图像内的各区域内的灰度值均不一样，通过“与运算”的方式便可分配不同的标记值于各个车道区域。

通过“与运算”处理后的图像中仍可能会存在一些过分割区域，即使通过腐蚀运算及位置特征比较相结合的方式，依旧难以消除这些过分割区域。而通过分析可知，这些过分割区域相比于车道区域面积更小，因此可以采用面积阈值方法将其去除。然后，“与运算”图像中剩余的非0标记值便为连通域标记图像中需识别的车道区域所对应的标记值。

4.2 提取最终的车道区域

经过4.1节中步骤的处理，有效地去除了颜色分割所生成的所有过分割区域。在“与运算”图像中，所有非0灰度值所标记的连通域均属于车道区域。在确定标记车道区域的灰度值后，结合原图像和连通域标记图像，使用式(6)提取车道区域。

(6)

式中，f (x, y)为最终的车道区域提取图像；c (x, y)为连通域标记图像；V_alue为车道区域的标记灰度值；(R, G, B)为在连通域标记图像中某点的像素值为V_alue时，原图像中对应点的像素值不变；(0, 0, 0)为在连通域标记图像中某点的像素值不为V_alue时，将原图像中对应点的像素值改为(0, 0, 0)。最终的车道区域提取效果如图 6所示。

5 试验与结果分析

为验证沥青路面航拍图像的车道区域提取性能，对提出方法的稳定性及有效性进行测试。利用SG906 PRO无人机于不同时间点在不同地区采集路面图像，通过3组试验测试方法的稳定性。试验1和试验2通过改变选取的颜色阈值及边缘检测阈值范围提取车道区域，试验3提取在不同场景下航拍的路面图像的车道区域。对试验3提取结果做像素级定量分析，以验证方法有效性。

5.1 稳定性测试

通过试验1来测试在颜色分割过程中选取不同颜色阈值时本研究方法的检测效果是否一致。使用无人机航拍一段路面视频，以一定帧数间隔选取样本图像，经试验确定车道区域的HSV颜色阈值范围为H∈[0, 120]，S∈[0, 50]，V∈[100, 180]，并在一定范围内改变阈值进行车道区域提取。饱和度反映颜色的鲜艳程度，而车道区域鲜艳程度偏低，且根据统计结果可知，饱和度分量的最小取值须为0。不同颜色的值提取效果如图 7所示。

由图 7可知，当最佳阈值范围变化时，本研究方法仍保持了一致的检测效果，对颜色阈值依赖性不高，而颜色分割方法的准确性则主要取决于选取的颜色阈值。在本研究方法中，为避免颜色分割时欠分割区域过大导致最终车道信息丢失，选取颜色阈值时应保证颜色分割时有尽可能少的欠分割区域。

通过试验2来测试在边缘检测过程中选取不同高低阈值时本研究方法的检测结果是否一致。通过多次试验确定航拍路面图像边缘检测效果较好的高低阈值分别为50和125。在一定范围内改变此高低阈值后使用本研究方法进行车道区域提取，选取不同视角下的航拍图像作为样本进行测试，效果如图 8所示。样本1覆盖了道路的左、右车道，样本2覆盖了道路的右车道及左车道的部分边缘，样本3覆盖了道路的左车道及右车道的部分边缘。由图 8可知，当边缘检测的高低阈值有所改变时，本研究方法依旧保证了一致的检测效果，稳定性强。

试验3使用不同场景下的航拍路面图像来检验本研究方法的稳定性。将颜色分割方法、基于DeepLab v3+^[15]网络模型的深度学习语义分割方法和区域生长法^[17]作为对比方法。颜色分割方法具有运算速度快、易于实现的优点，本研究在其基础上进行了改进，通过对比以验证本研究方法的改进效果。语义分割方法在图像分割任务中被广泛应用，DeepLab v3+被称作语义分割的新高峰，其架构是基于Xception网络。在DeepLab v3+网络模型训练阶段，从航拍路面数据集中选取338张图像，进行标注后用作数据集。通过图像旋转和镜像的数据增强方法扩充数据集后共计1 014张图像，最终划分得到训练集、验证集和测试集的样本数量分别为821，91，102张。利用迁移学习方法进行网络模型的训练，训练所得的模型在测试集上得到的交并比为82.52%。根据分割目标具有相似性质的特点，采用区域生长法进行目标检测，可去除复杂的图像背景，是常用的基于特征的道路识别算法。

使用无人机航拍不同地区的低等级公路和高速公路，分别采用颜色分割方法、语义分割方法、区域生长法和本研究方法提取车道区域，最终结果如图 9所示。图中样本1~5为单行车道公路，样本6~8为多行车道公路，样本9为有弯道与交叉口的复杂公路。图 9(f)为样本1和样本8在不同方法下车道区域提取图像中的同一位置放大图，即图 9中矩形部分。图中圆形部分为最终提取图像中存在的过分割及欠分割区域。

由图 9可知，颜色分割方法会严重受到颜色阈值的限制，由此造成了提取的车道区域图像中常存在过分割及欠分割现象。车道区域内病害信息的丢失主要由欠分割现象导致，如图 9中样本1在颜色分割方法下的局部放大图；过分割区域的形状通常较为不规则且复杂，容易被误识别为病害，如图 9中样本8在颜色分割方法下的局部放大图。语义分割方法可以较准确地识别车道区域，但对车道线(尤其是复杂车道线)，存在过分割和检测边缘不平滑的问题，如图 9中样本8在语义分割方法下的局部放大图；且语义分割方法对未学习场景的分割效果不佳，如图 9中样本3，4，9的语义分割结果图，会影响后续的病害检测工作。此外语义分割方法的准确率对数据集的数量和质量依赖性高，然而数据集标签需人工制作，工作量大，且网络模型的训练也需大量时间。利用区域生长法提取的车道区域也存在严重的过分割及欠分割问题，如图 9中样本1和样本8在区域生长法下的局部放大图。由此可见，使用颜色分割方法、语义分割方法和区域生长法提取的车道区域均不能很好地满足后续的病害检测工作。本研究方法能有效去除非车道及车道线区域，且提取的车道区域完整、边缘光滑，过分割区域极少，且欠分割区域位置主要分布在车道区域的边缘，丢失病害信息的几率小，如图 9中样本1和样本8在本研究方法下的局部放大图。本研究方法在各个场景下均有较好的提取效果，如图 9中对光照分布不均匀的样本2、无车道线的样本4及有弯道与交叉路口的样本9的分割结果图，这表明该方法性能稳定且鲁棒性强。

5.2 有效性测试

为定量描述本研究方法的性能，引入文献[18]中的基于GT (ground truth)图像的分割性能评价方法，通过计算分割图像的分割精度、过分割率和欠分割率。GT图像表示手工勾画出的分割图像，为理论分割图像。由于手工勾画难以避免误差及偶然性，因此需多次勾画，最终结果取均值。分割精度S_A，过分割率O_R和欠分割率U_R计算公式分别为：

(7)

(8)

(9)

式中，R_s为手工勾画出的理论分割图像的像素点个数；T_s为分割得到的目标图像的像素点个数；|R_s－T_s|为误分割的像素点个数；O_s为过分割的像素点个数；U_s为未分割的像素点个数。

对图 9中的样本1~9依次做像素级定量评价并进行对比分析，结果如图 10所示。

选取不同场景下的航拍路面图像共计376张，涵盖了多种分辨率大小的路面图像，以检验本研究方法对不同分辨率路面图像的适应性。其中路面无病害的图像179张，路面存在病害的图像197张，路面图像参数如表 1所示。

为统计不同方法下病害图像的病害信息丢失情况，定义了病害丢失率，计算公式为：

(10)

式中，R_L为病害丢失率；L为丢失的病害像素点个数；R为手工勾画出的理论病害区域的像素点个数。

定义运行速度来比较不同方法提取车道区域的快慢，计算公式为：

(11)

式中，S_R为运行速度；T为处理完所有图像需要的总时间；N为总共处理的图像张数。

使用4种方法完成车道区域提取后进行像素级评价，并对197张病害图像进行病害信息丢失率统计。为定量分析运行速度，在测试平台(Windows10操作系统)选取122张分辨率为1 280×720的路面图像进行测试，各项评价参数对比分析如表 2所示。

由表 2可知，本研究方法优于颜色分割方法和区域生长法，车道区域提取的平均精度分别提高了5.06%和17.98%，过分割率分别下降了3.87%和13.28%，欠分割率分别下降了4.67%和14.40%，检测效果提升明显，且病害丢失率分别降低了5.08%和35.19%，更好地保留了病害信息。与基于DeepLab v3+的语义分割方法相比，本研究方法在平均精度上升了0.41%，过分割率和欠分割率分别降低了2.08%和0.39%，非车道区域对病害检测的干扰明显减少，且有更低的病害丢失率(降低了0.06%)。本研究方法的运行速度明显优于区域生长法(减少了16.92 s/张)，与语义分割方法相近，仅增加了0.39 s/张，虽不及颜色分割方法(增加了5.22 s /张)，但本研究方法主要应用于航拍路面图像的离线检测，具有分割精度高、过分割率、欠分割率和病害丢失率低的优点，充分保证了检测的准确性与可靠性，验证了本研究方法的有效性。

为更加直观地比较在颜色阈值变化时本研究方法、颜色分割方法与区域生长法之间的性能差异，根据在不同颜色阈值下的分割结果图像与GT图像计算真阳率(True Positive Rate，TPR)和假阳率(False Positive Rate，FPR)。以TPR为纵坐标，FPR为横坐标绘制受试者工作特征(Receive Operation Characteristic，ROC)曲线图^[19]。ROC曲线下包含面积(Area Under Curve，AUC)越大(AUC为0~1)，则表示该类方法的综合分割效果越好。TPR和FPR计算公式为：

(12)

(13)

式中，T_P为分类正确的正样本数；F_P为分类错误的正样本数；T_N为分类正确的负样本数；F_N为分类错误的负样本数。

在选取376张测试样本的不同颜色阈值时，本研究方法、颜色分割方法和区域生长法的ROC曲线如图 11所示。由图可知，本研究方法的ROC曲线包含面积最大，为0.98。这表明该方法对车道区域提取的效果最佳。

6 结论

利用沥青路面航拍图像进行道路病害检测时，道路背景和车道线易对检测结果造成干扰。本研究基于沥青路面航拍图像的颜色及边缘信息，提出了一种车道区域提取方法，得到主要结论如下。

(1) 提取沥青路面航拍图像中的车道区域是有效识别路面病害的前提，避免了车道线及信息复杂、存在大量噪声等缺点的非路面区域的干扰，对提高病害检测的效率和准确性具有重要意义。本研究综合颜色和边缘信息，提出了一种面向沥青路面航拍图像的车道区域提取方法。

(2) 在376张相同测试集上以分割精度、过分割率、欠分割率、病害丢失率和运行速度为判断依据，进行对比试验。结果表明，本研究方法的分割精度、过分割率、欠分割率和病害丢失率明显优于颜色分割方法和区域生长法；与基于DeepLab v3+的语义分割方法相比，在过分割率更低，分割精度、欠分割率及病害丢失率稍优的情况下不需要花费大量时间进行数据集的制作与训练。本研究方法的运行速度虽不及颜色分割方法，但主要应用于航拍路面图像的离线检测，更高的精度保证了检测的准确可靠。此外，本研究方法中颜色阈值及边缘检测阈值可在较大的范围内取值，具有较好的稳定性。

(3) 本研究中，为使车道边缘线闭合而对边缘检测图像使用了形态学闭运算，导致产生了较高的过分割率。在后续的研究工作中，将改进边缘检测方法，降低过分割率。