0 引言

目前中国有约74万公里国省干线公路，每年至少实施一次全面的路面损坏状况自动化检测，将产生3.7亿幅高清路面图像，从上述海量路面图像中确定损坏位置、特征尺寸等信息，仅仅依靠人工识别方法难以满足公路养护管理的时效性和准确性要求，大规模的路面图像损坏识别需要采用智能、高效和准确的机器自动识别技术^[1]。

近年来，随着高性能计算机技术的发展，以深度卷积神经网络为代表的人工智能技术逐步在路面裂缝检测领域替代了传统的数字图像处理技术，其在效率、精度等方面均展示了明显的优势。同时，此类技术更适用于“端到端”的路面裂缝检测方法^[2-6]。

在基于深度卷积神经网络的智能化路面裂缝检测过程中，从检测结果的呈现上，目前国内外研究主要从块状级与像素级两个级别进行分析，其中块状级裂缝检测采用矩形检测框定位一幅路面图像中的裂缝区域并标注裂缝类型，结果可用于裂缝的快速定位与类别统计。Du等^[7]使用了45 788张图片的数据集，提出了基于YOLO网络的路面裂缝块状级检测方法；徐康等^[8]使用了13 000张图片，提出了基于改进Faster-RCNN的路面裂缝块状级检测方法；块状级路面裂缝检测的优点是检测速度快、检测效率高，但无法量化计算裂缝宽度、长度、面积等参数。相对于块状级检测，像素级路面裂缝检测更适合于路面裂缝定量检测。Alipour等^[9]针对固定尺寸输入图像造成精度缺失的现象，提出了一种基于深度全卷积CrackPix网络的像素级别裂缝检测方法；Nguyen等^[10]针对道路裂缝背景复杂等问题，提出了一种基于灰度图像的深度神经网络DNN的像素级裂缝识别方法，训练数据来源于公开数据集，图片数量仅有几百张；Tong等^[11]使用8 820张图片，提出了基于全卷积网络和一个不确定的框架像素级别裂缝识别方法；Huyan等^[12]使用3 000张图片，提出了基于U-net网络的像素级别裂缝识别方法。

综上所述，国内外学者基于深度学习的图像识别技术，或针对单网络模型进行微调并训练适用于路面裂缝的检测模型，或基于单网络模型的设计原理构建路面裂缝检测的深度神经网络模型，存在以下不足：(1)目前现有的方法训练集的图片数量较少，使用场景局限性大，应用不同场景的泛化能力有待验证；(2)忽略了对于复杂场景如特殊路面裂缝(白裂缝、浅裂缝、潮湿裂缝、修补开裂等)的提及及讨论，缺乏针对特殊裂缝识别准确率提高的网络结构和方法。

不同于块状标注和像素标注^[13-15]，中国国家及行业标准，包括《多功能路况自动化检测设备》(GB/T 26764—2011)、《公路技术状况评定标准》(JTG 5210—2018)和配套的《公路技术状况自动化检测规程》(JTG/T E61—2014)均采用了网格标注方法。上述标准采用了10 cm×10 cm或100 cm×100 cm像素的网格，不同颜色的网格代表不同的路面损坏类型。

因此，本研究应用实际道路检测中的70万张路面图像(网格标注、灰度图)作为试验数据集，在数据量上具有绝对的优势，在单网络上进行网络结构改造设计，形成基于复合图双网络的路面裂缝识别方法，在输入灰度图基础上增加二值图通道，强化边缘信息的同时，增加针对特殊裂缝的单网络，提升了路面裂缝自动化识别能力，具备广泛的路面裂缝识别工程应用前景。

1 复合图双网络方法

针对实际工程中网格标注的灰度图裂缝识别，使用单网络结构在一定程度上可以提取路面裂缝的病害特征，但对某些边缘对比不清晰的裂缝特征，以及对路面上的特殊裂缝(如白裂缝、浅裂缝、潮湿裂缝、修补开裂等)识别效果欠佳。基于此，本研究提出了一种复合图双网络的裂缝识别方法，如图 1所示。该方法在输入灰度图通道基础上增加二值图通道，用于增强图像的边缘特征；两个单网络分别用于提取非特殊裂缝、特殊裂缝等的裂缝特征，再根据概率单侧抑制的规则将两个单网络输出结果进行叠加，得出最终识别效果。针对该方法中包括的复合图、单网络结构以及双网络结果叠加规则，下文将分别详细叙述。

1.1 复合图

原始路面裂缝灰度图的人工识别，需要辅助路面图像的二值图进行某些特征不明显裂缝判定。卷积神经网络来源于模仿人类视觉神经对图像的认识识别过程，适当使用二值图能增强卷积神经网络对路面裂缝边缘特征的提取能力^[16]，但同时也会增强干扰因素特征。直接使用二值图可能会将大量路面的干扰因素误识别为路面裂缝，因此二值图并不能单独起作用。本研究在原始路面图像灰度图基础上，增加二值图形成复合图作为网络的输入图；具体实现在原始路面图像单通道灰度图的z轴扩展一个二值图通道，图像在x轴与y轴的尺寸不变，z轴尺寸由1变为2。

使用大津算法(Otsu算法)对路面图像进行二值化分割^[17]，将前景部分置为255，背景部分置为0。该方法不受图像对比度和亮度的影响，计算简单且易于操作，是一种自适应的灰度图像分割算法。

1.2 单网络结构

(1) 网络结构

复合图双网络方法中的单网络结构参考了U-net和VGG的网络结构，设计了CNN-7与CNN-10两种结构，如表 1所示，CNN-7(见图 2)与CNN-10相比减少了3个卷积层，其他层设置保持一致。考虑到本研究用于训练的图片数量较大，设计不同深度的网络，用于测试网络结构深度和数据量匹配效果；共采用5层池化层对原始图像进行下采样，每次池化后特征图长宽均缩小为原始大小的1/2(池化层的核和步长均为2)，5层池化后输出特征图的大小为原图的1/32；层间使用批标准化(Batch Normalization) 方法加速网络收敛；每层卷积层后使用ReLU激活函数增加非线性并缓解梯度消失问题；卷积层预先进行边缘填充，使得每个卷积层的输入输出保持相同尺寸。

用255灰度值填充原始路面灰度图(2 048 × 3 024像素)的下侧与右侧，填充至2 100×3 200像素。用于训练的原始路面图像数据尺寸全部被标准化处理为672×1 024像素，除此之外，未使用降噪等其他数据预处理方法；将传统卷积神经网络中位于网络末端的全连接层改造为仅有单个卷积核的卷积层，卷积层保留了上层特征图的位置关系，标准化处理后的图像数据输入网络之后，经单网络计算处理输出尺寸大小为21×32的概率矩阵，矩阵每个点位对应原始2 100×3 200像素图像中一个100×100像素的方格区域，每个点位取值范围在0~1之间，表示包含路面裂缝的概率。根据网络预测的概率值与训练图像对应的实际标记结果计算目标函数，将目标函数对网络中各个参数(卷积核上的连接参数与偏置值)求导，得到本次训练的参数更新值，卷积层的参数更新后再进行下一个数据的训练，如此循环直至训练次数达到预设次数后停止。

(2) 目标函数和优化方法

在路面裂缝检测场景中，裂缝与非裂缝的样本数量、分类错误的接受程度有较大区别。参考目标检测问题中的IoU目标函数与Zhang等^[18]提出的骰子系数，本研究提出一种正样本相似度指标作为目标函数，如式(1)所示：

(1)

式中，X 为由原始图像经过前馈网络形成的概率矩阵；Y 为由标记文本形成的标记矩阵；‖X‖₁和‖Y‖₁分别为两个矩阵的L₁范数；X × Y为两个矩阵的哈达马积(Hadamard Product)；smooth是为了避免除0错误而加入的平滑因子，本研究中取值为10^-3。

优化方法选用Adam优化法对网络参数自适应地优化更新。1阶矩衰减率β₁取值0.9，2阶矩衰减率β₂取值0.999，学习率α取值10^-3，平滑因子∈取值10^-8。

1.3 双网络结果叠加

两个单网络模型结构一致，一个用于提取非特殊裂缝特征，非特殊裂缝在路面图像中比较常见，特征相似且明显；另一个用于提取特殊裂缝特征，其特征与非特殊裂缝区别较大，特殊裂缝主要由白裂缝、潮湿裂缝、修补开裂等组成。

非特殊裂缝在路面图像中常见、特殊裂缝在实际的路面图像中占比较少^[1]，构建的训练集易出现两者比例不平衡的现象，直接使用全部训练数据以及网格标记训练单网络，即使目标函数收敛之后，网络仍不能有效提取特殊裂缝的特征，出现较多的漏识别现象。

本研究针对非特殊裂缝识别网络使用全部训练数据，针对特殊裂缝使用包含特殊裂缝的图像；在训练过程中两个网络的训练数据虽有重叠，但参数分别进行独立更新。使用优化完成的两个网络模型对同一个测试数据进行判定，即分别生成一个非特殊裂缝和一个特殊裂缝概率矩阵。将两个概率矩阵对应位置的值在概率叠加模块进行单侧抑制的叠加，叠加方法如式(2)所示：

(2)

式中，y_b为非特殊裂缝概率矩阵中特定位置的取值；y_s为特殊裂缝概率矩阵中特定位置的取值；threshold为超参数，表示产生概率增益的阈值，取值范围为[0, 1]，本研究将阈值设为0.5；ReLU(x)是非线性激励函数的一种，其定义如式(3)所示：

(3)

概率叠加模块的作用是，当路面中存在特殊路面裂缝区域时，增强原始概率矩阵中对应位置的概率值；当路面图像中没有特殊裂缝时，又不会对原始概率矩阵产生影响。概率叠加模块实际上就是要产生一个满足要求的概率增益，定义如式(4)所示：

(4)

不同于卷积层中ReLU函数的作用，此处使用ReLU函数作为线性整流器，将特殊裂缝概率矩阵y_s中低于阈值的概率增益视为干扰数据，将其置为0，避免这部分干扰进入到最终的判定概率矩阵中造成误识别干扰；大于阈值的概率增益形成y_a，被叠加到非特殊裂缝概率矩阵y_b上。

概率增益y_a与特殊裂缝概率值y_s的函数关系(threshold取0.5)如图 3所示。

由图 3可以看出，对特殊路面裂缝判定其概率未超过阈值不会产生概率增益，超过阈值之后会产生线性概率增益。使用概率叠加模块能够有效增强网络模型在特殊裂缝区域的识别能力。

2 试验设计 2.1 数据采集

本研究共使用70万张高清原始路面图像(单通道灰度图)建立数据集用于模型训练与测试，按1.2节描述填充后尺寸为2 100×3 200像素，网格标注结果见图 4。原始路面图像由采集车获得，相机放置于车顶且采集角度与路面垂直，镜头到路面的距离保持不变。图像数据排除了路标、行人、绿化带等位于路面垂直方向的干扰，然而由于采集时间与路面环境复杂性，仍包含了水渍、污渍、阴影、光照不均、标识标线等干扰。

图片被随机分为3部分，其中50万张组成训练集、10万张组成验证集、10万张组成测试集。

2.2 硬件和软件环境

本研究试验的硬件环境为一台包括4个NVIDIA TITAN X图形处理器的深度学习服务器。每个GPU的单精度浮点计算能力约为11TFlpos，显存大小为12 G。服务器内存为128 G，处理器为两个Intel Xeon E5-2637v4，共有8个内核，最大频率为3.7 GHz。本研究中的算法通过Python3.6进行编程与实现。

2.3 模型对比

总共使用了7种模型进行对比，包括灰度图单网络(7层&10层)、二值图单网络10层、复合图单网络10层、灰度图双网络10层、复合图双网络(7层&10层)，模型数据集以及试验环境保持一致。

试验的结果被分为5个组别进行对比分析。试验设计见表 2。

2.4 评价指标

本研究中的场景融合了计算机视觉领域中的物体定位和图像分类两类问题，若关注单个网格则可以看作针对网格小图像的二分类问题；若关注整张路面图像则可以看作在图像中寻找裂缝区域的位置。针对某一个100×100像素的识别网格，根据算法识别结果与实际标注结果是否一致，可以将单个网格的识别结果分为4种情况。

(1) TP：True Positive，真阳性，即识别结果与实际标注均为真。

(2) TN：True Negative，真阴性，即识别结果与实际标注均为假。

(3) FP：False Positive，假阳性，即识别结果为真，实际标注为假。

(4) FN：False Negative，假阴性，即识别结果为假，实际标注为真。

在物体定位问题场景中，评价识别效果一般使用重叠度(Intersection over Union，IoU)，其定义式如式(5)所示：

(5)

重叠度的指标越高，说明识别定位区域与物体实际存在的区域重合度越高，即识别效果越好。

在图像分类问题场景中，一般使用精确率(Precision，P)与召回率(Recall，R)这两个指标评价识别效果，其定义式分别如式(6)~(7)所示：

(6)

(7)

3 结果与讨论 3.1 测试集全部裂缝对比

7个模型训练完成后分别进行测试，前文所述的几种模型在全部裂缝测试集上的识别效果关键指标如表 3所示，表中TP，FN，TN，FP这4项数据表示该类别的识别网格个数。每张图像的网格个数固定为672个(21×32)。

按照分组对比结果如表 4所示。

从表 4中结果分析可知：

(1) 编号1和2试验结果表明，灰度图单网络模型，10层网络的实际识别效果明显优于7层网络；复合图双网络模型，10层网络的实际识别效果明显优于7层网络。这表明10层网络的提升对于单网络灰度图模型和复合图双网络模型均有提升效果。

以编号1试验为例，训练效果对比如图 5所示。在20轮训练之后，两种模型均已收敛，10层网络的识别效果始终优于7层网络，说明在灰度图单网络场景下10层网络的训练表现优于7层网络。由于卷积层的主要作用是将图像的局部特征进行抽取，随着层的加深，卷积层对初始图像的感受野也会变大，从而抽取更加高级的特征，所以减少卷积层在理论上会导致网络的特征表达能力以及抽象能力降低。

(2) 编号3试验结果表明，单网络10层模型中，复合图识别效果优于灰度图和二值图。

(3) 编号4试验结果表明，灰度图10层模型中，双网络的实际识别效果优于单网络。

(4) 编号5试验结果表明，相同层数下复合图双网络结构的实际识别效果最好。

上述测试效果表明，相比于灰度图单网络7层模型，增加层数、灰度图变复合图、单网络变双网络以及组合条件下，物体定位指标和图像分类指标识别效果均增加。

3.2 测试集特殊裂缝对比

测试集中的特殊裂缝图片占比约为15%，特殊裂缝图片测试结果如图 6所示，非特殊裂缝图片测试结果如图 7所示。

由图 6~7可知，无论是特殊裂缝还是非特殊裂缝，7种模型结构中，复合图双网络10层的识别效果最好，能够准确识别白裂缝、浅裂缝等特殊裂缝，而且对于光照不均、光照不足、标识标线等各种常见路面干扰因素具有较强的抗噪能力。

3.3 与其他模型对比

选择深度残差网络ResNet34和ResNet50与本研究方法进行对比，ResNet在2015年的ImageNet大规模视觉识别竞赛(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)中获得了图像分类和物体识别的优胜。

特殊裂缝与非特殊裂缝图片测试结果如表 5~6所示。

相较于模型Ⅰ，无论是非特殊裂缝还是特殊裂缝，ResNet34和ResNet50测试效果均有较大提升，主要原因是使用跳跃连接(shortcut)缓解了在深度神经网络中增加深度带来的梯度消失问题，更多的卷积层可以学习到更为复杂的高阶特征。ResNet50与ResNet34相比，进一步加深网络结构，网络性能没有随之提升，在精确率P和重叠度IoU指标出现了略微下降，表明仅依靠增加网络结构的深度，模型性能效果不会一直提升。本研究提出复合图双网络方法测试效果优于ResNet34和ResNet50，验证了本方法中复合图和双网络结果叠加的组合设计起到了提升非特殊裂缝与特殊裂缝识别效果的作用。

4 结论

本研究提出了基于复合图双网络的路面裂缝识别方法，并基于70万张真实路面图片进行了训练测试。研究结果表明：

(1) 复合图双网络识别重叠度IoU、精确度P、召回率R显著优于灰度图单网络，复合通道输入设计和双网络结果叠加设计均能够明显提升非特殊裂缝与特殊裂缝识别效果。

(2) 复合图双网络10层模型识别效果优于深度残差网络ResNet34和ResNet50，通过复合图和双网络结果叠加的组合设计，减少了网络层数，提升了识别效果。