0 引言

在世界各地的交通运输基础设施系统中，混凝土桥梁被广泛应用。但桥梁常年遭受气候、环境等方面的影响，导致其表面很容易产生裂缝，存在很严重的安全隐患，因此定期进行桥梁检测与维护对于保证桥梁的安全非常重要。然而传统的桥梁维护方法通常需要技术人员现场检测并视觉识别裂缝，既耗时劳动强度又大，并且很难达到满意的检测准确率^[1]。因此，有关部门迫切需要新颖的桥梁裂缝检测技术来应对这些问题。

近年来，技术人员已尝试将图像处理技术、模式识别技术以及计算机视觉技术应用于设计高效且智能的裂缝识别系统中。文献[2]中提出了基于阈值的图像处理算法，其通过在局部区域设置阈值来定位裂缝的位置；然而，在照度不均匀或裂缝与背景对比度不高的图像上，这种方法的裂缝误报率很高。文献[3]中采用PCA算法，将图像分为若干个小块，并将小块分别作为独立单元进行PCA处理，在一定程度上增加了局部裂缝检测的准确率，但这种检测方法是基于块级而不是像素级完成的，因此在正确表示裂缝宽度时存在局限性。文献[4]中采用边缘检测算法来检测桥梁裂缝的边缘，其能够在裂缝与背景的边缘处检测到强度的急剧变化，但主要缺点是无法检测到完整的裂纹轮廓。而文献[5]中基于BCEM模型的裂缝检测方法，融合了传统图像方法与深度学习技术。

尽管上述裂缝自动检测方法皆在裂缝识别领域取得了一定的成果及影响力，但此类方法均未考虑在复杂条件下的裂缝检测效果。然而在桥梁裂缝检测的大环境下，时常会出现类似钢筋、手动标记物以及水渍等干扰物^[6-8]。因此，为了应对此类问题，迫切需要探索出更为有效的裂缝检测方法。

随着深度学习算法的发展以及研究者计算机技术运用能力的不断进步^[9-10]，裂缝自动检测领域又增添了新的研究方向，即基于深度学习的裂缝识别检测技术。文献[11]中提出了基于卷积神经网络(Convolutional Neural Network, CNN)的有效深层网络, 用于检测3D路面裂缝，确保其像素级精确度, 并且与传统的深层网络相比，此CNN算法去除了池化层，在一定程度上提高了裂缝检测的精确度。文献[12]中提出了一种基于CNN和条件随机场(Conditional Random Field, CRF)的桥梁裂缝检测算法, 该算法首先通过特征提取网络与区域推荐网络对待检测图像进行初步的裂缝存在性预测，接着结合分类回归器与CRF对预测的裂缝空间位置信息进行建模，最后通过综合判定该区域是否为裂缝，有效地降低了误报率。文献[13]中提出了基于CNN和门控递归多层感知器(Gated Recurrent Multilayer Perceptron，GRMLP)的CrackNet-R模型用于全自动像素级裂缝检测，对图像采用序列建模，将每个生成的序列视为像素的输入序列，并及时预测输入序列为裂缝的概率，从而提高了裂缝检测的精确度。

本研究基于对以上方法的讨论，以及为了在复杂的桥梁裂缝检测大环境下提供多类型裂缝的像素级识别，提出了基于全卷积神经网络(Fully Convolutional Neural Network，FCNN)和朴素贝叶斯(Naive Bayes)数据融合的桥梁裂缝检测算法。其中，基于统计的朴素贝叶斯数据决策与融合方法，可通过整合多个图像信息有效避免裂缝检测的误报率。除此之外，本研究通过整合网络模型建立了一种基于深度学习的裂缝识别器，可用于低级噪音裂缝的骨架提取。

本研究首先对采集的桥梁裂缝图像采用滑动窗口、旋转以及拆分等图像扩增方法建立桥梁裂缝图像数据集；然后将基于全卷积神经网络与朴素贝叶斯数据决策与融合的桥梁裂缝检测算法进行训练，训练完成后对图像进行裂缝检测；接着对检测结果进行骨架化处理，提取骨架并求取裂缝的长度与宽度，从而实现对桥梁的健康评估，帮助检测人员及时发现问题并进行维护。

1 全卷积神经网络混合朴素贝叶斯数据融合的混凝土桥梁裂缝检测算法 1.1 混凝土桥梁裂缝数据集的建立

本研究所使用的桥梁裂缝图像均来自于桥跨结构底部。通常桥跨结构底部均处于低光照条件下，因此为了捕获其表面的裂缝图像，本研究开发了一种新型的高精度图像采集设备BSD-10(Bridge Substructure Detection)。此设备包含1个尼康(Nikon)D300数码单镜头反光照相机，其传感器尺寸为23.6 mm×15.8 mm；1个连接了1个双增距镜且焦距为500 mm的远摄镜头，以获得高分辨率；自动聚焦控制设备和闪光灯，以便在天气不好时增强照明。除此之外，为了收集距离和拍摄角度信息，该设备在采集装置的机械支架上安装了角度传感器和带有反馈激光的距离传感器，其总重量约为8 kg，BSD-10的详细技术参数如表 1所示。

与路面裂缝检测相比，桥跨结构底部表面呈现出更为复杂的裂缝和噪音分布特征，因此其裂缝检测要求具有更高的精度。本研究所使用的是基于深度学习的裂缝检测方法，为使检测效果具有更好的鲁棒性，通过图像采集设备从10座待检测桥梁的不同子结构中收集了一组包含各种裂缝的混凝土桥梁表面图像，共7 200张像素为2 366×3 433的图像，这些图像分别包含了阴影、油斑和水渍等噪音，以及不均匀的照明，其噪音分布示例如图 1所示。

另外，为了识别各种方向的裂缝以及增加裂缝数据集的多样性，通过图像旋转法和随机高斯变量法扩增裂缝数据集。首先将图像切割为同时具有3通道的RGB图像和1通道的灰度图像的图像块，其像素为224 pixel×224 pixel；接着将图像块分别旋转15°, 30°和45°，翻转90°, 180°和270°以获得不同角度的图像数据；最后，将随机高斯变量与裂缝图像的像素值合成(范围为从0.75到1.25，标准偏差为0.08和平均值为1.00)，分别将噪音应用于每个颜色通道，可获得不同亮度的图像数据，有助于从原始图像的背景区域分离出无裂缝的图像块。

当滑动切割窗口移动时，如果图像块中不包含裂缝像素，则将其丢弃。设N_p代表裂纹像素的数量，当且仅当N_p > 0时，存储切割的图像块，该方法有利于解决分类不平衡问题。最后，获得的裂缝数据集总共包括168 000个裂缝和158 000个非裂缝图像块。本研究是基于深度学习的裂缝检测方法，为了更好地训练NB-FCN模型，从建立的裂缝图像数据集中按6∶2∶2的比例随机抽取裂缝图像和非裂缝图像组成了训练集、验证集以及测试集，其数据集结构如表 2所示。

1.2 NB-FCN模型

受文献中提出的深度学习网络的启发^[14]，本研究提出了NB-FCN模型用于桥梁裂缝检测。模型的输入图像为3通道RGB图像，尺寸为224 mm×224 mm。卷积层或池化层后所带的数字代表输出数据的大小。其中，卷积层1到卷积层5在训练过程中保持相同的尺寸大小，均包含3×3的内核，其滑动步幅自始至终保持相同的步长，均为1。除此之外，卷积滤波器和输入矩阵在各个方向上都保持正方形。因此，每一层的输出矩阵也同样是正方形的形态。其次，池化层用滑动窗口构造输出层，类似于卷积流，并且逐层减小输入矩阵的尺寸，其平均池化层和最大池化层分别可从上层中接受的元素获得平均值和最大值，均包含2×2的内核，且步长为2，可以更好地保留卷积后最终特征图的空间分辨率。除此之外，为了避免出现在卷积阶段可能引起的尺寸变化，在前5层中每个3×3内核卷积运算之前，将前一个输出矩阵的边缘填充0, 而在6到8的卷积层中，在卷积运算之前，将前一个输出矩阵的边缘用0填充。

FCN算法对于裂缝的检测结果可以从卷积层8直接获得，然而通过完全卷积获得的采样结果非常粗糙。本研究所提出方法的检测结果并不直接来源于卷积层8，而是利用跳跃结构对不同的合并层结果进行上采样，然后组合输出最终结果，其输出集成了卷积层8、池化层3以及池化层4的输出。接着通过朴素贝叶斯决策与融合方法对结果进行数据融合，执行去卷积和上采样操作，以获得具有各种颜色的裂缝分类图像，其主要步骤如下：

步骤1：假设图像由n个切片组成，P (C_ck| x₁, …, x_n) 和P(C_nck|x₁, …, x_n) 分别为裂缝和非裂缝的后验概率。决策将切片确定为裂缝时，如式(1)所示：

(1)

式中，θ为决策的灵敏度；x_i(i=1, …, n)为从FCN获得的第i个切片的输出得分。由于FCN会针对每个切片独立于其他切片计算x_i，利用条件独立性的朴素假设，可得出f(x_i|x_i+1, …, x_n, C)=f(x_i|C)，将概率密度函数表示为f(·)。

步骤2：在式(1)的两边都采用对数函数：

(2)

或：

(3)

式中，f(x_i|C_ck)和f(x_i|C_nck)为似然函数；H_NB(·)将分类得分更改为对数似然比；δ_t=lg δ-lg P (C_ck)+ lg P(C_nck)为先验概率，决定灵敏度的大小。评估给定图像块是否为裂缝，评估其所有似然比的总和，若总和大于δ_s，则该图像块被列为裂缝；否则，将被列为非裂缝。其中，δ_s为一个最佳数值，为-26。

步骤3：通过步骤2分离出裂缝块和非裂缝块，而每个裂缝块仅包含裂缝的一部分。接着使用欧几里德距离作为收敛标准，若2个裂缝块之间的欧几里德距离小于25个像素，则收敛为一组。最后，将组内所有裂缝块的似然比相加，若总和大于阈值δ_t，则该组被分类为真实裂缝组；否则，将其分类为非裂缝组。δ_t决定了识别进度的灵敏度，经过多次试验，本研究中将δ_t设置为6.5。

1.3 计算裂缝长度与宽度

骨架在某种程度上可称之为裂缝的轴，其能够更好地表示裂缝的形态特征，进而计算出裂缝的长度、宽度以及其他信息，提取原理为去除图像的边缘点，只保持裂缝的初始形状。研究表明，通过对裂缝长度、宽度信息的观察，能够更好地掌握桥梁的损伤情况^[15]。首先，通过NB-FCN算法输出二值化裂缝图像结果；接着将图像进行骨架化，进而将裂缝图像分为几个子图像块; 最后，为了能更好地获取裂缝的其他信息，用不同的颜色表示每个子图像块中的连续裂缝曲线。

在图像分辨率已知的条件下，像素中裂缝的长度和宽度实际上可转换为物理值，通过计算图像中裂缝像素相对于图像总数的比例，可定量评估图像中裂缝的覆盖率。基于像素裂缝的长度和宽度，提出了一种通过使用电子距离测量来计算毫米宽度的算法，如先前的工作中所讨论的^[16]。当单个像素块中将裂缝表示为骨架时，可使用式(4)计算裂缝长度：

(4)

式中，f (x, y)为几何校准指数；Δl为骨架元素的有限长度。在本研究中，假设裂缝数据集由无几何变形的图像组成，可将f (x, y)简化为1。此时，平均裂缝宽度的评估方法可表示为式(5)：

(5)

式中，L为裂纹长度；ΔS为裂缝单元的有限面积。

2 试验与分析 2.1 试验环境

本研究中的试验结果均在具有高性能GPU(Geforce GTX 1080TI)和CPU(Intel Core i7-9700k，3.60 GHz)的集成工作站上进行模型训练得出。在此基础上，GPU执行大规模并行计算，而CPU可用于变量更新。本研究的网络模型代码是用Python 3.5编写的，而执行此工作的虚拟环境是在Tensorflow-gpu 1.7.0^[17]上构建的。并且此配置能够在Windows和Linux系统上执行训练过程。除此之外，为了提供NB-FCN模型程序最佳的训练和测试环境，还应用了深度神经网络框架CUDA。

2.2 NB-FCN模型训练

本研究采用10折交叉验证法, 将7 200张裂纹图像随机分为10组，编号设置为0到9，共进行10次分析。最终确定用于模型训练的训练集和验证集的裂缝图像数量分别为6 480和720。本研究的模型优化算法为随机梯度下降(SGD)，在每次迭代期间都有固定的参数更新范围，便于调整参数。其中，SGD算法的初始学习率设置为α=10^-4，失活率为0.8，而损失函数定义为式(6)^[18]：

(6)

式中，m为数据集的批次数，默认为3; 地面真实值中标签类别的组数被定义为n；{ [y⁽¹⁾，x⁽¹⁾], …, [y^(m)，x^(m)]}是数据集m的标记样品；lg为对数损失函数；‖w‖为w的L-2范数，使用权重λ/2作为迭代权重衰减的约束项。训练过程中，每个训练模型都会随机选择2个图像作为最小批次的输入，负梯度▽L(w_t)和反向传播参数w′ _t被同时应用以更新权重参数w，进而反复减少损失函数的值。将负梯度的权重表示为学习率α，反向传播参数w′ _t由动量μ更新，并设定当前参数为w_t，更新值w_t+1可由等式迭代表示为式(7)：

(7)

式中，μ默认设置为0.96。为了得到最优学习率，分别将α=10^-3，α=10^-4，α=10^-5和α=10^-6输入函数L (w)进行比较，得到了如图 2所示的4种学习率条件下的损失曲线。其中，深色实线表示训练损失，浅色线表示验证损失。

接着结合准确性(Ac)、精度(Pr)、召回率(Re) 和F1-Score(F1)作为指标来比较模型在训练集和验证集上的性能，进而确定最优参数，其计算方法分别如式(8)、式(9)、式(10)、式(11)所示：

(8)

(9)

(10)

(11)

式中，TP为负样本正预测；TN为正样本正预测；FP为负样本假预测；FN为正样本假预测。通过比较不同学习率下上述值的变化，最终确定最佳初始学习率α=10^-4。此时模型的准确率、精确度、召回率以及F1得分分别为97.96%，81.73%，78.97%以及79.95%。

2.3 试验对比与讨论

为了验证本研究所提出的方法，将NB-FCN分别与CT，RSF，CNN和FCNN进行裂缝提取结果与裂缝评价检测时间的比较。选取具有代表性的裂缝图像，分别为裂缝图像、带有手写和标记的图像、带有混凝土表面剥落的图像以及带有水渍和维修痕迹的图像等。为保证试验的公平性，将所有算法模型在相同的计算机硬件和软件环境下进行试验, 其裂缝提取结果和对比图 3所示。

从试验结果来看，当图像中存在各种非线性噪音时，CT裂缝检测算法几乎不能区分像素是否属于裂缝，其裂缝检测结果中的裂缝边缘更加收缩并且小于NB-FCN。而当图像中包含手写、表面剥落和水渍这样的噪音时，RSF裂缝检测算法很容易就将这些噪音识别成裂缝，误报率很高。因此，RSF更适用于识别相对较大的裂缝。而维修痕迹的像素值非常接近于裂缝的像素，对裂缝检测产生了很大的干扰，特别是CNN算法，将其大片区域都误报成了裂缝。图 3(第5列)显示了FCNN的识别结果，可以看出，其裂缝检测效果较优于前者，但裂缝周围仍然存着噪音。然而这些噪音都可能会干扰裂缝的骨架提取以及裂缝宽度计算。相对而言，NB-FCN算法经过优化，可以精确提取到图像中的裂缝，无论图像中的噪音是什么类型，都能够最大程度地规避噪音，实现了很好的检测性能。为了更好地说明NB-FCN算法在各方面的优势，如表 3所示，本研究列出了针对不同类型的裂缝图像，各个模型的识别准确率，可以看出，NB-FCN分别在只有裂缝、手写标记、混凝土表面剥落、水渍以及维修痕迹噪音方面具有较高的准确率，分别为0.979 6，0.951 2，0.974 0，0.958 9及0.966 4。

除此之外，对比了算法的检测时间来进一步验证本研究所提出的算法相对于其他算法的优越性，如表 4所示。从表中可以看出，在具有上述相同的计算机硬件和软件环境中，NB-FCN算法的平均检测时间为1.61 s，明显快于其余算法。而CT，RSF，CNN和FCNN算法的平均检测时间分别为3.66，4.95，15.76 s和21.78 s。

2.4 计算裂缝长度与宽度

为了评估算法的准确性和性能，本研究从桥梁裂缝数据集中选取了一组不同类型的裂缝图像，其中包含桥梁表面剥落以及水渍等噪音。通过NB-FCN模型对图像进行裂缝检测、二值化、骨架化以及骨架提取等，其结果如图 4所示。从试验结果可以看出，即使在光照不均匀、各种噪音干扰、背景灰度水平不同的情况下，所提出算法的裂缝提取结果仍然是比较稳定的。

接着，对本组图像进行裂缝长度与宽度的计算。以目视检查方式作为裂缝长度与宽度的真实值，用本研究方法所获取的结果作为预测值，比较结果如表 5所示。从结果来看，裂缝长度和宽度的试验误差小到足以满足工程要求。除此之外可以发现，除个别结果外，试验误差会随着检测距离的增加而增加。

3 结论

本研究提出了一种结合全卷积神经网络和朴素贝叶斯数据决策与融合(NB-FCN)的新颖算法来精确有效地识别桥跨结构缺陷。在不同的桥梁检测条件下应用了多传感器集成图像采集系统(BSD-10)采集图像，并且运用滑动窗口、旋转以及拆分的方法来扩增数据集，以避免发生过拟合等问题。为了验证模型能够应用在桥梁的裂缝检测上，本研究通过各种类型的桥梁缺陷图像对模型进行试验，例如手写、水渍和修复痕迹等。试验表明，NB-FCN算法不太容易受到桥梁表面噪音的干扰。与CT，RSF，CNN，FCNN算法相比，NB-FCN模型采用跳跃体系结构(SA)对分类结果进行上采样处理，用朴素贝叶斯决策与融合方法对输出结果进行优化。因此，其具有较高的准确度，运算速度快，且误报率最小。从结果来看，基于深度学习的NB-FCN模型应用算法可有效、准确地提取裂缝，能够用于桥梁的健康监测和维护。