0 引言

机场跑道表观结构病害一直是影响机场飞机起降安全的严重隐患，道面开裂损伤是机场道面主要的结构病害。《民用运输机场运行安全管理规定》中对机场跑道检测提出了较公路道面更为严格的要求。受机场管理制度要求，机场道面开裂损伤检测只能在机场夜间停航后进行，由于夜间存在光照环境恶劣、阴影等问题，致使现有的基于可见光图像的道面病害检测技术无法适用于机场道面开裂损伤检测。增加可移动光源后，会使拍摄出的图像光晕严重，无法直接识别检测，因此亟需对夜间道面低照度图像进行图像增强处理以提高其质量，这对于机场安全运营、道面维护等均有深远意义。

当前最常见的图像增强算法是生成对抗网络(GAN)^[1]。自出现以来，GAN的原始结构一直在不断演变，针对特定任务的改进型GAN不断出现^[2]，如DCGAN^[3]、CycleGAN^[4]、StackGAN^[5]、StyleGAN^[6]等。改进的GAN在缺陷检测中体现出了强智能化和高可靠性等特点，其中CycleGAN模型不需要配对数据输入到模型中，使其在处理光照度方面具有较大的优势。

国内外学者对CycleGAN模型的应用进行了大量研究。Ostankovich^[7]开展了改进GAN的夜间检测和分割问题研究，对比了GAN与CycleGAN的效果。Shao^[8]提出了一种级联检测网络框架FteGanOd，通过改善对比度并抑制环境光的干扰，在夜间可高精度识别车辆。Zhao^[9]提出了一种基于DD-CycleGAN的去雾方法，利用CycleGAN将有雾图像转化为无雾图像。吴佳奇^[10]提出了一种基于改进CycleGAN网络的煤矿井下低照度图像增强算法，以提高井下采集图像的质量。然而，CycleGAN模型存在梯度消失和模式崩溃的问题，需要准备大量的数据进行模型训练，增加了训练的难度。

近年来，自注意力机制^[11]在图像特征提取与融合领域中应用较为广泛。高广尚^[12]分别从标准注意力机制、协同注意力机制、自注意力机制、层级注意力机制和多头注意力机制5个角度出发，归纳分析提高推荐模型的运行效率、泛化能力等。张健飞^[13]提出了一种以结构振动加速度信号为输入的基于多头自注意力的CNN模型，该模型易于训练且具有更加优秀的辨识能力。方巍^[14]提出了一种基于3D卷积和自注意力机制的卫星云图预测模型，该模型能够较准确地预测云层的形态变化和运动轨迹。Huang^[15]提出了一种轻量级从粗到细稀疏的车辆Re-ID自注意力机制模型，该模型优于现有的重识别(Re-ID)方法，精度上也优于原始的自我注意机制。自注意力机制能结合图片内部像素的相关度对特征向量赋权，提高全局信息特征获取能力。

当前已有研究使用自注意力机制与GAN网络融合来实现图像增强。He^[16]在传统GANs中引入残差自注意力模块，并应用于数字岩心图像的构建，加强特征之间的相关性学习，提取更多的特征。Niu^[17]提出了一种新的基于差分进化的条件自注意力生成对抗网络(CSAGAN-DE)的不平衡数据分类方法。张振坤^[18]采用多头自注意力方法，通过关注不同尺度时序数据的隐含信息，实现自适应挖掘序列的变化程度特征，提升序列的预测能力。何自芬^[19]设计了一种融合自注意力特征嵌入的CSPTNet夜间机场跑道异物检测算法，增加了夜间机场跑道异物检测的手段。然而，关于CycleGAN模型与自注意力机制相结合实现图像增强的研究较少，并且已有的模型很少被用于夜间机场道面开裂损伤图像的处理。

综上，本研究将自注意力机制与CycleGAN网络中的生成器与判别器良性融合，使用CycleGAN对机场道面图像数据进行模态间的风格转换，从而实现低照度下开裂损伤图像的检测；提出一种自注意力机制与残差网络结合的特征提取模块，以解决不同光照强度下机场道面开裂损伤图像间特征模态的提取问题；提出一种基于自注意力机制的特征融合图像生成模型SAFF-CycleGAN，实现机场道面开裂损伤图像的特征提取、融合及生成，增强生成图像所需要的特征，使生成的图像更适用于夜间低照度机场道面开裂损伤检测。

1 基于自注意力机制的特征融合图像生成模型 1.1 模型网络结构设计

本研究提出的基于自注意力机制的特征融合图像生成模型SAFF-CycleGAN由生成器G (A)、G (B)和判别器D (A)、D (B)组成。SAFF-CycleGAN网络结构如图 1所示。将整理裁剪好的数据集Real A作为生成器G (A)的输入并生成Fake B；Fake B再作为生成器G (B)及判别器D (A)的输入进行对抗生成及判别；Fake B再作为生成器G (B)的输入，生成Rec A(还原A)，完成2个映射转换。针对夜间机场道面开裂损伤图像增强问题，本研究以CycleGAN网络为基础，增加自注意力机制，针对图像风格转换，特征提取融合，建立正向反向转换通道，从而保证在图像增强过程中真实图像的开裂损伤特征信息不变，加强生成器和判别器的训练。

1.2 SAFF-CycleGAN生成器结构

通过CycleGAN的工作流程可知，CycleGAN最大的特点就是需要2个生成器和2个判别器同时工作，形成循环及自身验证，SAFF-CycleGAN生成器结构如图 2所示。

图 2(a)中的数字表示特征图的批量大小、高度、宽度、通道数，例如(b, 256, 256, 3)表示批量为b、尺寸为256×256像素、通道为3的RGB输入图像。残差连接中的x表示残差块的输入特征张量，即进入残差块前的特征表示；+表示残差连接操作，将x与残差块内部运算的输出直接相加，实现恒等映射+残差学习，保证深层网络的特征传递效率，使网络既学习了输入到输出的残差，又保留了原始输入的核心信息。

图 2(a)中的生成器结构分为4层。第1层为扩充图像层，通过反射填充(见图中Pad2d(3)模块)扩大图像范围，保留边缘细节，为后续卷积操作提供更完整的特征输入。第2层为下采样层，包含3个“卷积-实例归一化-激活”组合模块(简称CIL模块)，逐步降低特征图尺寸，增加通道数，实现低分辨率、高维度的特征初步提取，例如将256×256的图像逐步压缩为64×64，通道数由3提升至256。第3层为自注意力残差网络层，由9个残差块(Residual _ Block)循环执行(见图中“×9”标识)，残差块通过“跳接(Skip Connection)”缓解梯度消失问题，支持网络深度增加；同时嵌入自注意力特征编码器模块(见图中Self-Attention)，捕捉夜间与白天道面开裂的全局特征关联，使局部裂缝与远处结构的特征产生依赖。第4层为上采样层，通过2次反卷积操作(简称CTR模块)提升特征图尺寸，结合自注意力特征解码器模块完成夜间到白天开裂特征的融合；最终通过反射填充与卷积操作，输出尺寸与输入匹配的增强图像。

在生成器设计中采用实例标准化方法(Instance Norm)。与基于批次统计的批标准化(Batch Norm)不同，实例标准化对每个样本独立进行归一化处理。鉴于本模型批处理规模设置为1，批标准化无法有效计算批次统计特征，因此选用实例标准化更为适宜。在测试时，实例标准化可以像训练时一样，标准化每个实例。由于未使用比例或位移参数，实例标准化同样也不需要学习权重。在生成器的最后使用Tanh函数，改变输出的范围。其余层均采用ReLU函数。

1.3 SAFF-CycleGAN判别器结构

SAFF-CycleGAN判别器结构如图 3所示。判别器的输入是真实的图像和生成的图像，输出的是判别结果，即真伪的概率值。因此，先经过1次不添加实例标准化的卷积操作，再进行3次CIL模块处理，实现图像的扩大，增加自注意力增强判别模块处理，实现第1次特征增强判别；通过零填充(Zero Padding)填充图像，通过CIL模块及Zero Padding使得图像可以再次输入自注意力增强判别模块，增强特征融合判别的能力；最后卷积输出概率值，实现图像的判别。

1.4 自注意力机制

将自注意力机制引入CycleGAN中与残差网络相结合，采用1×1卷积操作，将输入的图像转换为可被自注意力模块识别的特征量，并且减小计算成本，加快卷积速度。使用频谱归一化(Spectral Norm)对卷积层中的网络权重参数进行归一化处理，有助于SA-CycleGAN模型更加顺利地推进学习进程，加快卷积速度。

自注意力机制模块是对卷积的补充，帮助卷积对大范围多层次跨图像区域的依赖关系建模。对于一张特征图 F ∈R^C×H×W，其中H和W分别表示特征图的高度和宽度，C表示特征图的通道数，Self-attention通过一系列1×1卷积将 F中的每个位置投影为3个长度为d的隐向量 q, k, v ∈R^n×d(R表示实数域)，通过这3个向量可以计算出某个位置与其他位置间的相关关系。特征图 F中某点(i, j)的注意力值计算方式为：

$ \begin{equation*} \text { Attention }\left(\boldsymbol{F}_{i, j}\right)=\sum\limits_{H=1}^{H} \sum\limits_{W=1}^{W} \operatorname{softmax}\left(\boldsymbol{q}_{i, j} \boldsymbol{k}_{H, W}^{\mathrm{T}}\right) \boldsymbol{v}_{H, W } 。\end{equation*} $

(1)

对于特征图 F中的所有位置构成的自我注意机制矩阵的计算方式为：

$ \begin{equation*} \text { Attention }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})=\operatorname{softmax}_{k}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{d_{k}}}\right) \boldsymbol{V} \text {, } \end{equation*} $

(2)

式中，Q, K, V为特征图 F上所有位置(i, j)的隐向量 q, k, v所组成的隐向量矩阵；Q, K, V ∈R^n×d，n= H × W。

生成器使用自注意力机制，可以抽取需要的图像特征，将局部和遥远部分的细节信息相互关联。此外采用鉴别器也能更好地进行全局图片结构的判断。在夜间与白天转变过程中，增强了特征学习，使得白天图像特征可以更好地融合在夜间图像中。自注意机制的计算流程如图 4所示。通过计算特征图中每个位置与全局的注意力关系，网络可以不断学习和优化同一特征图中不同区域间的相关关系和重要性差异，以此来捕捉夜间开裂损伤的全局语义特征，可以很好地帮助网络理解裂缝的形态。

1.5 损失函数

模型采用最小二乘生成对抗网络(LSGAN)定义生成对抗损失，结合循环一致性损失与身份损失共同优化，使增强图像既保留道面开裂特征，又能完成从低照度到良好光照的风格转换。

(1) 生成对抗损失L_GAN

生成对抗损失用于约束生成器与判别器的对抗训练，使生成图像逼近真实图像分布。判别器D (A)和D (B)与生成器协同计算损失，如式(3)所示。

$ \begin{gather*} L_{\mathrm{GAN}}=\frac{1}{2} E_{x \sim A}\left[D_{\mathrm{B}}\left(G_{\mathrm{A}}\right)-1\right]^{2}+ \\ \frac{1}{2} E_{y \sim \mathrm{~B}}\left[D_{\mathrm{A}}\left(F_{\mathrm{B}}\right)-1\right]^{2}, \end{gather*} $

(3)

式中，E_xA和E_yB分别为从真实图像训练集A和训练集B中随机采样；x和y为采样变量；G_A和F_B分别为生成器G和F对真实图像生成的伪图像；D_A (·)和D_B (·)分别为判别器D_A和D_B对输入图像的判定。

(2) 循环一致性损失L_cycle

为保证图像循环转换中道面开裂特征不丢失，使用CycleGAN原始的循环一致性损失L_cycle，衡量真实图像与2次生成后还原图像之间的像素级差异，如式(4)所示。

$ \begin{gather*} L_{\text {cycle }}=E_{x \sim \mathrm{~A}}\left[\left\|G\left(G_{\mathrm{A}}\right)-A\right\|_{1}\right]+ \\ E_{y \sim \mathrm{~B}}\left[\left\|G\left(G_{\mathrm{B}}\right)-B\right\|_{1}\right], \end{gather*} $

(4)

式中，|| ||₁为计算2幅图像对应像素的绝对误差和；G (G_A)和G (G_B)分别为真实图像A和图像B经2次生成器G处理得到的Rec A和Rec B；‖G_B-B‖₁和‖G_A-A‖₁分别为真实图像B和图像A与其经生成器G生成的图像之间的损失。

(3) 身份损失L_identity

身份损失用于验证生成器是否真正“理解”不同域图像的特征模态，L_identity需尽可能小，以说明生成器能有效提取与融合道面特征，如式(5)所示。

$ \begin{gather*} L_{\text {identity }}=E_{y \sim \mathrm{~B}}\left[\left\|G_{\mathrm{B}}-B\right\|_{1}\right]+ \\ E_{x \sim \mathrm{~A}}\left[\left\|G_{\mathrm{A}}-A\right\|_{1}\right] 。\end{gather*} $

(5)

(4) 总损失L

将生成对抗损失、循环一致性损失、身份损失相加，得到基于自注意力的特征融合图像生成模型SAFF-CycleGAN的最终损失L，如式(6)所示。

$ \begin{equation*} L=L_{\text {GAN }}+L_{\text {cycle }}+L_{\text {identity }} 。\end{equation*} $

(6)

2 试验与分析 2.1 训练图像集构建

根据中国民用航空局发布的《民用机场飞行区技术标准》(MH 5001—2021)，现有机场跑道和滑行道的道面类型一般为水泥混凝土或沥青混凝土道面，因此SAFF-CycleGAN拟增强生成对象为夜间低照度水泥混凝土道面和沥青混凝土道面的开裂损伤图像。试验数据中，使用数码相机拍摄了夜间低照度沥青混凝土图像1 000张、夜间低照度水泥混凝土图像1 000张，以及可见光照沥青混凝土图像1 000张，其中可见光水泥混凝土图像选用了Github上的开源数据集CCIC(Concrete Crack Images for Classification)^[20]。

CCIC中含有开裂损伤图像20 000张，该数据集经过预先的去色处理，排除了颜色信息对生成式对抗网络的干扰，以保证最终的学习效果。使用数码相机拍摄的路面裂缝图像分辨率为3 042×4 032，无法直接进行生成对抗网络的训练，因此本研究在使用前先将图像按照256×256分辨率进行随机裁剪。数据集分配结果如表 1所示。

2.2 试验平台参数

本研究算法基于深度学习Pytorch开源框架，使用Python编程语言。工作站参数为：CPU采用i9-10900X，主频为3.7 GHz，运行内存为128 GB；GPU采用NVDIA RTX A5000，显存为24 GB；操作系统为Windows 10。

2.3 试验参数设置

本研究算法的各参数在训练过程中不断调整，最终确定Batch Size为1，优化器选用Adam，初始学习率为0.000 2，epoch为200，每训练5个epoch保存一次模型，循环损失权重为10，自身损失权重为0.1。

2.4 试验结果分析与对比 2.4.1 模型消融试验

针对本研究算法中生成器、判别器中增加的自注意机制，选择不同模型夜间沥青混凝土和水泥混凝土增强测试集与白天真实测试集进行消融试验; 对比验证自注意机制对夜间机场道面开裂损伤图像特征提取融合的有效性，消融试验结果如表 2所示。其中，Inception Score为图像之间的相对熵，得分越大则表示相差越大；FID为真实图像分布与增强图像分布之间的距离，得分越大则表示增强分布越远离真实分布；R-precision为增强图像与原始图像之间的相似概率，越大则表示二者分布描述越相关。

由表 2可知，在本研究模型SAFF-CycleGAN中去除自注意力机制后，3种图像质量评价指标均有不同程度的下降。在采用原始CycleGAN模型时，下降程度最大，证明自注意力机制在CycleGAN模型中的作用是正向促进的，自注意力机制在夜间机场道面开裂损伤图像训练集上有增强效果，使图片细节更加明显。针对本研究模型去除生成器自注意力机制和去除判别器自注意力机制的对比可见，自注意力机制作用在生成器中对图像质量产生的增强效果强于判别器，证明自注意力机制在特征提取方面的贡献更加明显。

2.4.2 SAFF-CycleGAN增强效果视觉评价

应用测试集测试模型生成效果，从400个测试生成的结果中随机挑选10个。本研究模型主要适用于增强夜间机场道面裂缝图像，选取生成图像中夜间转换到白天的类型进行视觉评价。基于增强生成结果通过视觉评价可知，该模型对夜间低照度机场道面开裂损伤图像有较好的增强效果。对于沥青混凝土，在epoch26及之后的图像增强转换效果良好。对于水泥混凝土，在epoch54之后开裂损伤特征提取融合效果明显。增强模型生成的图像无光晕和阴影，色彩无失真，图像信息完整且细节特征明显，有效实现了夜间低照度机场道面开裂损伤图像向良好光照条件下的增强转换，为后续目标检测和图像分割提供了较好的基础。

2.4.3 SAFF-CycleGAN增强效果客观分析

为客观评估本研究所提出模型的增强性能，在视觉评价基础上进一步采用多种图像质量评估指标进行量化分析。试验针对沥青混凝土道面和水泥混凝土道面分别展开，增强图像集包括由模型生成的夜间沥青混凝土开裂图像集Fake A，以及夜间水泥混凝土开裂图像集Fake B。真实图像集则包含2组不同来源的光照良好沥青混凝土开裂图像集Real A和Real B，以及2组对应条件下的水泥混凝土开裂图像集Real C和Real D。

首先通过计算Real A、Real B和Real C、Real D之间的指标得分，建立基准分数。该分数反映了不同真实图像集之间固有的、可接受的差异范围。随后，将增强图像集Fake A和Fake B与各真实图像集进行对比，得到相应的测试分数。通过比较测试分数与基准分数的差距，即可量化评估增强图像与真实图像的接近程度。选用Inception Score，FID和R-precision作为评估指标。对每一组图像组合进行3次评估并取平均值，最终结果如表 3所示。

由表 3可知，本研究模型增强生成的开裂图像集与真实集在Inception Score上得分相差最多为1.03分，最少为0.29分；在FID上得分相差最多为4.95分，最少为0.25分；在R-precision上得分相差最多为14.53%，最少为6.2%。3种评价指标的对比得分相差越小则表示增强图像越接近真实图像。考虑到开裂损伤图像之间不具备配对性，并考虑到误差影响，增强图像在3种评价指标上的对比得分均在合理范围内，客观证明了本研究模型对夜间低照度机场道面开裂损伤图像有增强效果，可以实现夜间低照度图像向光照良好情况的增强。本研究模型性能明显，避免色彩失真及保留图像信息，使增强后图像具有更好的视觉效果, 更适用于夜间低照度机场道面开裂损伤检测。

综上，本研究通过采用实拍数据集与公共数据集结合的形式，保证数据集真实、多样化且数量足够大，避免数据集对于结果的影响。在试验环节设置消融试验，验证了自注意力机制在SAFF-CycleGAN的生成器与判别器中对于图像质量提升及夜间道面开裂特征的提取与融合有一定程度的效果；对于SAFF-CycleGAN的增强效果进行了主、客观评价分析，使增强数据可视化，避免了单一评价的局限性；客观评价指标选择了图像生成领域比较具有代表性的Inception Score得分与FID得分，此外还增加了R-precicion指标，这3种指标对比说明SAFF-CycleGAN在夜间机场道面开裂损伤图像增强方面具有良好的效果，可为夜间低照度机场道面开裂损伤检测提供支持。

3 结论与展望

针对夜间低照度环境下，机场道面开裂损伤图像亮度不足，开裂细节特征不明显等问题，本研究在CycleGAN的生成器与判别器中引入自注意力机制，提出了一种基于自注意力机制的夜间机场道面开裂损伤图像增强模型。

(1) 实现自注意力机制与生成器中残差网络结合，以解决不同光照强度下机场道面开裂损伤图像间特征模态的提取问题。

(2) 实现带自注意力机制的生成器与判别器结合，形成基于自注意力机制的特征融合图像生成模型SAFF-CycleGAN，实现不同光照强度下机场道面开裂损伤图像间特征模态的融合。试验证明了自注意力机制可以弥补CycleGAN网络的不足，通过视觉评价与客观试验分析，证明了本研究模型的确具有使夜间开裂图像效果增强，突出开裂特征的作用。

本模型也存在训练时间较长、网络结构待优化、夜间不同低能见度待考虑等问题，在后续研究中将关注这些问题并加以改善。