0 引言

随着汽车工业技术的进步以及人工智能技术的发展，自动驾驶汽车技术已然成为当下研究的热点，其中车道线识别技术是自动驾驶领域的重要组成部分，是自动驾驶系统中车道辅助保持系统(LKS)和车道偏离预警系统(LDWS)的关键技术，高效实时的车道线识别技术可以显著提升自动驾驶汽车的行驶安全性^[1]。

目前最为常见的车道线检测方法可分为3大类：基于特征的传统方法、基于机器学习的方法和基于深度学习的方法。传统的检测方法分为特征选取和车道线拟合阶段，特征选取阶段利用图像的颜色梯度、纹理、灰度值和边缘检测等特征，然后拟合阶段利用直线模型、贝塞尔曲线模型等进行拟合。Wang等^[2]提出一种基于直曲线模型的曲线检测算法，该方法对大多数曲线路况具有良好的适用性，但在车道线污损、模糊不清等干扰下检测效率不高。Ma等^[3]提出基于改进的Retinex理论的低照度图像增强算法，可以有效地提取车道线边缘，抑制黑暗区域的噪声，但其依赖相机参数，实时性较差。传统方法对硬件要求较低，计算量小，效率高，但适用场景有限，在环境干扰少，简单场景下适应性强，在实际复杂道路行驶中，还存在着一定的局限性。

机器学习方法中，主要步骤为数据预处理、特征提取、选择分类器。Gopalan等^[4]通过建立像素特征描述符和采用boosting算法，再通过粒子滤波器跟踪车道标线，但在雾天或下雨的路况等情况下，仅凭视觉输入不足以检测车道标记。Son Jongin等^[5]提出基于色彩转换不变性对不同光照条件下、不用路面情况进行处理的方法，其处理方式较为单一，对于照明条件不足导致车道线颜色与平时差距大等情况并没有很好的鲁棒性。Kang等^[6]提出基于投影几何建立数学模型的检测车道线算法，但这要求成像系统具有一定的稳定性。机器学习的方法克服了传统方法的不足之处，提高了模型检测车道线的鲁棒性，但现实行驶环境复杂多变，需要更复杂的模型来支撑，采用手工构造特征的机器学习方法还存在一定的局限性，无法满足实际需求。

近年来深度卷积神经网络在智能道路交通领域中有着出色的表现，在路面裂缝识别^[7-8]与交通流量预测^[9]方面发挥了重要作用。同时，深度学习技术也被广泛应用在车道线识别任务当中。Ling等^[10]提出一种鲁棒的车道线检测方法，采用以VGG16为基础的卷积神经网络，加入编码器和解码器结构。该方法在车道检测速度和精度之间取得了很好的平衡，具有良好的鲁棒性。针对车道弯道处识别精度问题，Chen等^[11]提出车道标记检测器(LMD)，利用卷积神经网络提取鲁棒车道标记特征，采用扩张卷积降低复杂度，设计后处理算法来构建三阶多项式模型，提高了模型性能，能较好的适应弯曲车道。Xiong等^[12]提出一种快速和鲁棒的车道检测方法，该方法基于设计良好的多摄像机融合，集成消失点估计和特定的特征拟合策略，与传统方法相比，多摄像机融合框架显著提高了模型的准确性和鲁棒性，但不足之处在于该方法对相机参数依赖较高，准确度与相机参数密切相关。深度卷积神经网络在多个场景数据集中也取得了良好的结果，Badrinarayanan等^[13]提出的SegNet网络能够同时检测出建筑物、来往的行人、车道线等，在实例分割性能上表现优异，因场景数据较多，模型结构复杂，其实时性较差。Pizzati等^[14]提出了一种用于车道边界识别的端到端系统，采用两个级联的CNN网络，用ERFNet作为主干网络，完成了车道线的实例分割和分类，满足实时性的要求。轻量级的CNN模型，可以更好的部署在特定的硬件上，Yang等^[15]提出了一种简化的车道线结构损失函数，以轻量级的SqueezeNet为骨干网络，将深度学习模型应用到树莓派的智能车辆跟踪任务中，实时检测速度为23FPS，可以保证智能小车的跟踪任务，同时对车道不完整、光照差的环境有较好的适应性。Zou等^[16]采用多帧连续图像作为输入，并提出了结合CNN和RNN的混合神经网络，网络框架基于编码器-解码器框架，基于语义分割预测当前帧图像的车道位置，该方法在复杂环境中具有很好的鲁棒性，但其有强干扰的昏暗环境中适用性不高。Neven等^[17]利用Brabandere^[18]的思路来实现对任意数量车道线的检测，训练了一种视角转换的网络H-Net，更加鲁棒的完成视角转换，解决了车道线变化和视角波动的问题，但该方法Cluster很耗时，实时性较差。Ko^[19]等提出了一个可以检测任意车道数的网络PINet，并提出后处理算法消除杂点。该方法结合后处理算法后误检率降低，具有很好的鲁棒性，相比分割网络而言，该模型和计算开销很小。SGNet^[20]算法提出一种结构信息引导的车道检测框架，引入消失点引导锚固机制，并提出多层次结构约束，建立车道级对关系模型，并自适应处理图像级全局信息，可以精准地描述车道线并对不确定条数的车道线进行分类与定位。PolyLaneNet^[21]采用多项式表示法作为道路标线，并通过深度多项式回归输出多项式。这种方法速度更快，不需要后处理来进行车道估计，但车道的景观结构信息的作用尚未得到足够的重视和讨论，在预测曲线或远距离车道等困难场景时，性能不佳。综上所述，深度学习检测车道线的方法相较于传统和机器学习的方法，在复杂行车环境下有着更出色的性能，这基于深度卷积神经网络在学习图像各种特征上有着速度快、规模大的能力，具有很好的鲁棒性，更适用于车道线的检测。

现实场景中汽车行驶环境具有复杂多变性，光照变化，道路阴影，车辆及建筑物遮挡会对车道线的识别造成干扰，针对这些问题，提出一种基于SGRNeXt的车道线检测算法，首先通过车载前置摄像机采集图像，采用高斯滤波器和线性点运算结合的方法进行预处理，来减少不必要的噪声并提升图像的纹理细节，其次引入SAGAN，搭建SGRNeXt网络模型，采用全连接层分类的方式，用全局特征作为提取特征来解决感受野的问题，采用水平行方向上的位置选择、分类算法，直接预测输出车道点的位置，不需要聚类算法，速度因此有较大提升。该检测方法在有视觉遮挡和多变照明条件下对车道线的识别具有很好的检测能力，提升了模型对多样场景的适应性同时也提高了车道线识别在多样环境下的鲁棒性和准确性。

1 图像预处理

车辆的行驶环境具有多变性，车辆行驶过程中，道路表面往往会随着周围车辆的流动、建筑物阴影遮挡以及光照、天气变化等出现阴影和不同程度的曝光，这些干扰会降低识别车道线的准确度。因此，本研究在预处理阶段采用高斯滤波器和线性点运算结合的算法来对路面图像进行数据增强，降低环境对车道线干扰的程度。具体步骤如下：

(1) 采用高斯滤波器对输入图像I进行预处理获得I_p，二维高斯是构建高斯滤波器的基础，二维高斯分布见式(1)。高斯滤波器用窗口模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值，窗口模板系数随着距离模板中心的增大而减小，能够有效的抑制噪声，平滑图像。离散的高斯卷积核H: (2k+1)×(2k+1)可以用式(2)计算得到。

(1)

(2)

式中，(x, y)为像素点的坐标；(i, j)为高斯卷积核的坐标；σ为高斯分布的标准差；将各个位置的坐标代入到高斯函数中，得到的值就是模板的系数，k确定核矩阵的维数。

(2) 采用线性点运算对图像I_p进行处理，见式(3)。对图像中每个像素点的灰度值进行计算，从而改善图像显示效果。其预处理效果如图 1所示，图像处理后的效果明显改善，减少了噪声和天气变化的影响。

(3)

式中，A (x, y)为线性点运算前的图像像素值；B (x, y)为线性点运算后的图像像素值；a和b均为实数，当a=1，b=0时，图像不变；当a=1，b≠0时，图像的灰度值会随着b的变化而变化。

2 基于SGRNeXt的车道线检测算法 2.1 算法总体思路

本研究算法分两个阶段实现，训练阶段和测试阶段，车道线检测算法流程如图 1所示。在训练阶段，为增加数据的多样性和提高模型的鲁棒性，采用生成对抗网络SAGAN生成多种不规则、低分辨率的图像，随后进行标注，通过高斯滤波器和线性点运算结合的方法对图像进行预处理，基于超快速结构感知车道检测(UFLD)的思想^[22]，采用基于水平行方向上的位置选择与分类算法，结构见图 2，构建出SGRNeXt模型，见图 3。然后SGRNeXt模型对车道线进行标定和提取，生成权重模型。在检测阶段，同样采用高斯滤波器和线性点运算结合的方法处理优化图像，防止图像因天气变化、光照不均匀等对车道线检测精度的影响，最后基于SGRNeXt训练好的权重模型对车道线进行提取并输出检测结果。

2.2 在行方向上的位置选择与分类

将车道检测定义为车道线在图像中某些行上位置的集合，即图像水平行方向上的位置选择、分类。假设待检测图像大小为H×W，对于分割问题，该图像会产生H×W个分类问题。由于图像中上方部分为天空与车道无关，假设我们设置h个行，h≪H，此时进行水平行上的选择，我们只需要处理h个行上的分类问题，每行的位置分类问题是W维的。此种处理方式可以将H×W个分类问题简化为了h个分类问题，大大降低了计算复杂度，提升了分割速度。

H为图像高度，W为图像宽度，h为选取的行数，w为网格单元数(w+1维为无车道的情况)，f为用于选择车道位置的分类器，C为车道数，P为每个位置的概率，X为图像全局特征，Loc为车道线的位置。使用全局特征在每个预定义行上选择正确的车道位置。车道表示为预定义行的一系列水平位置，即行锚。网格化表示位置。在每行锚点上，位置被划分为100个单元。这样，车道的检测可以描述为在预定义的行锚上选择某些单元，其结构如图 3所示。

车道线预测公式见式(4)：

(4)

式中，P_i，j，：为(w+1)维向量，表示为第i车道、第j排锚点选择(w+1)网格单元的概率。假设T_i，j，：是正确位置的标签。然后优化见式(5)：

(5)

式中，L_CE为交叉熵损失。从式(4)中可以看出，此方法基于全局特征预测每行锚点上所有位置的概率分布。因此，可以根据概率分布选择正确的位置。

2.2.1 车道结构约束

利用水平行方向上的位置信息，加入车道线的先验约束——平滑性和刚性。由于车道线位置在相邻行上是相近且平滑变化的，所以将相邻行上分类的L1范数定义为平滑性，见式(6)：

(6)

式中，i为车道位置；j为车道所在行数。其中P_i，j，：为第j行锚的预测值，且‖·‖₁代表L1范数。将相邻行的二阶差分定义为车道线形状，因车道线直线偏多，所以二阶差分为0，所以约二阶差分与0的差异可以在优化过程中使得预测出的车道线更直，那么对应的形状约束见式(7)，式(8)：

(7)

(8)

使用二阶差而不是一阶差的原因是在大多数情况下一阶差不是零。但是二阶则可以将其弱化，因而可以相应减少对应的参数量，从而减少车道线弯曲带来的影响。最后，整体结构损失见式(9)：

(9)

式中λ为损耗系数。

2.3 基于SGRNeXt的车道线检测

本研究采用SGRNeXt算法在训练阶段检测车道线标定并生成权重模型，并用生成的权重模型去检测车道线，预测输出车道线的位置分布。该算法以ResNeXt-50为主干网络，其结构见表 1，总体算法结构见图 3，并在图森(TuSimple)车道线数据集上进行测试和验证。

2.4 基于SAGAN的车道线图像生成

现实场景中汽车行驶时，道路环境多变，车道形状不规范等情况，为提高模型检测的泛化能力和鲁棒性，引入SAGAN网络。SAGAN用自注意力机制去解决全局信息获取的问题，它既在每一层考虑了全局信息，也没有引入过多的参数量，在提高感受野和减少参数量之间达到了一个很好的平衡，车道线因形状布局的特点全局相关性较高，所以使用SAGAN能更好的获取全局信息。本研究以TuSimple数据集为基础，通过SAGAN生成若干张生成图像用于扩充数据集的多样性，提高模型整体对复杂环境的适应能力，其模型架构见图 4。

如图 4所示，f (x)，g (x)和h (x)都为1×1卷积，输出通道大小不同；将f (x)的输出转置，并和g (x)的输出相乘，经过归一化得到一个注意力图；将得到的注意力图和h (x)逐像素点相乘，得到自适应注意力的特征图。具体的计算方法如下：

记W_g∈R^C×C, W_f∈R^C×C, W_h∈R^C×C是学习的权重矩阵，都是通过1×1卷积实现，C=C/8。f与g为两个提取图像特征空间的公式，其中f(x)=W_fx, g(x)=W_gx。

用β_{j, i}表示在合成第j个区域时模型对第i个位置的影响程度，见式(10):

(10)

关注层的输出是o=(o₁, o₂，…, o_j，…, o_N)∈ ，其中，见式(11):

(11)

进一步将关注图层的输出o乘以比例参数y并添加回输入要素图x。因此最终输出见式(12)

(12)

式中，γ被初始化为0，然后逐渐为非本地特征分配更多权重。SAGAN中的生成器G和判别器D通过最小化对抗性损失的铰链形式以交替方式进行训练，其采用的Loss表达式见式(13)和(14)，式(13)为判别器D的Loss表达式，式(14)为生成器G的Loss表达式，

(13)

(14)

SAGAN当中提出了两种优化：Spectral Normalization与TTUR，Spectral Normalization为D和G加入了谱范数归一化，让D满足了1-lipschitz限制，避免G的参数过多导致梯度异常，使训练和生成过程较为稳定和高效。TTUR用来补偿正则化D中慢学习的问题，使得每个D步骤可以使用更少的G步骤，平衡了D与G的训练速度，能够在相同的单位时间内产生更好的结果。

3 试验结果与分析

本研究算法主要采用Python3.8开发语言实现，图像处理部分以OpenCV库为基本框架，车道线检测中的训练卷积神经网络使用Pytorch-1.9.0，torchvision-0.2.0，tensorboard-2.5.0，OpenCV-python-4.5.1.48，Numpy-1.19.0以及Matplotlib-3.3.2等完成。本次测试试验环境为操作系统64位Windows 10，Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz，GPU为8G显存的NVIDIA GeForce GTX 1080和Python3.8，框架选用Pytorch，并将训练集与测试集送入SGRNeXt算法中进行训练与验证，SAGAN网络中EPOCH为10× 30 000，生成器G的LEARNING_RATE为0.000 1，判别器D的LEARNING_RATE为0.000 4；SGRNeXt网络中TRAIN.EPOCHS为100，TRAIN.LEARNING_RATE为0.000 5，TRAIN.BATCH_SIZE为2。

为评判模型性能，本研究采用准确率Acc，误检率F_P、漏检率F_N、测量真实和预测之间的相关度IoU、标准分类精度Top、FPS这6个指标作为标准，如式(15)~(18)所示。

准确率的计算式如下:

(15)

式中，C_clip为正确预测的车道点的数量；S_clip为每个剪辑中地面真相的总数。Acc的值越高，该模型的检测性能越好。

误检率的计算式如下：

(16)

式中，T_fp为检测错误的车道线数量；N_t为全部检测到的车道线数量。F_P的值与模型检测性能成反比，即F_p越低其检测效果越好。

漏检率的计算式如下：

(17)

式中，T_fn为检测为错误的真实车道线的数量；N_T为全部真实的车道线数量。F_N的值同样与模型检测性能成反比，即F_N越低其检测效果越好。

相关度IoU的计算式如下：

(18)

IoU为测量真实与预测之间的相关度，预测区域与真实区域的交集与并集相除得出的结果即为相关度IoU。一般在计算机检测任务中，如果IoU≥0.5，则被视为正确检测到了目标。本研究以0.5作为标准，其值越高，相关度越高。

Top准确率为预测距离与地面真实的距离小于1的度量，其准确度等同于标准分类准确度。FPS为单位时间内机器处理图片的数量。

本研究算法以TuSimple数据集作为训练集，数据集包含大量时长为1 s的视频，通过分帧将1 s视频数据转换为20张图片，第20张带有车道线标注，该数据集中，训练集包含72 520张图像(标注图像3 626张)，测试集包含55 640张图像(标注图像2 782张)，该数据集主要为国外高速场景下的图像，包含不同天气条件下不同时间点的交通状况，并以此数据集为基础通过SAGAN网络生成500幅图像，用SAGAN生成的图像来丰富数据集的多样性和鲁棒性。

将本研究提出的SGRNeXt算法在图森(TuSimple)数据集上进行测试，算法在车辆拥挤及光线遮挡等复杂情况下有着出色的检测效果。预处理阶段进行数据增强，能使其在较暗环境下检测出车道线。在全连接层分类上，用全局特征作为提取特征来提高感受野大小，此时感受野大小就是全图，能够高效地检测出被遮挡的车道线。SAGAN的引入，提高了模型的鲁棒性和泛化能力，能够在复杂环境下更出色的检测出车道线。

为评判该模型检测性能，本研究采用准确率Acc，误检率F_P、漏检率F_N、测量真实和预测之间的相关度IoU、标准分类精度Top、FPS这6个指标作为衡量标准，并将本研究提出的SGRNeXt算法与UFLD算法和基于ResNet-101，ResNeXt-101为主干网络的检测算法作对比，相关指标性能曲线如图 5，6所示，各项指标对比见表 2。

训练回合数Epoch与准确度Acc的关系折线图如图 5所示，Epoch设置为100，可以看出不同算法准确度Acc随着Epoch的增加而有不同程度的提高，当Epoch到达某一值时，不同算法的准确度在不同Epoch值上达到饱和状态，此时各个算法的准确度最高，再增加Epoch数，不同算法的准确度会出现不同程度的降低。相关度IoU性能曲线如图 6所示，随着训练回合数的增加，IoU值整体呈现出上升，饱和，下降的趋势。IoU的值存在饱和状态，可见，一味的增大Epoch数并不能提高IoU指标，还会增加机器训练的运算时间。

基于TuSimple数据集，各项指标对比表 2分析易知，在车道线检测中本研究SGRNeXt算法的准确率Acc可达95.7%，相比上述对比车道线检测算法，准确率最高提升0.9%，误检率F_P和漏检率F_N最高下降1.7%和2.1%，相关度IoU及精度Top均为最优，FPS与运行时间相比UFLD算法有所不足，但综合考虑各项指标本研究提出的SGRNeXt检测模型相比其他算法为最优，在行车环境复杂情况下准确检测出了车道线的位置。预处理阶段，高斯滤波器和线性点运算结合的方法进行数据增强，使其能在光照不足的环境下更准确的检测出车道线，SAGAN的引入，提高了模型整体对复杂环境的适应能力，ResNeXt-50结构可以在不增加参数复杂度的前提下提高准确率，减少超参数的数量，在全连接层分类上，用全局特征作为提取特征，感受野为全图，能出色的检测输出被遮挡的车道线，同时在行方向上进行位置选择、分类，预测输出车道线的位置。各项指标结果表明了本研究方法在视觉遮挡和多变照明条件下能更好地检测出车道线的位置，具有更强的鲁棒性和准确性。

4 结论

针对现实场景中环境的复杂多变性，以及车辆建筑物遮挡，光照变化等干扰问题，为提高深度学习车道线检测方法在多样环境下的鲁棒性和准确性，本研究提出了一种生成对抗网络(SAGAN)和深度神经网络架构(ResNeXt)相结合的语义分割车道线检测算法，得到以下结论。

(1) 采用高斯滤波器和线性点运算结合的方法对输入图像在预处理阶段进行数据增强，减少了不必要的噪声及光线不均匀的干扰，提升了图像的纹理细节，使车道线在复杂环境下更具辨识度。

(2) 通过生成对抗网络SAGAN生成多种不同环境类型车道线图像，丰富了数据集的多样性，使训练更加稳定，防止过拟合化的发生，也提高了本研究SGRNeXt模型的分类能力。

(3) 在SGRNeXt模型的网络中，采用全连接层分类的方式，用全局特征作为提取特征，从而解决视野遮挡情况下车道线识别精度不高的问题。

(4) 采用在行方向上的位置选择与分类方法，提升了车道线的检测效率，直接预测输出车道线的位置，不需要聚类过程，因此整体算法的检测速度大幅提升。

以上基于TuSimple数据集的检测结果分析，结果表明本研究提出的SGRNeXt算法相较于其他相关算法准确率更高，在具有视觉遮挡和多变照明条件下对车道线的识别具有很好的检测效果，实时速度可达53.74 FPS，能更好地适应复杂道路情况下车道线的检测任务。

在本研究后续的研究中，将主要针对增强网络进一步进行改进，以降低车道线的漏检率和误检率。