0 引言

计算机视觉是当前发展蓬勃且十分具有应用价值的研究领域，随着近年来大量学者在计算机视觉领域的研究及推广，在众多的计算机视觉应用中，智能交通视频分析是其中最重要的应用之一，目前广泛应用的智能交通领域中有车辆跟踪、抛洒物检测、高速收费站口车型识别和车牌识别等。除了以上这些智能交通应用，交通驾驶安全也是一个值得关注的领域。根据实际交通行驶道路的天气情况来管理道路安全程度，提醒公路司机小心驾驶，关于这一方面的研究少之又少。因此，在交通管理场景下，高速公路天气识别具备前瞻性的应用空间及可预见性的研究价值。

过去学者们针对多类别天气分类的大多数工作主要分为2种，分别是通过气象数据识别天气和通过实时图像识别天气。气象数据识别天气方法主要利用采集的气象数据和天气指数特征来分析并分类天气。该类方法主要分为2个步骤：首先是采集数据，依赖于由气象台采集的多项天气特征指数数据^[1]，例如大气中的悬浮物浓度，在晴天、阴天、雪天和雨天等不同天气条件下悬浮物浓度有着明显的偏差；然后是分析数据，采用数据挖掘或机器学习^[2]等方法建立天气分类数学模型，训练模型并提高分类准确率。

天气图像分类相关的研究也随着图像分类研究的发展受到越来越多的学者关注，众多学者从不同的图像表征角度出发，提出了多种提取图像表征特征的方法，这些方法大体上分为特征提取和特征分类2个阶段。研究初期的天气图像分类也是基于图像本身的浅层表征特征，即不同天气分类下图像内物体和场景表现的特征^[3]，如图像的色彩饱和度、图像内物体的边缘和形状特征等。有的学者将典型图像物体识别的特征提取方法应用在天气图像识别中。为了更完整地表达出图像中的天气特征，侯慧蓉^[4]采用多种图像表征特征提取方法，包括局部二值模式提取图像纹理特征、颜色特征空间信息、图像形状特征，然后融合这些特征后输入分类器识别天气图像。

但现有的天气图像识别研究中，用于识别的天气图像为多种户外场景，可观察到清晰的天气特征，如晴天图像可以看到清澈的蓝天。在本研究的道路天气识别中，图像场景局限于道路监控摄像头的拍摄区域，道路区域占图像的大部分面积，现有的深度学习天气图像方法无法很好地适用于本研究。

在本研究的道路天气识别中，道路图像的场景通常局限于以道路为主体，且道路旁包括自然绿植或城市建筑，更难以提取出有效识别天气分类的特征。相较而言，公开天气数据集中户外场景下的天气图像具有图像内容上的多样性，且不同分类下天气图像均显现出其特有的标志性特征或场景，如晴天图像有着翠绿的植被和蔚蓝的天空，雾天图像出现在高海拔山脉上等。对于道路天气识别的天气图像，不同分类的图像均限制于道路场景下，无法从图像的内容差异中获取有助于分类的信息。因此本研究算法的主要思路在于利用语义分割模型对道路图像分割出道路区域并输入网络中提取道路天气特征，通过强调道路区域的贡献程度以提升模型的天气分类性能。

1 算法总体流程

本研究提出道路分割融合网络(Road Segmentation Fusion Network，RSFN)天气识别算法，通过预先训练完成的语义分割模型，分割并处理获得道路区域二值图像，并将原始图像和道路区域二值图像分别输入笔者设计的卷积神经网络的全局网络分支和道路网络分支，最终融合二者的输出特征并识别天气分类。因此，本算法的创新之处在于，基于道路天气图像中道路区域丰富的相关天气特征，设计一条专门用于提取道路天气特征的网络分支，提升网络识别的性能。算法的总体结构如图 1所示。

(1) 道路分割预处理阶段。首先输入原始图像到语义分割模型中，模型输出预测语义图像；然后将预测语义图像进行道路标签二值化处理，最终输出道路区域二值图像。

(2) 特征提取阶段分为全局网络分支和道路网络分支。全局网络分支输入数据集原始图像，提取图像在全局方面的深层天气特征；道路网络分支输入道路区域二值图像，通过卷积特征掩码(Convolutional Feature Masking，CFM)提取基于全局网络分支的浅层特征，进一步提取路面区域的特征。

(3) 分类阶段是将全局网络分支和道路网络分支的输出特征进行特征融合，随后输入全连接层，最终输出5类天气的概率向量。

2 道路分割预处理 2.1 语义图像生成

道路区域分割的前提是完成对道路图像的完整分割。首先需要构建经过标准语义分割数据集训练完成的语义分割模型。在语义分割数据集方面，有不少公开数据集包含有道路分类标签，如Cityscapes^[5]，ADE20k^[6]等。其中ADE20k数据集共有150个语义分割分类，囊括了100种物体和50种场景，其中包括了道路(road)这一标签，共有将近25 000张图像，是本研究语义分割模型训练的数据集。在语义分割模型的构建方面，图 2为本研究采用的语义分割模型结构图，其包括用于特征提取和下采样的编码器和用于融合编码器多尺度特征和上采样的解码器。其中编码器采用ResNet18卷积神经网络^[7]，解码器采用PPM^[8]金字塔池化网络。PPM金字塔池化网络对编码器输出的特征图分别进行4次不同尺度的池化操作，操作的尺寸分别为[1×1, 2×2, 3×3, 6×6]，然后采用双线性插值上采样至与输入图像尺寸相同，并在通道维度上进行拼接，最后依次输入一层卷积核为3×3，填充数为1的卷积层和一层卷积核为1×1，输出通道数为标签类别数的卷积层。

2.2 语义图像二值化处理

在通过语义分割模型输出预测语义图像后，为了能够在预测语义图像中仅提取道路区域，下个步骤需要对预测语义图像进行道路区域二值化处理。设预测语义图像为S，输出道路区域二值图像为R，图像每个像素点取值范围在[0, 255] 间，二值化处理的公式如下：

(1)

当语义图像的像素值等于路面标签对应值时，取响应值255。式中，S(x, y)为语义图像；S为坐标(x, y)处对应的像素值；R(x, y)为路面二值图像；R为坐标(x, y)处对应的像素值。

为使天气识别卷积神经网络提取道路部分特征，道路二值化处理撇去了语义图像中其他部分，仅留下道路区域作为有效部分，并保存为二值图的形式，作为下一步骤中道路网络分支的输入。

经过整个道路分割预处理过程后，图 3展示了道路分割二值化例图，通过例图可看出道路二值化图像较好地还原了原始图像的道路区域轮廓，并且将道路上的行驶车辆从道路中较为完整地除去，说明道路分割预处理得到了较好效果。

3 网络构建

本研究设计了一种结合整体图像和道路区域二值图像的卷积神经网络方法RSFN，其网络结构分为2个分支：用于提取图像整体特征的全局网络分支以及针对道路区域提取局部特征的道路网络分支。其具体卷积网络结构如图 4所示。

3.1 全局网络分支

针对道路天气识别研究，输入图像里的浅层特征, 如纹理和边缘特征等, 对天气分类并不具有代表性。浅层特征蕴含的语义信息局限在图像物体或场景的结构信息上，无法充分体现出天气相关的语义特征。为了提取更深层次的天气语义特征，在全局网络分支上采用He等人提出的ResNet网络结构^[7]，解决深层次卷积网络存在的不收敛隐患。ResNet设计了使用残差连接的残差块卷积层结构，相较于传统卷积层，直接将输入特征图x依次通过卷积核和激活函数后输出特征图y，其中，y=H(x)和H(·)为卷积层的潜在映射。残差层的目的在于设计1个拟合函数F(x)，映射H(x)与输入x之间的残差信息：

(2)

因此，对于潜在映射H(·)，其目标可转化为F(x)+x，增加残差信息F(x)可更好地拟合映射。由于网络优化过程中会使得F(x)趋近0，此时形成H(x)=x的恒等映射形式更有利于网络优化和收敛。本研究在全局网络分支中采用与ResNet18相同的残差块结构，首先输入图像经过一个7×7的conv_1卷积层，随后衔接4个残差模块，每个模块里包含2个残差块，每个模块的卷积通道维度依次为64，128，256，512。全局网络分支通过提取整体图像中有助于分类的全局特征，为模型识别性能提供基础保障，而道路网络分支可进一步在路面区域中寻找天气分类中可提升的空间。

3.2 道路网络分支 3.2.1 道路区域特征提取

在道路天气图像中分割出道路区域后，下一步的关键是如何有效提取道路区域特征。道路区域作为整张图像的子区域，关于子区域特征提取的方法有：早期，Qiang等人在R-CNN模型^[9]里，基于选择性搜索(Selective Search)生成了多张候选框，逐张输入互相独立的卷积神经网络进行特征提取，且后续不少基于R-CNN思想的目标检测模型也采用了这一思路。上述子区域特征提取方法将子区域图像视为一张新图像，而非整体图像的一部分，输入新的卷积神经网络中重新提取特征。王志红^[10]等人以典型的语义分割模型为基础，对输出网络进行改进，通过自制路面分类数据集实现了9类不同路面的识别。而在He等人研究的SPP-Net模型^[11]中展示了在卷积层输出的特征图与输入特性的映射关系，SPP-Net提出了空间金字塔池化(Spatial Pyramid Pooling，SPP)来解决目标检测问题里候选框尺寸不统一的问题，空间金字塔池化将任意大小的候选框在原始图像的矩形位置通过尺寸比例映射到其在特征图对应的矩形位置，并将进行金字塔池化输出相同尺寸的特征图用于后续的全连接层。SPP该类子区域特征图提取的方法实现了多张子区域图像在同一个卷积神经网络中提取特征，有效地与整体图片和其他子区域图像共享卷积特征图，且节省网络参数数量。但SPP针对的是规则矩形的子区域图像，而在本研究中，道路区域作为整体图像的子区域，其轮廓往往是不规则的，因此需要用掩码的方式映射其特征图对应区域。卷积特征掩码(CFM)^[12]解决了特征区域不规则这一方面的问题。如图 5所示，CFM的输入包括分割区域的二值掩码和卷积层输出的特征图，其中二值掩码即为上一步骤的道路分割预处理中获取的道路区域二值图像。随后将二值掩码映射在卷积图上，由于在特征图上每个坐标的元素值代表着在原始图像的一块感受野区域，本研究把二值掩码下采样至与特征图同一尺寸，此时二值掩码和特征图的每个坐标有着相同的感受野。接下来使二值掩码和特征图的坐标位置一一对应，当二值掩码的坐标元素值为1(经过归一化操作后)时，保留特征图对应坐标位置元素值，否则其元素值为0。在实际操作中，下采样后的二值掩码与特征图进行元素积的操作，最终输出仅包括道路区域卷积特征的特征图。

3.2.2 道路网络分支具体结构

左杰格^[13]等人将图像进行分块，使用传统方法提取图像浅层特征，同时使用VGG16提取图像的深层特征，将浅层特征和深层特征进行融合识别出晴天、雪天、雨天、雾天4种天气类别。本研究通过道路网络分支提取道路区域深层语义特征用于道路天气识别是本算法的其中1个创新点。在全局网络分支提取图像整体语义特征的同时，建立道路网络分支，着重关注道路区域对道路天气分类的贡献。道路区域作为整体图像的不规则子区域，CFM子区域特征提取方法可快速且有效地得到关于道路区域的卷积特征图。为了进一步提取道路区域关于天气方面的深层语义特征，本研究将道路网络分支的输入设置为全局网络分支浅层卷积特征图中的道路区域特征，即采用全局网络分支中g_block_2的输出特征图F_{g_block_2}，如式(3)所示：

(3)

式中P为原始输入图像。

随后输出特征图与道路区域二值图像R进行CFM提取区域特征图，得到道路网络分支的输入特征图F_road，如式(4)所示：

(4)

式中⊙为元素积。在获得道路特征的输入特征图后，基于在全局网络分支前半部分所提取的道路部分的浅层语义特征，本研究建立道路网络分支提取道路区域的有效特征。图 4展示了道路网络分支具体网络配置。基于输入特征图的尺寸及通道数，本研究采用与全局网络分支g_block_3和g_block_4一致大小的残差块构成道路网络分支的卷积神经网络结构r_block_1和r_block_2，针对性地对道路区域特征提取天气特征。

3.3 分类阶段

由图 4可知最终全局网络分支和道路网络分支均输出512维通道的特征图张量，特征图张量经过全局平均池化后变为512维特征向量。在分类阶段将全局网络分支和道路网络分支的特征向量拼接成1 024维特征向量，输入一层由1 024维到5维的全连接层进行分类。

经过全连接层输出后，采用softmax激活函数让最终的输出预测向量P的每个元素映射在(0, 1) 之间，如下：

(5)

式中，n为总分类数量(本研究为5); x_i为全连接层输出预测向量对应下标的元素，由式(5) 易知P每个元素可视为对应类别的预测概率，所有元素累加和为1。

模型最终采用预测概率最高的类别作为模型最终预测分类y，如式(6)所示：

(6)

4 试验结果与分析 4.1 试验指标

(1) 软硬件配置：本章所进行的试验在硬件方面基于Windows10操作系统，使用一块Nvidia GTX 1080Ti显卡进行模型训练；在软件方面分别使用版本为3.8.2的python语言，版本为1.6.0的pytorch深度学习框架，版本为10.1.168的CUDA。

(2) 模型超参数配置：反向传播优化算法采用SGD随机梯度下降算法; 初始化学习率α₀为0.001，其学习率衰减策略采用指数退化，如下：

(7)

式中，γ为退化速率，取0.9；n为训练纪元；训练批次大小取8，最大训练纪元设置为20，取测试集准确率最高纪元的模型参数作为最终的结果。

(3) 数据集采用本研究第3章所述的道路天气数据集作为衡量标准。其数据集中的训练集用于训练模型参数，测试集用于衡量模型性能。最终分类准确率accuracy计算方式如下：

(8)

式中，correct为模型预测成功的样本数量；n为测试集总样本数量。

4.2 试验数据集

训练数据在监督学习中是极为重要的部分之一，目前没有相关公开的收集道路区域天气情况的标准数据集。为了完成对道路天气识别的研究，构建了国内多省份地区交通场景下的道路天气图像数据集。

本研究针对道路场景的天气识别构造了更贴合实际道路情况的道路多分类天气数据集(Road Multi-class Weather Dataset，RMWD)。在图像采集上，本研究收集了国内多地高速公路监控摄像头所记录的不同天气下的视频帧。道路图像数据来源于广东、江西和辽宁3个省内多条高速公路、收费站和高架桥等道路监控摄像数据。本研究从3省交通视频管理系统选取若干个摄像头，通过网页HTML元素抓取的方式获取摄像头实时视频流链接。由于每个摄像头架设的位置以及拍摄的角度都是固定的，故在得到视频流链接后，可通过脚本程序设置固定的时间间隔截取视频帧，并根据采集时间命名保存图像。并通过人工筛选和标注的方式过滤同一个摄像头重复一致的图像以及与天气标签不一致的错误图像，并分配3位测试者对每张图像所属天气标签进行投票并采纳多数票。

通过上述图像采集和筛选标注方法，本研究最终构建了道路场景下5类道路天气数据集RMWD，其囊括国内南北多个城市地区交通道路场景的天气图像，并标注晴天、阴天、雨天、雾天、雪天5个类别之一。RMWD数据集共有45 350张图像，在数量分布上，每个类别较为均匀。

4.3 与其他方法对比

本节将本章提出的RSFN方法在道路天气数据集上与其他方法在识别准确率上进行比较，同时列举出每个方法的参数量以及运算量，其结果见表 1所示。

AlexNet^[14]可以视为是深度学习网络的开山鼻祖之一，总共有8层网络结构，包括5层卷积层和3层全连接层，较多的全连接层使得模型整体参数较高，在道路天气数据集中取得较为可观的准确率；VGGNet^[15]采用多个小尺度卷积核叠加的方式，在获得与大尺度卷积核相同感受野的同时加深了卷积网络的深度。依据网络深度本研究采用了VGG13和VGG16模型进行测试，VGG16在加深网络深度的情况下比VGG13高出3.03%；GoogLeNet^[16]引入了Inception模块，其将多个不同尺度的卷积核(1×1，3×3，5×5)融合入1个模块，用更少的网络参数组成了结构更深的模型，其参数量比VGG16大幅下降，但在准确率上低1.37%；ResNet^[7]利用残差连接构成的残差块，有效加深网络深度并使模型更容易拟合，是本研究算法模型的结构基础，本研究使用ResNet18和ResNet34作为对照方法，分别取得了81.34%和81.47%的准确率；本章的RSFN方法在上述方法中取得了最高的准确率85.40%，相对Resnet18高出了4.08%，说明了道路区域特征提取的有效性。

4.4 混淆矩阵

本节采用混淆矩阵(Confusion Matrix)来充分展示模型在每个天气分类上的准确率及误分类情况。图 6展示了在道路天气数据集中分类准确率较高的4个模型。由图 6可知，晴天和阴天2分类普遍容易出现混淆，这是由于实际道路图像晴天场景和阴天场景较为相像，而RSFN方法在晴阴2分类上的分类效果最好，由于模型有效地从道路区域提取具有区分性的特征, 相较于其他模型，RSFN方法在雨天的识别率达到最高，这与模型在雨天道路上获取到水渍以及车灯照在路上的反光现象等信息有关。总之，RSFN方法在每个分类上都能取得较好的效果，没有出现较明显的短板。

4.5 特征图可视化

为了展示RSFN方法所提取的全局图像以及道路区域的特征，本节采用卷积特征可视化的方法展示模型所提取到的特征。本研究采用Grad-CAM++^[17]特征可视化方法呈现全局网络分支和道路网络分支最后一层卷积层输出的特征图。Grad-CAM++ 方法是基于Grad-CAM方法^[18]进一步改进的广义可视化方法，对卷积神经网络这类黑盒模型提供直观的视觉解释，将卷积特征图激活值对于真实标签的贡献程度经过计算后得到权重得分，并上采样形成热力图叠加至原始图像，热力图偏黑色的区域即为卷积特征更为关注的区域。如图 7所示，图中的每一行表示其对应标签的天气图像卷积可视化效果展示，纵列由左到右分别是原始天气图像、全局网络分支特征可视化、道路网络分支特征可视化。由图 7可看出，全局网络分支特征关注整个图像区域的特征，对天空、道路及路旁区域均有所关注，而道路网络分支特征集中关注道路区域里天气相关的特征。两者进行结合取得了优秀的分类效果。

5 结论

本研究设计了一种结合语义分割模型提取道路区域特征的方法，并基于此构建了一种结合道路天气图像全局特征以及道路特征的道路分割融合网络RSFN。识别过程由道路分割预处理、全局网络分支特征提取、道路网络分支特征提取以及特征融合分类组成。在试验分析中，首先在与其他几种卷积神经网络方法对比中验证了结合道路区域特征方法具有突出的分类准确率, 通过全局网络分支和道路网络分支各自的关注区域，结合二者特征获取更多有效的天气特征。