0 引言

在影响交通安全的因素中，由驾驶人愤怒情绪所引发的路怒症是一个非常重要的因素，因此研究愤怒情绪对降低交通安全隐患意义重大。驾驶人愤怒情绪大多是由于不符合驾驶人预期的驾驶环境(长时间的堵车、较差的道路条件、不当的驾驶行为等)引起的，也和驾驶人的年龄、性别和驾龄有着一定关系^[1-5]。当驾驶人处于愤怒情绪时，换道、刹车、鸣笛、加速等驾驶行为频次较平常有所增加，同时会伴随着侵犯性驾驶、辱骂他人等行为，导致出现驾驶注意力下降，增加驾驶错误频率等现象^[6-9]。通过对交通事故的起因进行统计分析，发现较多的交通事故是由驾驶人的愤怒情绪引起的^[10-11]。为了降低由愤怒情绪引起的交通安全隐患，学者对驾驶人在驾驶过程中的愤怒情绪识别进行了研究，通过分析驾驶人在驾驶过程中的驾驶状态、生理、车辆行驶等数据，对驾驶人愤怒情绪进行识别^[12-14]。由于上述研究是对单一数据结构进行分析，而单一数据结构不能很好地反映驾驶人愤怒情绪，所以导致最后的识别率普遍不是很高，一般在80%左右。

二源异构数据融合是指对2个传感器采集到的数据进行融合的过程，融合过程分为数据级融合、特征级融合和决策级融合^[15]。进行二源异构数据级融合时，信息量较大，但抗干扰性较弱；进行决策级融合时，抗干扰性较强，但信息量较小；进行特征级融合时，信息量中等，抗干扰性中等。特征级融合综合了二者的优缺点，是一种比较适合用于本研究的融合方法。

异构数据融合多用于军事、船舶定位、工业过程监视和服务机器人等领域，本研究将该方法应用于驾驶人愤怒情绪识别领域，以期得到更好地识别效果。同时为弥补以往研究驾驶人愤怒情绪识别率过低，单一数据结构分析不够全面的问题，基于集成学习思想提出了一种新的特征融合算法用于驾驶人愤怒情绪识别。通过模拟驾驶试验采集车辆行驶数据及驾驶人面部表情数据并提取其特征，利用基于集成学习的特征融合算法对这2部分特征进行融合，以期得到较好的识别效果。

1 试验设计 1.1 试验对象及条件

为确保试验过程的可靠性，整个过程利用模拟驾驶仿真实验室的多人多机交互驾驶模拟系统(图 1)进行。征集100名普通驾驶人作为试验对象，均拥有C1及以上驾驶证，且身体健康，无色盲色弱，年龄在18周岁到70周岁之间。将试验对象进行编号(1~100)，并对其进行驾驶模拟训练，使其能够熟练使用该设备。

对选取的对象进行驾驶愤怒程度调查。通过驾驶员愤怒程度调查表(表 1)对试验对象进行驾驶愤怒程度调查，了解分析驾驶员在驾驶过程中更容易被哪种驾驶行为激发愤怒情绪，以便在试验过程中更好地维持驾驶员的愤怒情绪。

表 2为统计问卷调查的调查结果，表中数据标签为每一题中选择强烈程度的人数。通过对调查结果的分析，筛选出选择强烈程度人数最多的4种驾驶行为(第6题：旁边车辆突然切入；第1题：前方车辆频繁换道；第9题：前方车道低速占道；第4题：前方车辆阻碍超车)，以便后续在试验过程中更有效的激发驾驶员的愤怒情绪。

首先用日本FORUM8公司的UC-win/Road仿真软件搭建试验道路场景，该场景为双向六车道，采集车辆在试验过程中的行驶数据。其次利用罗技C310-720P外接摄像头连接电脑，采集驾驶人在试验过程中的面部表情数据。为提高模型泛化性，试验采集了驾驶人愤怒、平静、悲伤以及高兴4种典型情绪的车辆行驶数据和面部表情数据，使得模型在多种情绪下的数据中准确识别出驾驶人的愤怒情绪。

驾驶人情绪诱发材料选择北京师范大学中国情绪影像材料库(Chinese Affective Picture System, CAPS)。情绪诱发方法选取组合情绪诱发法^[16]，通过试验前初步激发及试验中持续保持的组合形式对驾驶人的典型情绪进行诱发。试验前利用CAPS中的影像对驾驶人进行典型情绪诱发，并通过情绪激活度量表(图 2)评价驾驶人此时的情绪激活度水平。当评分为3分或4分时，方可进行驾驶模拟试验。

1.2 试验内容

由于驾驶人的愤怒情绪大多是在驾驶过程中不符合驾驶人驾驶预期的驾驶环境导致，所以对于试验过程中愤怒情绪的二次诱发采用虚拟现实情感诱发法^[17]。每次试验共有5名驾驶人参与试验，其中1名为数据被采集者，另外4名通过问卷调查的4种驾驶方式干扰数据被采集者，持续激发该驾驶人的愤怒情绪，使得试验所采集到的愤怒情绪数据更加真实可靠。高兴、平静和悲伤情绪的二次诱发采用音乐情绪诱发法^[18]，使驾驶人能够维持之前的情绪激活度水平。

为避免情绪之间相互影响造成试验数据可靠性低的问题，4种典型情绪试验分批次进行，即100名驾驶人依次进行愤怒试验，待全部完成后再依次进行高兴、平静和悲伤情绪。重复进行4种典型情绪试验10次，共进行了4 000次驾驶模拟试验。每次试验开始前告知驾驶人道路限速60 km/h，但驾驶人可以加速到60 km/h以上。考虑到驾驶人情绪疲劳问题，每次试验时间限制在1.5 min (90 s)左右。数据采集时，为确保数据的可靠性，每次模拟驾驶试验的前10 s和最后5 s不进行数据采集，中间75 s试验时间中，每25 s采集1张人脸表情图，每25 s车辆行驶数据利用平均值法处理为1个车辆行驶样本数据。

试验结束后，共得到12 000张人脸表情图，12 000个车辆行驶样本数据。由于驾驶人在行驶过程中大多是处于平静情绪，因此为进一步提高模型泛化性，选取平静情绪下的3 000张表情图和3 000个车辆行驶样本数据；同时随机选取非平静情绪(愤怒、高兴、悲伤)各1 000张表情图和1 000个车辆行驶样本数据。共同组建了包含12 000个样本(6 000个表情样本和6 000个车辆行驶数据样本)的二源异构数据集。为便于进行驾驶人愤怒识别，将愤怒情绪样本标记为1，非愤怒样本标记为0。

1.3 车辆行驶数据

试验车速度为瞬时速度，方向盘转向幅度S_t的取值范围为[0, 1]，0表示方向盘未进行偏移，1表示方向盘朝某方向打死(方向盘旋转2.5圈)，方向盘转向幅度值越接近1说明方向盘的转向幅度越大。油门踏板深度T_a的取值范围为[0, 1]，0表示驾驶员没有踩油门踏板，1表示驾驶员将油门踏板踩到底，油门踏板深度越接近1，说明油门踏板越深。制动踏板深度T_b的取值及意义同油门踏板深度。加速度是采集的车辆的瞬时加速度，加速次数为当试验车有加速度时，记为1次加速。制动次数为当试验车进行制动时，记为1次制动。为能更充分利用车辆行驶数据，将加速度处理为加速度干扰σ^[19]，它是对车速摆动的描述，相对加速度更加直观。表 3为部分试验数据。

1.4 人脸表情数据

在驾驶人驾驶过程中，对驾驶人面部表情进行采集，采集到的人脸表情图尺寸为112×112。为了减少计算量，降低计算时间，对人脸表情图进行灰度化处理。

驾驶人在驾驶过程中，由于光照等原因导致采集到的人脸对比度较低，为解决这一问题，分别对人脸表情图进行了直方图均衡化(Histogram Equalization，HE) 和自适应直方图均衡化(Adaptive Histogram Equalization，AHE)处理，其处理结果如图 3所示。

由图 3可知，HE处理后导致局部地方过亮或过暗，使得表情信息会出现丢失现象，而AHE避免了这种问题，因此对于试验中所采集的人脸表情数据均进行AHE处理。

2 特征提取 2.1 车辆行驶数据特征提取

利用主成分分析对车辆行驶数据进行特征提取，消除变量之间的关联性，用主成分代替原有变量。主成分个数的确定是根据主成分的方差累计贡献率决定的，当前n个主成分的累计贡献率大于70%时，则保留前n个主成分，其计算公式为：

(1)

(2)

式中，s_i为第i个主成分的方差；i=1, 2，…, 7；R_j为方差贡献率；Y_n为前n个主成分的累计贡献率。主成分分析结果如表 4所示。

由表 3可知，前4个主成分的累计贡献率达到了74.324%，故选取前4个主成分代替原来的变量作为驾驶人车辆行驶数据的特征。为便于分析，将得到的主成分进行均值方差归一化处理，其结果如表 5所示。

2.2 人脸表情数据特征提取

搭建卷积神经网络进行人脸表情的特征提取，通过不断进行卷积和池化操作及最后的全连接层，降低每张人脸表情图的数据维数，保留表情特征。所搭建的卷积神经网络模型共有17层，其中有8层卷积层、4层池化层、3层全连接层。最后得到的人脸表情特征数据来自于第3层全连接层的输出值，每个样本为32维样本空间数据，对其进行均值方差归一化处理，结果如表 6所示。

3 特征融合

特征级融合主要有2类，一类是将不同的特征拼接在一起，组成新的特征向量；另一类是将所有特征放在一起，利用数学方法将原特征转变为新特征。本研究以第2类方法为基础，利用集成学习中stacking方法的思想，提出一种新的二源异构数据特征级融合方法。该方法是利用多个分类器，每个分类器都进行1次5折交叉验证，将分类器最终的预测结果作为新的特征。选择的分类器共有5个，分别是支持向量机(Support Vector Machines，SVM)、朴素贝叶斯(Naive Bayes，NB)、决策树(Decision Tree，DT)、逻辑回归(Logistic Regression，LR)、高斯过程分类(Gaussian Processes Classification，GPC)。

在交叉验证之前，将车辆行驶数据特征(4维数据)和人脸表情数据特征(32维)进行拼接，组成了6 000个样本(每个样本都是36维数据)的数据集。对数据集进行划分，随机选取4 800个样本作为训练集，其余作为测试集。

将训练集平均分为5个子集，每个子集都包含960个样本，将其中4个子集用于训练模型，另外1个子集用于测试模型，同时将测试集也用于模型测试。由于是二分类，所以得到的每个样本的预测值为二维数据(分别对应模型判别为0和1的概率)。由于是5折交叉验证，所以将上述过程进行5次，每次都保证用于训练模型的4个子集不完全相同，同时每个子集都有1次被用于测试模型。5折交叉验证完毕后，每个子集都会得到1个预测矩阵，该矩阵大小为960×2，将5个预测矩阵合并为1个矩阵，其大小为4 800×2。同时，测试集每轮也会得到1个预测矩阵(1 200×2)，将5个测试集的预测矩阵求1个平均值，得到1个新的预测矩阵(1 200×2)。

分别用朴素贝叶斯、决策树、逻辑回归及高斯过程重复上述5折交叉验证，每个分类器最终都会得到1个训练集预测矩阵(4 800×2)和测试集预测矩阵(1 200×2)。将各个分类器的训练集预测矩阵和测试集预测矩阵分别进行拼接，组成了总训练集预测矩阵(4 800×10)和总测试集预测矩阵(1 200× 10)。至此特征融合完毕，将原来的36维数据特征融合为10维特征。融合后的特征数据如表 7所示。

4 模型建立

为能更加准确地识别出驾驶人的情绪，搭建深度神经网络(Deep Neural Network，DNN)作为驾驶人愤怒情绪识别模型。为证明本研究所提出的融合算法的优劣，分别用特征拼接融合的数据和基于集成学习思想进行特征融合的数据作为DNN模型的输入数据，并分析评价其识别结果。

4.1 基于特征拼接融合的DNN识别模型

搭建含有15层网络的DNN模型，其中13层隐含层。将车辆行驶数据特征(4维特征)和人脸表情数据特征(32维特征)拼接融合而成的数据集记为数据集A，所以数据集A是一个含有样本特征为36的6 000个样本组成的数据集。根据数据集的样本特征，将DNN模型输入层节点数设置为36，隐含层节点数根据经验设置为15。由于是识别愤怒情绪和非愤怒情绪，所以将输出层节点数设置为2。为避免梯度消失，隐含层神经元的激活函数为ELU函数；输出层神经元的激活函数为Sigmoid函数，将网络输出值映射到[0, 1]之间。

本研究所建立的基于特征拼接融合的DNN识别模型如图 4所示。将6 000个4维车辆行驶数据样本和6 000个32维人脸表情数据样本特征拼接融合为6 000个36维样本数据，按照6∶2∶2的比例将6 000个数据集分为训练集(3 600个样本)、验证集(1 200个样本)和测试集(1 200个样本)。

4.2 基于集成学习特征融合的DNN识别模型

将车辆行驶数据特征和人脸表情数据特征进行集成学习特征融合后的数据集记为数据集B，并将其作为DNN模型的输入。关于DNN模型结构此处不再赘述，与上述DNN网络模型结构不同之处在于原始特征数据经过集成学习特征融合之后得到的数据特征数为10，因此输入层的神经元个数设置为10。如图 5所示，为基于集成学习特征融合的DNN识别模型。

该模型以总训练集预测矩阵作为识别模型的训练数据集(样本特征为10的3 600个样本)和验证集(样本特征为10的1 200个样本)，以总测试集预测矩阵作为识别模型的测试数据集(样本特征为10的1 200个样本)。

5 模型验证与对比分析

将数据集A和数据集B中的训练集输入到DNN模型中进行训练，利用验证集对训练的模型进行验证。2个模型分别进行20次迭代，其模型验证结果如图 6~7所示。2个模型的损失值分别为0.037 4和0.017 5，损失值较低；2个模型的正确率分别为96.33%和98.50%，正确率较高。综上所述，2个模型的训练效果较好，可以进行下一步测试。

利用数据集A和数据集B中的1 200个测试样本对训练好的模型进行测试，观察其损失值(图 8)和正确率(图 9)的变化曲线。

图 8为数据集A和B在DNN模型上的损失值变化曲线，数据集B(经集成学习特征融合后的数据)损失值更低，二者的最终损失值分别为0.045 3和0.027 3；因此，相较于数据集A而言，数据集B在该模型下具有更高的鲁棒性。如图 9所示，为数据集A和B在DNN模型上的正确率变化曲线，数据集B的正确率要高于数据集A，二者的最终正确率分别为95.17%和98.17%。综上所述，就损失值和正确率而言，经过集成学习特征融合后的数据更适合于进行驾驶人愤怒情绪识别。

但由于数据集分类不平衡，即愤怒情绪样本和非愤怒情绪样本存在数量上的差别，所以正确率就不能很好地反映问题，故引入F1-Score指标评价数据集的优劣。F1-Score是精确率(被分为愤怒表情的图片中实际为愤怒表情的比例，Precision)和召回率(实际为愤怒表情的图片中被划分为愤怒表情的比例，Recall)的调和平均数，其区间为[0, 1]，值越大说明效果越好。若将愤怒样本标记为1，非愤怒样本标记为0，故可得到混淆矩阵，如图 10所示。

由图 10可知，基于数据集A的正确率为(191+951)/1 200=95.17%，精确率为191/(191+45)=80.93%，召回率为191/(191+13)=93.63%，故F1-Score为2×0.809 3×0.936 3/(0.809 3+0.936 3)=0.868 2。改进模型的正确率为(198+980)/1 200=98.17%，精确率为198/(198+16)=92.52%，召回率为198/(6+1978)=97.06%，故F1-Score为2×0.925 2×0.970 6/(0.925 2+0.970 6)=0.947 4。

对上述结果进行对比分析如表 8所示，本研究所提出的基于集成学习的特征融合算法能够更加深入地融合车辆行驶数据和驾驶员面部表情数据，进而提高模型的正确率和F1-Score，同时降低了模型的损失值，对比传统特征拼接融合方法，在驾驶人愤怒情绪识别方面更具有优势。

6 结论

本研究通过驾驶模拟试验采集驾驶人愤怒情绪和非愤怒情绪下的面部表情数据和车辆行驶数据，通过主成分分析对车辆行驶数据进行特征提取，通过卷积神经网络对面部表情数据进行特征提取，得到4维车辆行驶数据特征和32维面部表情数据特征。基于集成学习思想，提出了一种新的特征融合算法，该算法利用多分类器交叉验证得到新特征，并将得到的新特征用于深度神经网络模型进行驾驶人愤怒情绪的识别。同时引入正确率、F1-Score及损失值3个指标对模型识别结果进行评价，弥补了以往只用正确率作为评价指标的不足。结果表明，本研究提出的特征融合算法相较于一般的特征融合具有更高的准确率和F1-Score，同时具有更低的损失值，所以本研究提出的特征融合算法优于普通的特征融合算法。本研究重点研究了驾驶人愤怒情绪的识别，下一步将扩大研究范围，深入探讨驾驶人其他典型情绪的识别。