DEFE数据集
为了解决现有驾驶员情绪分析数据集的局限性，我们建立了一个驾驶员情绪面部表情数据集（DEFE），以研究基于面部视觉数据的驾驶员情绪识别。在表2中，我们描述了收集驾驶员真实面部表达的实验细节，以及数据集中的情感标签。DEFE数据集共有60位参加者（43位男性），每位参加者在观看完经选择的刺激材料后，在相同的驾驶场景下完成驾驶任务，并分别从维度情绪和离散情绪两方面评价了他们在这一驾驶过程中的情绪反应，这些度量包括唤醒，效价和掌控力以及情感类别和强度，实验数据采集及驾驶场景如图1所示。
表2． DEFE数据集小结
图1． DEFE实验数据集实验采集及驾驶场景
我们还比较了使用DEFE数据集进行驾驶员情绪识别的结果。DEFE数据集可以分别从维度情绪（唤醒，效价和掌控力）和离散情绪（情感类别和强度）两方面对驾驶员情绪进行识别，以准确度和F1分数建立了数据集的基线结果。除了DEFE数据集的情绪识别外，我们还选择了DEAP和CK＋数据集作为静态生活场景下的比较数据集，比较结果如表3所示（DEAP数据集因为采集过程中面部存在随机电极片遮挡，可能是造成识别结果较低的主要原因）。
表3．DEFE数据集情绪识别结果
图2显示了DEFE数据集的样例图片。我们观察到面部表达随情感的种类而变化，但是在驾驶中这种变化是特别微弱的。例如，消极情绪（愤怒）和中性状态的差异非常小。在大多数视频剪辑中我们很难观察到峰值表情，这种现象很可能是因为情绪的面部表达受到了驾驶任务的影响。
图2． DEFE数据集中3种情绪类别的样例图像：第一行愤怒，第二行快乐和第三行中性。
动态驾驶场景和静态生活场景下面部表情的差异
进一步的，我们基于DEFE和JAFFE数据集对动态驾驶和静态生活条件之间的面部表情进行了差异分析。图3显示了在面部动作编码系统（FACS）中愤怒和开心的动作单元（AU）编码以及描述。通过比较两个数据集中不同情绪的动作单元出现（AU presence），如表4所示，我们发现两种场景下AU presence存在显著差异。
图3． FACS可用于描述成人的面部表情。（a）和（b）分别显示常见的FACS愤怒和快乐编码，（c）呈现AU的愤怒和快乐的内容描述
表4．动态驾驶和静态生活场景下的AU presence差异分析
对于逻辑回归结果，动态驾驶和静态生活场景下也有显著性差异。对于愤怒情绪，动态驾驶场景下的逻辑回归结果显示只有AU4和愤怒情绪相关且显著，而在静态生活场景下AU4，AU5和AU23都和愤怒情绪相显著相关。对于开心情绪，动态驾驶场景下的回归结果显示没有任何AU和开心显著相关，但是在静态生活场景下的结果显示AU12和开心情绪显著相关。
表5．动态驾驶和静态生活场景下的AU presence回归分析
以上结果表明驾驶场景中的人类面部情感表达与其他生活场景不同。这可能是由于驾驶员需要在驾驶过程中保持专注，这降低了面部肌肉运动的频率和幅度。关于这些结果的解释性研究可能需要进一步探索。
