资讯详情

【自动驾驶】基于面部Fatigue检测的技术报告

自动驾驶基于面部Fatigue检测技术报告

文章目录

  • 自动驾驶基于面部Fatigue检测技术报告
    • 疲劳驾驶检测研究的主要方向是什么？
    • 基于面部疲劳检测研究的发展现状
        • 共收集43篇论文
        • 根据年份、科研单位和期刊水平进行分析
        • 根据年份和使用的模型进行分析
        • 根据年份和数据集进行分析
        • 根据年份和问题进行分析
        • 计算机视觉研究热点趋势分析
        • 我觉得比较水的疲劳检测论文无非就是这几点
    • 疲劳检测解决方案研究(科学研究)
        • 近三年疲劳检测的发展现状
        • 基于面部疲劳检测的研究，可以上升到哲学问题
        • 我们不禁停下来想，什么是疲劳？
        • 什么是科学有意义的疲劳检测研究？ ？(浅谈)
    • 综上所述

疲劳驾驶检测研究的主要方向是什么？

基于面部疲劳检测研究的发展现状

共收集43篇论文

按年份和科研单位及刊物级别进行分析

主要分析以下几点：

  • ：
    • 在2014年之前，主力军主要是中国的985，211院校，以及韩国和欧美国家；
    • 2014年后，主力军发展到了小国家，以及国内的普通院校。
  • ：
    • 2014年之前，疲劳检测相关论文主要刊登在IEEE和Elsevier上。
    • 2014年之后，疲劳检测相关论文的期刊质量开始缩水，。

按年份和使用的模型进行分析

可以发现：

  • 在2014年之前，疲劳检测的创新点主要集中在图像处理方面，通过各种特征提取方法来进行眨眼，哈欠，表情的识别。
  • 在2014年之后，深度学习模型实现了高精度的人脸定位之后，疲劳检测迎来一个小高峰，但公开的疲劳检测数据集很快就刷爆了，在研究思路上遇到了瓶颈。

按年份和数据集进行分析

  • YawDD( a yawning detection dataset) ( Abtahi 等，2014) 数据集包含两组具有不同面部特征的驾驶员视频数据，主要用于检测算法模型，也可用于人脸和嘴巴的识别和跟踪，视频是在真实和变化的照明条件下拍摄的。在第 1 个数据集中，摄像头安装在汽车前视镜下方，每个参与者有 34 个视频，每个视频包含不同的口腔状况，。该数据集提供了 322 个视频，包括来自不同种族的男女司机、戴或不戴近视镜/太阳镜，以及在3 种不同情况下的表现( 1 表示正常驾驶( 不说话)） ; 2 表示开车时说话或唱歌; 3 表示开车时打哈欠) 。

  • 2016 年公开的 NTHU-DDD 是新竹大学采集的关于驾驶员嗜睡场景的视频数据集，主要用来研究在不同场景下不同动作组合所反映的嗜睡程度。整个数据集包含 36 名来自不同种族，戴墨镜和不戴墨镜的参与者，在白天和夜间，在各种模拟驾驶场景下，记录驾驶员的打哈欠、慢眨眼、打瞌睡、大笑等面部行为。该数据集通过不同的动作组合，将场景划分为嗜睡场景和非嗜睡场景，嗜睡的相关动作组合包括打哈欠、点头、慢眨眼；非嗜睡的动作组合包括说话、大笑、视线关注左右两边。整个数据集共 90 个驾驶视频，总时长约为 9 个半小时。

  • 2016 年公开的 Drozy 数据集取自 14 名年轻的健康参与者，每个参与者需要在 3 个不同时间段（起床后 3h，起床后 21h，起床后 29h）分别进行长达 10min 的精神运动警觉测试（PVTS），对每个参与者采集如下数据：KSS 疲劳状态评分，PVT 任务中的刺激时间和响应时间数据，由脑电信号（EEG）、眼电信号（EOG）、心电信号（ECG）、肌电信号（EMG）共同组成的多导睡眠（PSG）信号，深度摄像头采集的红外视频，以及人工和自动标注的人脸关键点。该数据集可用于多模态的疲劳状态的研究。

  • UTA-ＲLDD ( University of Texas at Arlington real-life drowsiness dataset) ( Ghoddoosian 等，2019) 是包含 60 名受试者的大型公共真实数据集，指示受试者通过手机/网络摄像头以 3 种不同的睡意状态拍摄自己的 3 个视频，每个视频大约 10 min。这个数据集由大约 30 h 的视频组成，内容从轻微的睡意到更明显的睡意。视频片段标记为警戒( alert) 、低警惕( low vigilant) 或昏昏欲睡( drowsy) 。

按年份和针对的问题来分析

通过对国内期刊的分析（2018~2021），他们针对的问题主要如下：

论文题目 期刊名称 期刊级别 针对的问题
2018_基于模糊综合评价的疲劳驾驶检测算法研究 软件学报，引用量28，杭州师范大学，浙江大学 CCF A 现有的基于计算机视觉的疲劳检测机制中通常都是在对人眼精确定位后利用眼睛单一特征进行分析,判定出人眼状态。该类算法易受外界环境干扰, 如光线、眼镜等因素,误判率高,具有一定的局限性
2019_基于改进ASM的多特征融合疲劳检测方法 计算机工程与设计，引用量4，南京工业大学 CCF C 为了解决驾驶员在行驶过程中头部发生多角度变化导致难以定位面部特征的问题，应用改进的ASM算法精确定位眼睛和嘴部区域。
2019_基于人眼信息特征的人体疲劳检测 计算机应用，引用量11，重庆邮电大学 CCF C 头部姿势变化、光线等因素对人眼定位造成很大影响，从而影响人眼状态识别以及疲劳检测的准确性。
2020_基于人脸检测和模糊综合评判的在线教育专注度研究 计算机科学，引用量8，华南师范大学 CCF B 针对在线教育中对学生的监督手段较为匮乏的问题，提出了基于头部姿态，面部表情，眼睛状态和嘴巴状态的模糊推理模型进行疲劳量化评分。
2020_基于级联宽度学习的疲劳驾驶检测 计算机工程与设计，引用量6，中国矿业大学 CCF C 为减少因疲劳驾驶引发的交通事故
2020_基于卷积专家神经网络的疲劳驾驶检测 计算机工程与设计，引用量2，五邑大学 CCF C 针对疲劳驾驶引发众多交通事故的问题
2020_多特征融合的随机森林疲劳驾驶识别算法 计算机工程与应用，引用量6，南京理工大学 CCF C 复杂的交通环境，个人和社会因素制约了疲劳驾驶识别技术的应用效果，为了解决这个问题，提出了融合眼部特征和车辆特征的疲劳检测模型。
2021_基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测 中国图象图形学报，引用量1，浙江工业大学 CCF B 疲劳驾驶是引发车辆交通事故的主要原因之一，针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题。
2020_伪3D卷积神经网络与注意力机制结合的疲劳驾驶检测 中国图象图形学报，引用量4，南京理工大学 CCF B 复杂环境下的疲劳驾驶检测是一个具有挑战性的技术问题。为了充分利用驾驶员面部特征信息与时间特征，提出一种基于伪 3D( Pseudo-3D，P3D) 卷积神经网络( convolutional neural network，CNN) 与注意力机制的驾驶疲劳检测方法。
2020_融合人眼特征与深度学习的疲劳驾驶检测模型 计算机工程，引用量0，长安大学 CCF C 针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题，通过融合人眼特征与深度学习，构建一种新的疲劳驾驶检测模型。
2021_基于边缘计算的疲劳驾驶检测方法 计算机工程，引用量0，武汉理工大学 CCF C 现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析，然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警，提出一种基于边缘计算的疲劳驾驶检测方法。

计算机视觉研究热点趋势分析

引用量分析

  • https://kns.cnki.net/kns/brief/default_result.aspx?code=CIDX&kw=疲劳检测

    学术关注度：可以发现国内外论文相关文献量差距很大，国内差不多每年80篇，国外差不多300篇。

    实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。

    因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。

实际上疲劳检测是一个比较大的研究问题（主要包括视觉，生理信号以及车辆信息三个方向的研究），可以看出论文的发表量和研究问题的大小并不匹配，只能推测出疲劳检测的研究已经达到了一个瓶颈期，很难有新的突破。个人感觉只能从疲劳数据集、面部疲劳特征的筛选，以及疲劳检测的实时性应用上下功夫。

因此需要有一个新的疲劳制定标准（比如是疲劳迹象还是疲劳驾驶时长），规范疲劳检测方向的研究，也需要有一位知名度较高的学者能够站出来对过去近几年的疲劳检测文章进行“拨乱反正”，确定之前哪些方向的研究是有意义的，哪些是灌水的，这样才能提高疲劳检测的总体研究水平。

我觉得比较水的疲劳检测论文无外乎这几点

  • 不考虑数据集本身的特点，一言不合就使用深度学习模型，完成两步走：提取特征 + 对数据集进行训练。
    • 疲劳数据集在标注疲劳标签时本身就有问题，训练的模型精度再高，得到的模型也是过拟合的模型。
    • 单纯使用浅层的人工疲劳特征（EAR, MAR）就能很好的对数据集的疲劳状态进行识别，但有的研究就要绕远路使用深度学习模型从浅层的疲劳特征中继续学习深层疲劳特征，完成疲劳判断，深度学习模型起到多大的作用也没有分析。
  • 现成较好的轮子（深度学习模型）不用，喜欢自己造轮子，：
    • 自己训练人脸关键点检测模型
    • 自己训练表情模型（FER2013）
    • 自己训练人眼关键点定位模型（CEW，LFW）

疲劳检测的解决方案研究（科学性研究）

最近这3年的疲劳检测发展现状

  • 有的研究只针对某些疲劳迹象，比如验证模型在YawDD上哈欠检测准确度，验证模型在NTHU-DD数据集上的疲劳行为检测准确度等。
  • 而有的研究则使用深度学习模型，对标记好KSS疲劳标签的RLDD或者Drozy数据集进行训练，这类论文的研究灵活性在于：
    • ，即提取眨眼特征，嘴巴图片等，接着使用模型对多模态特征进行学习。
    • 因为标有KSS标签的每个视频约10min，差不多18000帧/个视频。如果将每个视频作为训练样本，使用LSTM或者3D卷积模型进行疲劳行为学习的话，空间特征学习还是较容易的，但是对于时间特征的学习就很困难了。因此需要先。但是在切分样本时不同研究者的刀工是不同的，得出的结论可比性较低。而且对于这类真实疲劳状态下的视频来说，仅通过一个标签进行定性确实有点不妥，用这类数据集进行深度学习模型的训练，此方法有待商榷。

基于面部的疲劳检测研究，可以上升到了一个哲学问题

对于疲劳检测，是。

  • 如果仅对结果进行检测，则会忽略疲劳变化过程中有用的信息；
  • 如果仅对疲劳过程进行检测，则需要先将每一帧的图片转换成有用的人工特征（比如EAR，MAR，PERCLOS，人脸表情，头部姿态，眼睛视线等），将视频处理成有用的特征序列。然后像股票分析一样，进行疲劳过程中的，预测相对于当前时刻的未来特征序列，接着对未来的特征序列进行疲劳分类。但是在实践中会存在很大的困难：
    • 对于时间序列模型，不管是RNN、 LSTM还好，还是最近很火的Transformer，虽然可以完成序列到序列的分析，并且通过某种算法将输出的序列映射成疲劳的类别，。
    • 二是（头部姿态，眼睛视线），如果在源域上进行多模态的模型学习，得到的模型在目标域上效果较差。

我们不禁停下来思考，疲劳究竟是什么？

在美国和中国，对于驾驶疲劳的定义有一定区别

  1. 美国公路安全局(NHTSA)认证 作为疲劳驾驶识别的唯一特征（P70, P80指标） 参考 PERCLOS: A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance

  2. 国家出台文件中对疲劳驾驶的界定是基于的 参考 我国对疲劳驾驶的界定

    公安部关于《中华人民共和国道路交通管理条例》若干条款的解释（1988年7月4日）第九项第二款规定，“过度疲劳，是指驾驶员每天驾车超过八小时或者从事其他劳动体力消耗过大或睡眠不足，以致行车中困倦睦睡、四肢无力，不能及时发现和准确处理路面交通情况的。”

科学有意义的疲劳检测研究应该是怎样的 ？（浅谈一下）

下面这篇论文在疲劳检测任务的系统设计上，我觉得是比较科学的：

2020_基于信息融合技术的行车安全监测系统（计算机科学，CCF B，引用量2，哈尔滨工业大学，黑龙江大学）

论文提出：

  • “物物相连，万物互联”概念的提出与实现使得物联网技术在我们生活的方方面面得以应用，汽车在设计制造时也越来越融入智能化元素，驾驶员通过汽车中控可以选择。此外，各类智能 化检测设备争相涌现，驾驶员可以选择购买对自身是否达到酒驾标准进行判断，并根据自身状况利用互联网平台。

    实际使用各类智能化检测设备的过程中，上述功能或设备存在种种不足。

    • 首先，大部分配备胎压、车速、温度检测功能的汽车都需要驾驶员在中控屏幕上人为选择显示界面查看车况信息，异常的参数信 息（如 胎 压 过 低）则需要驾驶员自身查看后去判断，。
    • 其

标签： 微调电位器的单位单数字控制电位器single

锐单商城拥有海量元器件数据手册、 IC替代型号，打造 电子元器件IC百科大全！

锐单商城 - 一站式电子元器件采购平台