复盘:智能座舱系列文五- 它的三种交互方式是隐式交互
提示：我当时不会问一系列面试官问的问题，所以我会回顾自己，认真学习和总结，以应对未来更多的可能性
互联网大厂的笔试面试需要精心准备 (1)自己的科研经验，，熟悉相关领域的知识 (2)做了自己的实习经历，要熟悉学习的领域知识 (3)除了科研和实习，平时关注自己。，不要落后，仔细理解，面试官关心你是否喜欢追逐新技术，跟进创新概念和技术 （4）准备，大厂有笔试，第一关是手撕代码做算法题 在面试中，事实上，当你在紧急情况下准备数据结构和算法时，你有足够的信心面对面试官可能会问的算法问题。在很多情况下，你的科研经验和实习经验足以与面试官交谈，所以你不需要测试你的算法。但是很多大工厂会问你算法问题，所以不管，必须熟悉数据结构和算法 秋季招聘提前批准许多大工厂不参加笔试，直接面试，可以免除笔试面试，这取决于你有多强了。
文章目录
- 复盘:智能座舱系列文五- 它的三种交互方式是隐式交互
-
- @[TOC](文章目录)
- 它的三种交互方式是隐式交互
- 疲劳和分心识别
- 情绪识别
- 姿态识别
- 总结
- 总结
文章目录
- 复盘:智能座舱系列文五- 它的三种交互方式是隐式交互
-
- @[TOC](文章目录)
- 它的三种交互方式是隐式交互
- 疲劳和分心识别
- 情绪识别
- 姿态识别
- 总结
- 总结
它的三种交互方式是隐式交互
正如我们之前的文章所说，智能驾驶舱， 他让汽车不仅仅是让你从A移动到B的工具， 但成为了解人类、与人类互动的智能设备， 车内交互可以提高驾驶员的情境意识、信任、舒适性、更好的用户体验、可用性和安全性。
当前汽车从按键交互跨越到了车载显示交互， 未来，传统车载显示器预计将扩展到具有多模式界面的图形用户界面 (GUI) 显示器， 例如，我们之前的文章提出了各种传感技术，包括听觉、触觉/触觉、手势和可穿戴传感器 和 AR/VR /混合现实 (MR) 确保车内交互的准确预测。
此外，驾驶员或乘客的监控对交互至关重要。 车载交互系统需要估计和推断驾驶员/用户的动作、疲劳或困倦等状态、 司机的认知状态和用户的情绪。 
通常，人类可以隐式和显式地与智能车辆互动。
用户或司机根据自己的权利进行隐式交互， 观察者(汽车)可以推断用户执行某些行为的状态或意图。 例如，驾驶员疲劳识别、情绪识别，甚至可以将某些线索的姿势或姿势估计传达给智能车辆。
相反，用户计划主动与车辆通信， 这就是显式交互 例如，语音命令(语言控制)AI智能语音101及其供应链)， 通过触觉和显示界面进行手势和通信。 这款车类似于手机行业。.0时代按键交互， 手机2.0时代大屏交互，但总的来说是显性交互。 配合穿戴设备的当代手机开启了多传感器隐性和显性交互的新时代。
先说隐式交互智， 汽车可以识别驾驶员和乘客的行为和 活动对车载交互系统和安全功能有着深远的影响。 若驾驶员意图分类正确， 人机交互可以每时每刻引导到最合适的模式(视觉/听觉/触觉)。
例如，如果汽车知道乘客的全身姿势（坐姿、躺姿等）， 安全功能（例如安全气囊、转向、制动和防撞模式）可以根据最佳及时部署进行定制。
智能车辆助手在检测到驾驶员分心或疲劳时，可选择提供视觉或振动报警。 此外，智能车辆助手还可以与司机交谈，以保持警惕。
如果检测到非最佳的身体姿势，驾驶员可以被推向正确的身体姿势，以获得最佳的驾驶注意力。
同样，如果发现司机情绪愤怒或悲伤，智能车辆助手可以推荐舒缓的音乐，控制车内温度，创造轻松的环境。
此外，如果发现司机无法控制车辆，自动驾驶汽车可以离开司机，将司机带到安全区域，并与附近的其他车辆 (V2V) 和相关机构 (V2X) 进行通信。
等等毕竟人很奇怪的心理需求是需要别人懂，而隐式交互却是让机器懂你的方式。
本文介绍了隐式交互的三个部分： 疲劳和分心识别与安全直接相关， 通过现有驾驶员检测和车辆动态状态传感器AI算法交互
通过生理传感器配合情绪识别AI算法
姿态识别，通过视觉传感器配合AI 算法，触觉传感器
希望能给给你一些信息和灵感
疲劳和分心识别
司机分心是道路事故的主要原因之一， 美国国家公路交通安全管理局 (NHTSA) 估计 高达 25% 道路事故是由某种形式的司机分心引起的。
驾驶员分心或注意力不集中可定义为 司机注意力不集中意味着没有竞争活动 减少对安全驾驶至关重要活动的关注。 分心和疲劳是导致驾驶事故的两种常见形式。
以前的工作已经确定了分心类型的各种差异， 例如，用手(手动)、眼睛(视觉)和/或头脑(认知)在路上执行第二或第三任务。 虽然这些都是分心的主要来源，但也可能有其他输入，比如分心的听觉刺激。
此外，有些活动可能是不同类型干扰(如短信)的组合， 驾驶是手动、视觉和认知干扰的结合。 为了检测司机的分心，第三节讨论了各种传感技术 . 我们讨论了使用不同传感技术的相关方法和算法， 本节讨论了融合一种或多种传感信息的方法。 车辆 IMU、GPS 外部传感器，如外部摄像头，可用于推断驾驶行为和不稳定驾驶模式， 这可能意味着分心。
速度是一个重要的测量，在推断干扰时必须与其他传感器一起使用。 具有 YOLOv4 和 Faster R-CNN等等 (DNN)已与外部摄像头相处 用于检测交通中的其他车辆、行人和路标。
识别车道和车道保持错误可作为检测驾驶员分心的指标 例如，逻辑回归模型已被用来区分正常驾驶，并在车道上保持错误。 方向盘传感器还提供驾驶员分心的间接指示。 通过二阶泰勒级数和观察角度来预测转向角来计算转向误差已经演示了一种方法。 当司机分心时，错误会增加。
相比之下，如立体摄像头、红外摄像头、ToF 传感器和 RGB-D 传感器等内部视觉传感器已广泛应用于识别驾驶员和乘客的活动、意图和行为。 用于检测驾驶员分心的最先进的神经网络架构， 例如 VGG、AlexNet、GoogleNet 和 ResNet，并且 ResNet 架构似乎优于其他竞争策略。
即使是基于单一图像的驾驶员活动识别也会被检测到 打电话、发短信、眼睛偏离道路、揉眼睛等活动， 神经网络也用于演示。
基于预训练提出了一种 CNN VGG-19 架构端到端网络， 该网络对亮度、阴影、相机姿势和司机种族具有鲁棒性，以检测司机的分心。
此外，面部聚焦区也可用于检测分心， 例如，打哈欠可能意味着疲劳、眼睛偏离道路、眼睛跟踪、眨眼频率等。
与 DNN 支持向量机 (SVM) 机器学习技术也用于检测闭眼。 为了解决稀疏标记数据问题，已经探索了一种称为少数镜头自适应凝视估计 (FAZE) 的新框架， 这个框架可以学习紧凑的个人潜在表达，凝视，头部姿势和外观。 然后用注视估计对分心驾驶和正常驾驶行为进行分类。 内部摄像头也可以用来检测手离开方向盘的活动。 其他检测疲劳和分心的指标包括闭眼百分比 (PERCLOS)、眼睛离开道路的时间和使用来自 RGB 打哈欠点头的视频序列。 此外，红外摄像头可用于减少照明条件的变化。
生理可穿戴传感器除视觉传感技术外， 如肌电图 (EMG)、脑电图 (EEG)、心电图 (ECG)、皮肤电活动 (EDA)、眼电图 (EOG) 心率传感器也用于检测分心。
通过训练 SVM 分类器，EEG 从警觉到嗜睡，信号可分为四类。 由于 EEG 测量需要将电极放在驾驶员的头部，因此实际用例很少；
然而，一些新颖的入耳式 EEG 可用于实际用例。 心电图测量心脏的电活动，驾驶员的情绪、心理活动和体力消耗会影响心率。 EOG 传感器用于记录眼球运动，检测疲劳和嗜睡。 例如，当眼睛的上眼睑和下眼睑之间的接触 200-400 ms 检测眨眼， 如果眼睛保持闭合 500 ms 检测到微睡眠并可通过 EOG 检测到。
研究表明，疲劳开始时，EMG 通过逐渐减小信号的范围，可以通过 EMG 检测设备。 生理传感器本质上是侵入性的，抑制了它们的实际使用。
然而，诸如 Neuralink (https://neuralink.com/) 脑接口等新技术，包括直接植入颅骨的无线设备，可以提供大脑活动和认知分心的细节，有助于驾驶和高度自动化驶。
情绪识别
情绪识别对于决策、沟通、一般情绪、动机甚至驾驶的日常功能至关重要。
情绪识别是一个复杂的研究领域，需要使用生理传感器和受控研究， 从而增加了车载驾驶员情绪识别的复杂性。
情绪识别还可以帮助检测已在第上节中讨论的驾驶员分心和疲劳， 但也可以引出有关驾驶员行为的更多信息， 并有助于实现理解驾驶员并做出响应的智能车辆的目标. 情绪可以分为六类：愤怒、厌恶、快乐、悲伤、惊讶和恐惧。
已经进行了关于驾驶员情绪识别的研究，以识别六种主要情绪或较小的子集，例如愤怒和快乐。 借助来自 RGB 或 IR 相机的带注释的头部和面部数据集， 监督学习技术可用于对情绪进行分类，例如 k 近邻 (kNN) 、SVM 、和DNN 。
这些研究提供了帧级预测以及窗口级，其中使用投票方案聚合了不同的帧级预测。 相反，使用生理信号，使用各种生理传感器提取高维信号。 因此，降维算法如主成分分析(PCA) 和线性判别分析 (LDA) 被使用。
PCA 有助于找到一组不相关的特征来解释原始数据的差异， 而 LDA 用特征的线性组合拟合数据，同时找到区分类别的线性函数。
在降维时，使用的流行方法包括支持向量机和朴素贝叶斯，用于监督学习以对情绪进行分类。 由于生物物理数据由时变信号组成， 因此可以从时变信号中捕获特征的循环神经网络在情感识别方面表现出良好的性能。 语音信号也用于情绪识别，因为语音可以提供线索，用于破译驾驶员的情绪。 语音信号还包括需要降维技术的高维信号，例如生物物理信号
研究还表明，语音信号的特征（如音调、能量和强度）对于情绪识别很有用。 驾驶员的情绪状态也可以通过驾驶员的情绪状态来推断， 例如当驾驶员高兴或生气时，方向盘上的握力会发生变化。 了确定检测挫折的最佳框架，对五种不同的监督学习算法及其组合（贝叶斯神经网络 [BNN]、SVM、高斯混合模型 [GMM]、多项回归 [MNR] 和 GMM + SVM）进行了比较。结果表明，SVM 和 MNR 在从驾驶员坐姿检测挫败感的任务中表现最好。
姿态识别
对于交互、安全和分析驾驶员或乘客的活动， 跟踪身体部位和身体运动学（例如头部姿势、身体姿势、手、脚和躯干的位置、婴儿的存在等）至关重要。
从驾驶的人体工程学角度来看，驾驶员姿势监测也很重要。 研究表明，在长途驾驶中，不良姿势会导致驾驶员不适。 因此，除了前面讨论的关于活动、情绪和分心检测的部分之外，还要单独分析姿势识别。 如上图 6a所示，头部姿势估计和跟踪对于各种用例至关重要， 例如驾驶员监控、分心检测、凝视检测、头戴式设备校准等。 模板匹配方法已被证明可用于头部姿势估计和跟踪。 使用 RGB 图像上的特征提取技术检测头部区域 ，然后将其与训练数据中的示例头部图像进行匹配。
示例图像的姿势是估计的头部姿势。
类似地，通过使用量化姿势分类器的从粗到细的策略来检测离散的头部偏航和俯仰值。 还可以通过跟踪关键面部特征（例如眼角、鼻尖和鼻角）来估计头部姿势。 当面部处于全正面视图时，该方法表现出良好的性能。 由于它基于基于单目相机的方法，因此性能会因单一视角、遮挡或大运动的存在而降低。
为了解决 RGB 相机的照明问题，已经设计了基于 IR 相机的方法。 例如，一种名为 Head Orientation Network (HON) 和 ResNetHG 的新型网络被设计用于从 AutoPOSE 数据集中的 IR 图像估计头部姿势。 单目估计对快速的头部运动很敏感，这可以通过在驾驶员的视野中放置多个摄像头来解决。
结构光深度相机也被提议用于驾驶员姿态估计，如上图 6c所示。 可以通过一种基于图形的算法，该算法使用一系列深度帧将 7 点骨骼模型拟合到驾驶员的身体。
同理，飞行时间深度传感器（FoT也就是激光和雷达类传感器）已被用于估计驾驶员四肢的位置和方向，包括手臂、手、头部和躯干。 迭代最近点 (ICP) 算法用于使用人体关节 3D 模型进行姿势估计。 然而，众所周知，ICP 陷入局部最小值，需要良好的初始猜测来执行姿态估计过程。
除了视觉传感器，触觉传感器（如力传感器阵列、触觉传感器皮肤和接近传感器）也已用于身体姿势和头部姿势估计，如图 6b、d所示。
正如智能座舱系列文三- 它背后的5种交互技术之触觉。
中详细讨论的那样，触觉传感阵列可以不显眼地无缝集成到座椅中。 例如，在靠背和坐垫上带有分布式压力传感器的座椅已被用于测量驾驶员的坐姿。 座椅上的这种力传感阵列已用于测量驾驶员和乘客的身体姿势， 以用于安全关键应用，例如安全气囊展开。
同样，与 IMU 测量融合的压力图已被部署以稳健地识别身体姿势。 具有电容式接近传感器的传感头枕已被用于头部姿势估计和头枕伺服， 其中头枕可以使用基于非参数神经网络的方法根据用户头部的移动而移动。
其他作品展示了传感器，例如嵌入头枕中用于头部姿势估计的超声波传感器。 然而，为了稳健地估计身体和头部姿势，触觉传感器需要以多模式方式与视觉传感器相结合。
总结
隐式交互在智能驾驶舱方面，应该属于刚刚萌芽的阶段， 他关系到了各种传感器的应用，有当前激光和雷达产业（了解激光雷达通过广州车展-看自动驾驶激光雷达）， 有视觉摄像头产业，也有穿戴生理传感设备产业方面。
属于一个很大的市场，当然这些背后同样少不了AI 人工智能的支持，这个和智能驾驶类似。
总结
提示：重要经验：
1）隐式交互在智能驾驶舱方面，应该属于刚刚萌芽的阶段 3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。