参考 自动驾驶的控制过程需要解决哪些控制问题？

人机共驾系统可根据控制分配方式的不同分为切换型和共享型人机共驾有两种模式切换型在人机共驾系统中，驾驶权分时赋予驾驶员或机器(常用于自适应巡航系统和自动驾驶系统)共享型在人机共驾系统中，驾驶权根据一定的权重受到影响同时分配给司机和机器。

在共享人机共享驾驶系统中，驾驶员和机器同时拥有车辆的控制权。两者通过操作机构进行交互和耦合，任何一方都可以实现车辆的实时控制。双方的共同驾驶过程类似于游戏。双方将根据自己的目标和行为形成最佳的控制输入，以最大限度地实现自己的目标。

根据驾驶员和机器控制的不同组合模式，该模式可分别为串联式共享型人机共驾和并联共享人机共驾。

• 串联共享人机共驾系统示意图，机器不直接操作输入端(踏板、转向)进行控制。仅对叠加或修正按一定比例进行，同时控制员和机器同时控制车辆的效果（通常用于控制车辆）L2级车道保持系统)。

  该模型的优点包括：在车辆控制过程中，驾驶员和机器之间没有交互和耦合，车辆控制过程清晰；驾驶模式变化小，驾驶员适应性好。

  其缺点主要是在驾驶权切换过程中，很难保证司机工作状态良好。在机器驾驶过程中，驾驶员的注意力可能员时，驾驶员的注意力可能已经分散，驾驶员需要集中注意力，重新形成对周围驾驶环境的感知。这一过程存在很大的不确定性，限制了控制权的自由切换。

• 并联式共享型人机共驾系统示意图如下：驾驶员和机器的控制同时，直接应用于操作输入端 ，人机耦合优化是通过调整控制系数K来实现的。实际控制输入可用以下公式表示：

U = U h K U m ( 1 ? K ) U=U_hK U_m(1-K) U=UhK Um(1?K)

K控制权分配系数， U h U_h Uh​ 为驾驶人输入， U m U_m Um​为机器输入， U U U为系统实际输入。

​ 如上并联式共享人机共驾系统优点包括：驾驶人始终参与驾驶过程，可以保证驾驶人状态的一致性；操纵过程中存在人机交互、便于驾驶人掌握机器状态，该模式的缺点主要在于驾驶人和机器易于形成冲突。

模式冲突可以参考空客AF447空难的例子，主要是由于空客飞机操纵杆可以两边同时操纵，一方的拉杆的输入可以抵消另一方的拉杆操作，在飞机高速下坠时，机组主副驾驶员沟通不当导致操作失误，两人同时拉杆，飞机无法上升，造成空难。

论文链接：Reinforcement Learning approach for decision-making in driver control shifting for semi-autonomous driving | TU Delft Repositories

• 询问驾驶员是否开启当前级别的自动驾驶模式
• 驾驶员和自动驾驶装置同时控制车辆行驶，控制过程不是很明确。

但对于共享型共驾系统可能会存在问题，自动驾驶级别在L2，L3，L4时，驾驶员所要求的注意力是不同的：L2时驾驶员需要保持高注意力、L3时驾驶员需要保持中注意力、L4时驾驶员需要保持低注意力，并不存在自动驾驶模式切换到手动驾驶模式的过程，因此该模式下驾驶员的驾驶舒适性主要受自动驾驶系统的自动级别的影响。

• 状态空间包括五个状态：驾驶员的状态包括没有集中注意力和疲劳驾驶的状态；车辆状态包括自动级别（L0 ∼ \sim ∼ L4，没有L1），最大级别（L0 ∼ \sim ∼ L4，没有L1），最优级别（L0 ∼ \sim ∼ L4）和建议级别（L0 ∼ \sim ∼ L4，没有L1）；上下文状态包括是否脱离ODD（操作建模领域 Operational Design Domain) ），以及驾驶员是否在做非驾驶的活动；时间度量状态包括4类状态：TTDU表示驾驶员从保持注意力到疲劳状态所经历的时间，TTDF表示驾驶员从疲劳到保持注意力所耗时间，TTAF表示当自动化等级变成可行等级所耗时间，主要受ODD的影响；TTA2F，TTA3F，TTA4F分别表示当前的自动化级别为L2，L3，L4；TTAU表示当自动化等级变成不可行等级所耗时间，TTA2U，TTA3U，TTA4U分别表示当前的自动化级别为L2，L3，L4。反馈状态包括HMI人机交互界面发出的请求状态，以及驾驶员做出的响应状态。
• 系统的动作空间包括：无需更换行动（DN），拒绝切换（RA），在驾驶员处于注意力不集中时建议转移至最佳自动化级别（SSL），在驾驶员处于疲劳时强制转换到最佳自动化级别（SL），提示驾驶员保持清醒状态（PD）。

专家设计的奖励函数为：

决策树模型为：

对于决策树模型，在决策过程中，以Driver请求是否改变作为起始状态，接着依次判断Driver状态和自动驾驶的级别，并在动作空间中选择相应动作（制动，不需要改变自动驾驶模式的级别，调整自动驾驶模式的级别）。

对于该问题的求解，论文中先建立马尔可夫决策过程，接着使用常见的强化学习模型（DQN，A3C），通过观测到的5种类型的状态，在动作空间中选择某一个动作进行决策。MDP的设计过程参考原论文。

上论文考虑的是共享型人机共驾系统，即驾驶员和机器可以同时对车辆进行控制（输入端同时介入 或者 以驾驶员输入为主、自动驾驶作为修正，但我觉得上文的人机共驾系统应该是并联共享型的，因为当自动驾驶级别为L4时，机器自动驾驶能力会高于驾驶员，因此使用人机控制权系数较为合适）

上论文的目的是研究在驾驶员和车辆自动化等级处在不同状态下时，通过人机交互完成自动驾驶系统级别的切换问题，即重新分配人机控制权系数。但是该模式下最大的缺点是驾驶员和机器操作易发生冲突，比如驾驶员想进左车道，L4级别的机器想进右车道，这样两动作可能会抵消掉。

Q1：当自动驾驶级别能达到L2，L3，L4的时候，为什么还要切换到手动驾驶呢？

A1：主要原因有两个：

• 一是自动驾驶级别不可能一直保持在L4级别，系统会有失效脱离的时候，因此此时机器的控制能力降低，需要加大驾驶员对车辆的控制权，保证行车安全。
• 二是自动驾驶级别在L2时，系统对车辆的控制水平可能比不上驾驶员，用户需要和驾驶系统进行博弈，得到最优的操作方案，实现车辆的控制优化。

Q2：如果自动驾驶系统足够有效可靠的话，当自动驾驶级别能达到L4的时候，为什么还要手动驾驶。

A2：这也许是用户的需求吧，有些驾驶员习惯手动驾驶，不愿意把自己的生命托付给人工智能来守护，因此当他们处于疲劳驾驶时，车辆可以进行报警提醒，并通过自动化设备完成辅助驾驶或者是车辆轨迹修正，增大了驾驶员的行车安全。

论文链接： OESDs in an on‑road study of semi‑automated vehicle to human driver handovers

• 询问是否开启自动驾驶或者手动驾驶模式；
• 在同一时刻，只有驾驶员或者自动驾驶装置一方在控制车辆行驶，控制过程明确；

上面提到了半自动驾驶系统中人机控制权交换的原因，如果控制权交换时机不当，会影响驾驶员的驾驶体验，严重的话会因为切换到手动驾驶模式时驾驶员注意力不集中，或者存在人机操作模式混淆导致事故发生（共享型共驾系统）。因此本文通过时序图（OESDs），在基于切换型自动驾驶系统基础上，去设置模式切换的时机和人机交互的过程。

假设在搭载着自动驾驶系统的车辆中，内设基本包括：状态喇叭，仪表盘，LEDs信号灯，挡风玻璃上方投影的显示屏，中央显示屏，桌椅触觉装置。

车辆内部环境：

挡风玻璃上方投影的显示屏：

仪表盘：

OESDs在设计时，包括环境，驾驶员，车辆，音频交互接口，仪表盘，挡风玻璃上方显示屏，中央显示屏，触觉装置多个对象（或子系统）。

Note：

该实验的目的是评估人工设计的OESDs时序图是否符合驾驶员的直观理解，是否可以提高驾驶舒适度。

对OESDs时序图有效性进行评估，主要是通过计算OESDs的路径以及实际情况下驾驶员的操作顺序，计算假阳性（FP，FA），假阴性（FN，Miss），真阳性（TP，Hit），真阴性（TN，CR），验证OESDs设计的流程图是否符合人的直观理解和驾驶体验。

• 这里列举了15个活动（所列举的活动都为正例）
  1. 驾驶员收到“准备切换“的信息
  2. 驾驶员调整坐姿，恢复驾驶位置
  3. 收到SA1问题
  4. 回答SA1问题
  5. 收到SA2问题
  6. 回答SA2问题
  7. 收到SA3问题
  8. 回答SA3问题
  9. 收到SA4问题
  10. 回答SA4问题
  11. 收到SA5问题
  12. 回答SA5问题
  13. 收到“正在自动驾驶”信息
  14. 收到切换过程中的过渡信息
  15. 按下手动驾驶按钮

通过如下指标来验证：

• Hit Rate：Hits ∕ (Hits + Misses)，即真阳率：TP / (TP + FN）越高越好

• False Alarm Rate = False Alarms ∕ (False Alarms + Correction Rejections)，即假阳率：FP / (FP + TN)（越低越好）

• 先绘制混淆矩阵，接着使用Kappa系数进行一致性校验，计算的Kappa系数为 0.781 ∈ [ 0.61   0.80 ] 0.781 \in [0.61~0.80] 0.781∈[0.61 0.80]，OESDs和观测到的驾驶员正常驾驶活动具有高度一致性。 kappa系数

• 使用马修斯相关系数评估 观测行为 和OESDs 的相关性。

实验结果表明：

对于第22个受试者，相关性较差，主要原因是该受试者直接手动控制车辆，切断了驾驶模式从自动驾驶到手动驾驶的切换，没有完成相应的问答操作。但总体上，马修斯相关系数均>0.8（除了第2/22个受试者操作不当），即OESDs设计的流程图符合驾驶员的直观理解，可以带给驾驶员舒适感和安全感。

• 在非疲劳阶段，自动驾驶系统不会介入驾驶员行车控制
• 在早期疲劳阶段，车辆会有预警，自动驾驶系统会对驾驶员的行车轨迹进行修正（串联共享型）
• 在后期疲劳阶段，车辆会有预警，如果自动驾驶系统可用的话，会获得更高的车辆控制权限（并联共享型）；如果不可用，则自动驾驶系统会开启制动措施。

该模式下的自动驾驶模型适合于习惯手动驾驶的用户；对于驾驶舒适性上，疲劳检测起到了关键作用，如果检测效果差，驾驶舒适性会大打折扣。

上面的OESDs是针对驾驶员清醒情况下对手动驾驶和自动驾驶模式的切换

• 在自动驾驶开启阶段后，每2min会通过30s的问答题的方式确认驾驶员的注意力情况，在自动驾驶模式到手动驾驶模式切换过程中，只有当驾驶员保持高专注度，并按下手动驾驶按钮时，车辆才会将控制权交给驾驶员。
• 在手动驾驶阶段，每1min自动驾驶系统会向驾驶员提供”自动驾驶系统在该路况下是否可以开启”的信息。

对于上述OESDs的设计，模式切换的信息提示功能和驾驶员注意力确认功能，满足了驾驶员或者自动驾驶系统，在保证行车安全的情况下单方面获得车辆的行驶控制权，车辆在每一时刻的控制权是明确的，不存在驾驶员和自动驾驶系统的输入冲突。

以上情况并没有考虑到那些习惯手动驾驶、不愿意开启自动驾驶的人群，没有考虑到驾驶员处于分神或疲劳时无法及时手动切换自动驾驶模式的情况。

对于这样的人群，我们可以考虑串联式共享型共驾系统，发挥自动驾驶装置的功能。

• 疲劳检测系统在检测到驾驶员早期疲劳时，音频设备、显示设备和指示灯会提示驾驶员处于早期疲劳状态，自动驾驶模块可以低程度地介入车辆的控制，修正行车轨迹；

  • 时序图如下：

• 在检测到驾驶员后期疲劳时，音频设备、显示设备和指示灯会提示驾驶员处于后期疲劳状态，自动驾驶模块可以获得更高的车辆控制权限，接管驾驶员负责车辆的主要驾驶任务；如果自动驾驶模块在当前路况上失效，则会采取车辆制动措施。

  • 时序图如下：

因此这里在切换型共驾系统的OESDs设计的基础上，引入了早期疲劳和后期疲劳，利用自动驾驶模块辅助驾驶员行车安全，关于早期疲劳和后期疲劳的时序图如上图所示。对于模型的有效性还需要实验论证。