智能汽车生态群"加微信Time-machine-(备注公司 姓名)
0 前言
目前,智能驾驶汽车的预期功能安全研究仍处于起步阶段,主要集中在讨论研究类别和对内涵的理解上。欧宝汽车提出L2和L现有的功能安全标准并不能涵盖所有的安全问题,引起了各行各业对预期功能安全研究的重视。ISO/PAS 2148年规范了预期功能安全的基本实现思路和流程,2018年ISO/TC22/SC32/WG8功能安全工作组会议讨论ISO 机器学习、路径规划、人员响应将引入21448HMI、先进的测试方法等。中国学者毛向阳分析了预期功能安全、功能安全与信息安全的关系。Mirko Conrad还比较了功能安全与预期功能安全的关系SAE 2018年自动驾驶安全技术论坛相关报告。IOTG研究了智能驾驶不同方面的安全考虑和相互关系,如预期功能安全、网络安全和责任敏感性安全。ZENUITY公司通过分析ADAS与HAD提出了差异SOTIF两者应用的区别。HORIBA MIRA分析了SOTIF提出了相应的需求,并建立了风险评估框架SOTIF风险评估分析了解决预期行为问题的预期功能安全框架。
以上研究主要集中在预期功能安全的定义和描述上,很少涉及其理论和定性定量的研究。尚世亮和李波对功能安全与信息安全技术的差异给出了预期功能安全的技术路线,研究了车辆电子控制系统的预期功能安全技术,并提出了相应的评价方法和改进方法。BOSCH基于V模型V模型两侧的内容SOTIF用于ADAS系统开发过程和自动驾驶,从标称性能的角度分析性能故障树DA/AD系统。TNO构建和维护基于场景、数据驱动的真实场景数据库StreetWise该方法为高级驾驶辅助系统和(连接)自动驾驶系统的开发和评估提供了真实的场景和测试用例。Bev Littlewood研究了一些安全关键软件操作测试的保守停止规则,并提出了一些新的贝叶斯停止规则SOTIF适用系统的确认过程为测试方法提供了一些参考。Scott A.Shappell等研发的HFACS系统可推导SOTIF误用情景中的人为因素分析。德州仪器公司分析了混合信号半导体失效模式的影响和诊断(FMEDA)提出了一套功能安全分析的思路。蔡天富等人以消散结构的维护和演变为安全系统运行机制的理论基础,提出了安全熵是反映安全系统本身混乱程度的概念,并在人机环境三个要素组成系统中提出了安全熵的简单数学表达和分析。车天伟等人结合信息论知识介绍了安全熵的概念,提出了基于安全熵的定量分析方法。袁莉等人为评估无信号控制路段行人过街安全性。本文考虑了行人过街的不确定性和混乱性,提出了安全熵的概念,建立了基于安全熵的无信号控制路段行人过街风险评估模型。在预期功能安全的定量评估分析中,可以借鉴这些与安全熵相关的研究。
智能汽车预期功能安全研究的另一个重要内容是对场景的理解。Thomason以场景树为场景表示,将场景分解成更简单的元素,并将这些元素排列成分层结构;Maurer从观察者的角度来看,物理对象的空间-时间排列定义了一个场景。Geyer等人用剧院的比喻来定义:场景由风景、动态元素和可选驾驶指令定义。场景从前一个场景结束开始,或者在第一个场景开始-有预定义的开始场景。所有元素及其行为都定义在这个起始场景中,并设置了自动车辆的位置。通过研究和总结前人的成果,Simon Ulbrich等人将场景定义为环境快照,包括风景(地理空间静态元素)和动态元素(移动或移动能力),以及所有行动者和观察者的自我表达,以及这些实体之间的关系。
智能驾驶的预期功能安全问题,从智能驾驶的三个层面(图1):基于场景因素、算法因素和组件软硬件因素的感知识别、决策规划、控制和执行,分析预期功能安全问题SCSTSV构建智能驾驶安全预警区、识别区和保护区的概念,提出定量测量预期功能安全的安全熵理论,构建安全试验场景和试验用例。
(1)L4级智能汽车需要扩展预期功能安全的研究内涵
目前ISO/PAS 主要针对21448标准L2级ADAS预期的功能安全研究侧重于人与智能汽车的互动安全。随着智能驾驶系统从辅助驾驶功能向无人驾驶的发展,人类的角色逐渐从专业驾驶员转变为一般的非专业乘客,最终从驾驶任务中解放。智能汽车预期功能安全的不确定性大大提高。因此,应从智能驾驶的感知、决策、执行各个层面系统研究预期功能安全的内涵。
(2)人工智能算法给智能汽车安全带来了新的不确定性
人工智能算法在汽车领域的应用极大地促进了智能驾驶的发展,但由于算法本质上是统计概率的范畴,模型训练和测试过程中涉及的样本库质量和算法选择不能覆盖汽车驾驶的所有场景。在实际使用过程中,系统可能会出现漏检、误检,从而危及行车安全。因此,有必要评估人工智能算法在预期功能安全范围内给智能汽车安全带来的风险。
(3)预期功能安全领域缺乏定量表示
ISO/PAS 21448标准以汽车车载系统功能为中心,从环境关联的角度研究如何提高预期功能安全,提出系统功能和环境安全的重要性,提供安全分析,但仍缺乏汽车智能系统预期功能安全的定量表达。熵是衡量系统混乱程度的有效手段,本文拟引入熵反映智能汽车在某状态下智能驾驶系统的不确定性,代表智能汽车的预期功能安全概率,实现预期功能安全的定量表示。
图1 智能汽车预期功能安全
1 安全建模驾驶感知
智能汽车是智能交通系统的重要组成部分,但车载传感器的检测范围和精度受硬件和算法的限制,系统在特定极端恶劣的环境中也面临着挑战。这给智能驾驶感知的安全带来了不确定性。目前,主流的解决方案是整合各种传感信息,依靠系统冗余来提高整个系统的可靠性和安全性。
Chen等人首先输入雷达3D点云投影到前视图和鸟瞰图,然后通过卷积网络和3D bounding-box回归后产生低精度3D proposal,然后将此3D proposal投影到前视图、鸟瞰图、单目图像,最后通过多任务损失函数进行训练,获得车辆的三维检测。Ku等人输入RGB图像以及BEV图(点云鸟瞰图),利用FPN网络获得两者的全分辨率特征图,并将两者的特征图作为特征图RPN输入,通过crop&resize提取两个feature map对应的feature crop,根据元素取平均值的操作进行整合,最后选择3D proposal以实现3D物体检测。Banerjee首先,通过激光雷达和相机的外部校准,获得激光雷达点云坐标系和相机坐标系的转换矩阵,通过转换矩阵将激光雷达点云转换为相机坐标系,然后投影到图像平面,获得深度稀疏RGB-D将集成的图像发送到目标检测网络。Liang首先,等待图像流和点云流(BEV)使用ResNet18提取特征,然后将图像特征多尺度图像特征PCCN投影到BEV map上面(类似插值过程)整合了图像特征和空间位置信息,最后进一步整合了点云流特征,实现了3D检测。Qi等人输入RGB-D先通过数据Mask RCNN在RGB图像上找到2D区域建议将2与激光雷达点云相结合D将边界框提升到定义对象的3D视锥建议搜索空间,然后在视锥中使用PointNet 进行3D实例分割(进一步缩小建议3D空间),最后,利用T-Net坐标归一,并再次使用PointNet ,回归出物体3D边界框的相关参数。
Han等人通过对激光雷达点云数据投影过后的二维深度图像上采样,得到与图像像素一一对应的深度信息,将彩色图像和深度图像两个数据特征训练adaboost分类器,最后通过CRF调整输出结果。Liu等人提出了基于共点映射集成激光雷达和图像数据的方法,认为激光点云信息与像素信息相似,通过激光雷达对应图像边缘点,提出了四个特征来判断车辆可行区域,最终将结果发送到贝叶斯网络获取概率图模型。Xiao为了克服复杂多变的道路场景、天气变化和光线变化,激光雷达点云数据与图像数据对齐,两个传感器数据同时通过CRF输出相应道路区域的概率可以在很大程度上消除两种传感器的缺点,如激光雷达点云数据有精确的3D距离信息,而缺乏图像数据的颜色、纹理、梯度等特征。Xiao激光雷达数据和图像数据通过新颖的鸟瞰变换对齐,弥补了两个传感器的缺点,最后通过CRF给出道路区域的概率。
Hu在激光雷达和图像数据中提取道路路面,激光雷达提取道路边界点和路面点,最后使用概率图模型输出道路概率。Couprie等提出了一种基于二维和三维视觉融合的道路检测系统,利用二维图像通过分水岭生成簇,然后对每个簇的二维和三维特征进行融合并送入人工神经网络(ANN)进行分类。Dosovitskiy提出映射雷达点到图像平面,然后分析点之间的局部空间关系,得到障碍物,并通过多自由空间检测估计道路。由此可见,目前的研究主要集中在多感知的集成算法上,但对错误检查、错误检查和错觉场景的风险评估研究较少。
2 智能驾驶决策安全建模
对于集人、车、环境于一体的现代道路交通,环境感知信息的不完整、高度动态变化甚至不一致,对自动驾驶车辆的认知和决策模式在准确性、实时性和鲁棒性方面提出了严峻挑战。目前,对自动驾驶汽车决策行为的研究主要包括行为决策、路径规划和驾驶安全三个方面,但对影响行为决策、路径规划和驾驶安全的径规划和驾驶安全的各种因素,对由此产生的风险概率评估不足。
卡耐基梅隆大学的行为决策BOSS根据规定的知识和规则,实时推理相应的驾驶行为。但由于真实交通场景中不可避免的不确定性,决策的安全性和准确性无法完全保证。Wei J等人决定使用传感器噪声、感知约束和周围车辆行为作为属性Markov模型决策提高了自动驾驶汽车在自行车道上的稳定性。同样,Chen J等用多属性决策方法选择自动驾驶汽车的最佳策略。
目前最常用的路径规划方法是启发性搜索算法,包括A*和Field D*等算法,通常搜索速度快,但解决过程不稳定,容易重新规划。丛岩峰提出了基于预测控制理论和滚动方法的实时规划。上述算法没有考虑到车辆动力学的问题迹不适合车辆行驶;且算法的普适性及实时性无法满足智能驾驶的安全需求。
在行车安全方面,大多数现有的行车安全模型都是基于车辆动力学理论来建立的,考虑了车辆状态信息和相对运动信息。这类行车安全模型忽略了“人-车-路”闭环系统各要素对行车安全的影响,无法体现影响行车安全的各因素的相互作用。我国李德毅院士等发明了一种智能车辆利用变粒度路权雷达图进行信息融合的方法,采用变粒度路权雷达图的形式,融合各类传感器的环境感知信息,并显示车辆拥有的路权空间及其变化趋势,实现辅助驾驶和无人驾驶。汤传业等人提出了一种基于交规约束的无人车行驶路权规划方法,通过对道路环境图像的处理最终得到了栅格状的路权态势图,使得无人车在规则化道路中在遵守交通法规的前提下安全行驶。刘健在其博士论文中提出了一种基于障碍物特性建模的路权时空态势图的构建方法,反映无人车局部环境中的碰撞风险。我国学者王建强提出了“行车风险场”概念,考虑了人-车-路组成闭环系统中各交通要素对行车风险的影响,为车辆智能安全技术的研究提供了一种新的思路和方法。
3 智能驾驶执行器的安全建模
智能驾驶执行器是作为智能驾驶系统决策输出目标控制量的最终执行者,其执行效果直接影响无人车整体性能,它所承接的系统决策命令综合了车辆外部交通环境状与车内乘客的高不确定性,故建立执行器安全模型是实现智能驾驶的关键技术之一。目前的研究对于乘员在环的误操作以及带来的风险没有系统的评估策略和安全建模。
执行器的预期功能安全主要考虑人机交互过程中乘客的不确定性与执行器自身的响应特性。首先,多因素可造成乘客错用或者误用驾驶功能,而不同自动驾驶功能触发时乘客的接受度和响应时间直接决定了该过程中车辆行驶的安全性。且乘客的个人差异(如年龄、驾驶履历、心理负荷、操作感觉反馈、自动驾驶功能的理解程度等)在人机交互环节可能威胁车辆行驶安全。目前,控制权切换绩效的评价尚无统一的方法,但是其中一些因素已经取得了一些研究进展。Damböck等人研究了在自动驾驶过程中,通过给定一个切换任务来研究驾驶人对任务的响应实时性。Zeebk等采用仿真实验分析了智能辅助驾驶系统切换时间与切换提示之间的相互影响关系,并在此基础上对不同驾驶风格驾驶人切换反应能力进行了统计分析。Nilsson等通过融合驾驶人的控制能力和车辆当前状态构建由自动驾驶切换到手动驾驶的安全评估模型。
在现阶段,预期功能安全的研究对象主要是L2级别的自动驾驶系统,驾驶员在环是其重要特征。对驾驶员状态的检测一般包括以下3种方法:
(1)驾驶员生理信号检测法;
(2)驾驶员面部表情检测法;
(3)驾驶员驾驶行为检测法。
如浙江大学开发了一套基于灰度积分投影的人眼快速定位法,利用图像垂直灰度和水平灰度投影曲线来确定人脸边界及人眼位置,最后确定人眼阈值进而检测驾驶人员眼睛的闭合时间及闭合频率;西安交通大学对基于驾驶行为的驾驶员疲劳状态进行了研究,通过分析驾驶员转向盘转角的转向特征,进行小波包的分解并建立能谱熵,对驾驶员疲劳状态和正常状态时的小波能谱熵值进行比较,以能谱熵值区分驾驶员状态。
另一个角度来讲,执行器模型描述着期望指令和实际通过执行器实现的指令之间的关系,执行器的精度、响应时间、预设工况与工作状态、工作范围等许多待确定的特性参数,选取这些参数十分繁琐,郭景华把执行器建模视为灰箱辨识问题来确定执行器的数学模型。智能车在运动过程中利用车辆运动学与碰撞学对车辆运行结果进行安全评价。吉德志采用蒙特卡洛方法来计算车辆间的碰撞概率,并对传统的蒙特卡洛方法加以改进以提高碰撞概率的计算速度,提出了几何蒙特卡洛和矩阵蒙特卡洛方法,实时计算车辆间的碰撞概率,完成车辆的碰撞预测。Laugier C等在考虑道路几何拓扑环境的基础上,通过隐马尔可夫模型结合GPS进行碰撞识别,直观的进行碰撞风险估计。Jang J A提出了一种协同路口碰撞预警系统模型CICWS(Cooperative Intersection Collision Warning System),应用固定的交通传感器在无信号路口为驾驶员实时提供预警信息。文中使用交通冲突技术TCT(Traffic Conflict Technique)估计交叉口的可能碰撞,并扩展概念应用于实时信息通讯,用于识别与车辆建设相关的安全问题。
还有一些对于车辆横向控制的研究:清华大学的张德兆等针对乘用车设计了一种基于风险状态预估的弯道防侧滑超速预警系统,根据驾驶员预估时间构造风险状态预估函数,提前判断车辆进入弯道时的安全状态,并对驾驶员分级报警提示,从而使其提前对车辆进行操作,保证车辆弯道行驶的安全性。Gerhard等建立车辆线性动力学模型,利用主动差速和主动侧倾控制系统设计了横摆角控制器,简单但鲁棒性强,在时变参数空间内确定车辆稳定的边界条件,通过控制车轮转向角和车辆纵向速度以避免车辆发生侧翻等危险。
4 结束语
综上所述,预期功能安全属于智能汽车的新型发展方向,国内外研究多数停留于定义和概念阶段,尚缺乏全面系统的基础理论支撑。少数探索性研究主要针对特定技术方面,决定了预期功能安全目前存在着很大的挑战。
(1)在智能驾驶预期功能安全方面,由于安全评估必须依靠场景的支撑,需要研究智能驾驶场景的建模,驾驶碰撞是由于智能汽车的现有路权和驾驶意图的期望路权之间的冲突,研究基于路权语义的场景建模,并提出预期功能安全熵的概念,表示该智能系统的安全度。
(2)智能驾驶感知的安全建模任务中,可靠的环境感知能力对自主巡航控制、碰撞预警和路径规划起到至关重要的作用,直接影响其决策的准确性。环境感知是多种传感器数据融合后的结果,如何学习、融合多源异构传感数据,是研究感知的首要问题。在面对多态性环境和错觉场景,需建立有效的风险评估策略和干预措施。此外,如何提高感知准确率,针对漏解和误解情况构建鲁棒的概率模型,也是亟待探索的重要问题。
(3)在智能驾驶决策的安全建模方面,对行为决策及路径规划算法的安全性进行风险评估,研究道路交通法规和未知危险造成事故的可能性等因素,开展基于风险概率冲突及严重程度冲突的风险预测模型的构建,设计决策安全监测系统,同步监测及验证决策逻辑,建立基于决策层面的预期功能安全模型与计算方法。
(4)在智能驾驶执行器的安全建模方面,执行器的输入有智能系统和乘客行为,由于存在执行器响应延迟与工作范围限制,乘员对功能理解不充分状态下的功能误用以及系统触发时与乘员预期不同所产生的心理负荷等因素,对行车安全造成影响。故未来应提出综合乘客不确定因素与执行器响应特性要素,从车辆动力学失稳与运动学碰撞风险角度,建立智能驾驶执行层面的预期功能安全熵模型与计算方法。