设计这样的路标，既能被车道检测模块感知，又不被司机检测，是一个挑战。手动操作道路标志攻击车道检测模块是一项劳动密集型、容易出错的工作。

难点：

• 由于车道检测系统是没有开源的嵌入式车辆，因此很难访问第二进制并理解其计算逻辑。具体来说，GPU提取和理解中深度学习算法是一项具有挑战性的工作
• 误导车辆的最佳扰动不容易确定。它应该被车道检测模块感知，但司机不注意
• 即使车道检测模块的输入受到干扰，也会误导车辆，但如何在现实世界中发动攻击并不容易，而是通过在地面上添加不引人注目的道路标志来决定

贡献：

• 我们首次调查了真实车辆中车道检测模块的安全性，发现对手可以利用其灵敏度生成假车道，误导车辆。
• 特斯拉自动驾驶中的车道检测模块容易受到攻击，能迅速产生有效的干扰

challenges:

列出的8个参数表示数字扰动。Len和wid它决定了干扰的形状。D1、D2和D三是决定扰动位置。G增加摄像素灰度值。n如图5所示n = 2)。?G扰动n的数量越大，扰动的附加作用就越明显。θ这八个参数包含一个向量x:

效果如下：

两个度量来量化数字世界中扰动的有效性，并在此基础上构造了一个寻找最佳扰动的优化问题

• Visibility of lane：表示伪车道在输出车道图像可见性。其计算方法是将每个车道线像素的灰度值相加(每个车道线像素的灰度值)Gp代表当前像素的信心)。Vlane(x)值越高，假车道的可见性越高。

• Visibility of perturbation：添加到输入摄像头图像中的扰动可见性。这个分数结合在一起添加像素的数量和这些增加像素灰度值表示可见性。Vperturb(x)值越低，干扰对人类来说就越不显眼。变化的像素值增量越小，变化的像素数量越少。

• 总评价指数：整体分数扰动。S(x)值越高，扰动产生的假车道就越强，同时不引人注目。如果扰动不能创建假车道，S(x)应该为零。

对向量X值进行最优化S(x)

贪心：根据算法找到的提示，鼓励搜索位置移动到值较高的坐标

非贪心：本质上是随机更新位置，接受更高的可能性和更好的解决方案

合作：搜索个人体验与他人分享信息，并根据群体信息更新位置

非合租：独立工作p

• 甲虫触角搜索(BAS) 贪心
• 粒子群优化(PSO) 贪心、合作
• 甲虫群优化(BSO) 贪心、合作
• 人工蜂群(ABC) 非贪心、合作
• 模拟退火(SA) 非贪心

**trick：**n和θ没有加入到算法中

• 首先，由于扰动数n为离散变量，而其他参数均为连续变量，如果考虑n，优化问题将成为混合离散连续优化问题，难以找到最优结果。
• 其次，由于旋转角度θ是由攻击意图决定的，因此算法得到的θ值可能不能满足攻击者的要求
• 因此，我们将n 和 θ固定为常数

6个问题来评估我们对车道线检测模块的攻击

• 启发式算法找到最佳扰动的效率如何

  • 记录历史扰动最高分数和top10个扰动的平均分数,排除偶然性
  • BAS和SA同样有多输入和其他三种相同
  • results:收敛速度快、top1 S(x)和top-10平均S(x)上都取得高分
  • PSO算法在五种算法中找到了最高的S(x) (top-1和top-10)。只有ABC的收敛速度比PSO快，但ABC发现的top-1和top-10的平均S(x)远低于PSO。

  • 输入原始图像时，车道检测模块不输出，但添加一个不引人注意的扰动后，将检测到一个清晰的车道。并且该扰动对人类感知几乎是无形的

• 扰动数n和旋转角θ如何影响最佳扰动?

  • 动机：我们没有在启发式算法中加入扰动数n和旋转角θ。在该RQ中，我们研究了n和θ对S(x)的影响。

  • n :[1，5], θ :[0：30：2]，一共有5×14=70种组合，搜索其最佳S(x),并且记录

  • 图的第一行表示特定θ下的平均S(x)，最后一列表示特定n下的平均S(x)。每种设置下的average (x)表示该设置的总体有效性

  • n无显著影响，n=2时效果最好，θ随着增大S(x)减小

• 对于不同的输入摄像机图像，我们的方法的性能如何？

  • num1和num4的得分比其他的高，因为这两个图像中的地面都是干净的，一个小的扰动很容易导致输出车道图像中出现假车道。虽然NUM.2/3/5的分数相对较低，但扰动不易被人眼察觉，假车道有效且强。

• 最佳扰动的共同特征是什么?

  • 我们主要关注x中的五个维度，包括表示扰动形状的wid和len，表示相对位置的D1和D2，以及表示扰动灰度值的增量的∆G

  • shape:wid比len小得多，这意味着“窄而长”的扰动比“宽而短”的扰动更有效

  • position:对于扰动的位置，D1范围为10.14m ~ 15.30m, D2范围为1.51m ~ 2.23m。

  • 灰度值增量:在不同的输入图像中，∆G的值有所不同。对于干净的地面(num1和num4)或黑暗的地面(num3和num4)，一个小的增量可以使输出图像中的车道非常明显，而“脏”的地面(num2和num5)需要更大的∆G值来生成一个假车道

  • 总结：窄而长”的扰动更有可能造成假车道。所需的灰度值增量(∆G)取决于地面的亮度和洁净度

• 这种攻击在现实世界中有多有效?

  • 分别寻找n = 1和n = 2场景下的最佳数字扰动。当n = 1时，其长度len为1.5m，宽度wid为1cm。n = 2时，每次扰动的长度为0.4m，宽度为1cm，相邻距离为(D3) 0.7m。

  • x轴为每帧的纵向距离(D1)， y轴为车道可见平面(x)。Vlane(x)值越大，说明攻击越有效。我们还提出以下看法

    • n=1比n=2效果更高，说明：即使是一个单一的扰动也可以在物理世界中起作用。
    • 直线摄动(θ = 0)更容易被检测到，θ要低一点效果好
    • 因此，扰动在明亮和黑暗环境中都起作用。更黑暗的环境甚至会让车道能见度更高(如图(b)中n = 2)
    • 当n = 1时，5m≤D1≤12m时车道可见性较高。当n = 2时，5m≤D1≤7m时车道可见性较高，因此，如果适当地实施扰动(如图11 (a)中n = 1，θ = 0))，假车道可以在大范围D1 (15m到3m)内被检测到，D1 ≤ 9m更容易检测到

  • 精心设计的微扰可以被检测为假车道，而不会被人类察觉，在现实世界中依旧有效

• 我们能在现实世界中误导交通工具吗

  • 在常见的十字路口场景中(即直线车道在车辆面前消失)，这些扰动会误导车辆进入迎面车道

  • 结果表明，微扰会产生假车道，使车辆转向。此外，车辆偏离了5.1米(超过车辆宽度的2.5倍)，并沿着假车道行驶到对面的车辆，显示了现实世界中的严重威胁。

    • (b):车辆驶入十字路口之前，这些扰动被检测并识别为假车道，因此车辆开始沿着检测到的车道转向。

    • ©:车辆沿假车道行驶，转向左侧(迎面而来的车道)。在此过程中，将中间车道(车道图像中的右侧车道)识别为右侧车道。基于此检测结果，车辆驶入迎面而来的车流。

    • (d):车辆偏离了5.1米(超过车辆宽度的2.5倍)，被引入了迎面而来的车道，并在这个错误的方向上继续行驶。

  • 总结：由这些不引人注意的干扰产生的假车道能够成功地欺骗车辆进入自动转向模式，甚至误导车辆进入迎面而来的车流(可能会撞上迎面而来车道上的其他车辆)，从而显示出现实世界中潜在的严重威胁。

• 通过特征检测异常车道线。由于攻击者希望使干扰不引人注目，所以生成假车道的干扰的大小应该比正常车道小得多
• 攻击者为了误导车辆造成安全和/或安全后果，检测到的假车道会与真实车道不一致(如产生急转弯)。因此，车道检测模块可以利用这些特征提前拒绝异常车道
• 训练数据中包含对抗性例子。Goodfellow等提出，在训练数据中加入对抗例子，可以使模型对对抗攻击具有更强的鲁棒性。