• 精确的non-Texture

• Pseudo-LiDAR_From_Visual_Depth_Estimation_Bridging_the_Gap_in_3D

  • https://openaccess.thecvf.com/content_CVPR_2019/html/Wang_Pseudo-LiDAR_From_Visual_Depth_Estimation_Bridging_the_Gap_in_3D_CVPR_2019_paper.html
  • 将基于图像的深度图转换为伪 LiDAR 本质上，模仿 LiDAR 信号
  • KITTI 3D 对象检测排名

• Scene Target 3D Point Cloud Reconstruction Technology Combining Monocular Focus Stack and Deep Learning

  • focus stack image and deep neural network
  • light field imaging technology
  • different focal lengths of the scene

自动驾驶的隐藏和障碍物检测

• 正(如岩石)和负(如沟渠)障碍物

  • 正面障碍物的例子有岩石、树木、栅栏等

  • 表面障碍物是指地面上的凹陷，即沟渠

  • 悬垂障碍物是指直接位于地面上方的物体

    • 树枝是户外环境的典型例子。

• 常见的方法是将平面拟合到局部网格表示的点 [6,8,19] 的补丁

  • 将平面拟合到一个点来检测障碍物。它们的算法计算量大，很难检测到小障碍物[18]。

• 改进差异深度和斜率，快速检测障碍物

• 正面障碍物是表面坡度陡峭的障碍物。这种情况在数学上用以下方法表示

• 与正面障碍物不同，负面障碍物通常不会有陡峭的向下坡度，因为它们被阻挡了

  • 传感器安装得更高，倾斜角也会增加。这将使斜率成为检测因素，但也会减少感应区域

• 在沟渠位于之前，为了减少误报的数量 Ladar 只有在图像的高分辨率部分内，才能考虑沟通

  • 我们的传感器安装，距离车辆 20 m 在内。这个范围可能不足以高速行驶

• 沟渠远处的墙壁是积极的障碍物，可以在更远的地方检测到

• 悬空的概念出现了:比如树木，突出的一块，但是如果很高就可以通过

• 积极的障碍可能是无害的。例如，由于体积小，短草和鹅卵石应被忽视

• 障碍物检测系统的目标是检测前方足够远的障碍物，为制动或避免操作提供时间

• 车辆快速移动，扫描激光束可能会完全错过障碍物

• 当目标障碍物隐藏在高草丛中时，很难识别。

  • 高草、灌木和背景树被标记为障碍物

Obstacle Detection for Unmanned Ground Vehicles: A Progress Report 1995

• 自然和人为障碍物
• 在热图像上尝试立体视觉来解决夜间操作问题
• 初步调查可见光、近红外和偏振图像区分土壤、植被和水

学习和测试开放世界中的一切

• 略读

  • 数据集

  • 论文

    • 评估两种设置 LDET：跨类别和跨数据集

      • 已知类培训模型，评估未知类检测/分割性能

  • 代码

  • 网络

  • 特点

    • 为了避免抑制隐藏对象（可见但未标记的背景对象），我们将注释对象粘贴在从原始图像的小区域采样的背景图像上。

      • 由于只在这种合成增强图像上进行训练会受到域转移的影响，我们将训练分为两部分:1)在增强图像上对训练区域进行分类和回归，2)在原始图像上训练掩模头。

        • 模型不会学会将隐藏的对象分类为背景，并将其推广到真实的图像中
        • 在 COCO 跨类别泛化及 UVO 和 Cityscapes 跨数据集的评估优于基线

    • [ joseph2021towards ]为开放世界检测提出了一种半监督学习方法，远离世界检测ground truth box但具有高objectness score该区域被视为隐藏的前景对象

  • 创新点

    • 目前最先进模型的失败部分是由于训练，几乎所有带注释的前景对象都是背景，可能有物体，导致学习效果差

      • 掩码注释复制前景对象，粘贴在背景图像上
      • 使切割补丁保持较小，使合成图像不太可能包含任何隐藏对象

    • 在开放世界的实例分割中，数据增强和解耦训练是非常重要的

      • 通过放大小区域作为背景来创建没有隐藏对象的图像

        • 创建一个不太可能有任何对象的背景。该管道旨在避免将隐藏对象抑制为背景

    • 为了避免模型通过频率信息的差异来学习背景和前景的分离，前景对象被采样并调整为原始尺寸

      • box head 和 proposal 网络只使用无背景对象的混合图像进行训练，因此它们擅长检测新对象

        • 尽管定位质量估计 [ kim2021learning ]训练期间需要仔细选择阈值，但是 LDET 不需要。

    • 合成图像和真实图像只计算提议的分类损失和定位回归损失，以计算真实图像上的实例掩码损失。掩模损失鼓励模型在给定边界框时分离背景和前景像素，只选择定位良好的边界框来计算损失。

• 总结

  • 强大的数据增强和训练计划

    • 称之为学习检测一切事物 (LDET)

  • 跨域学习

    • 开放世界实例分割

• https://ww.spiedigitallibrary.org/conference-proceedings-of-spie/10615/106151E/Feature-fused-SSD-fast-detection-for-small-objects/10.1117/12.2304811.short?SSO=1

• 略读

  • 数据集

  • 论文

    • https://www.leiphone.com/category/academic/TTcH12nhAzBWl8I5.html

  • 代码

    • https://github.com/wangsr126/RDSNet

  • 网络

  • 特点

  • 创新点

• https://www.zhihu.com/question/434960624#:~:text=%E5%9B%BE%E5%83%8F%E5%88%86%E5%89%B2%E5%92%8C%E6%A3%80%E6%B5%8B%E8%83%BD%E5%A4%9F%E7%BB%9F%E4%B8%80%E8%B5%B7%E6%9D%A5%E5%81%9A%E5%90%97%EF%BC%9F%20%E5%9B%BE%E5%83%8F%E5%88%86%E5%89%B2%E5%9F%BA%E6%9C%AC%E6%80%9D%E8%B7%AF%E6%98%AF%E7%BB%99%E6%AF%8F%E4%B8%80%E4%B8%AA%E5%83%8F%E7%B4%A0%E7%82%B9%E5%88%86%E9%85%8D%E7%B1%BB%E5%88%AB%E6%A0%87%E7%AD%BE%E3%80%82,%E7%9B%AE%E6%A0%87%E6%A3%80%E6%B5%8B%E6%98%AF%E6%8A%8A%E7%9B%AE%E6%A0%87%E6%A1%86%E5%87%BA%E6%9D%A5%E5%B9%B6%E6%89%93%E4%B8%8A%E6%A0%87%E7%AD%BE%E3%80%82%20%E8%BF%99%E6%A0%B7%E7%9C%8B%E8%B5%B7%E6%9D%A5%EF%BC%8C%E5%88%86%E5%89%B2%E6%98%AF%E6%AF%94%E6%A3%80%E6%B5%8B%E6%9B%B4%E7%B2%BE%E7%BB%86%E7%9A%84%EF%BC%8C%E5%AE%8C%E6%88%90%E4%BA%86%E5%88%86%E5%89%B2%E8%87%AA%E7%84%B6%E5%B0%B1%E5%AE%8C%E6%88%90%E4%BA%86%E6%A3%80%E6%B5%8B%E3%80%82

• Deep Learning for Image and Point Cloud Fusion in Autonomous Driving: A Review

  • 精读

    • 数据集

    • 论文

      • https://blog.csdn.net/qq_15698613/article/details/119091679?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-0.no_search_link&spm=1001.2101.3001.4242.1&utm_relevant_index=3

    • Mono Camera and LiDAR fusion

      • 包含信号级、特征级、以及多层次融合

      • 信号级（前融合）

        • 点云深度图与图像结合，形成RGBD图像，然后将RGBD图像送入网络中

        • 例子

          • 如Sparse-to-dense（基于ResNet的自动编码网络，但是真值比较难获取）
          • Self-supervised sparse-to-dense（Sparse-to-dense的改进，但只对静止物体有效，且输出的深度模糊）
          • CSPN（卷积空间网络，可以直接提取与图像相关的affinity 矩阵）
          • CSPN++（CSPN改进版，可以动态调整卷积核大小）

      • 特征级

        • 分别将稀疏深度图和点云送入网络中，完成特征的提取

        • eg

          • 《Depth completion and semantic segmentation》（就是将图像和稀疏深度图先由NASNet进行编码处理，然后融合到共享解码器中，获得良好的深度效果）
          • Plug-and-Play（利用Pnp从稀疏深度图中计算梯度并更新现有深度图信息）
          • 《Confidence propagation through cnns for guided sparse depth regression》（并行处理图像与稀疏深度映射，并归一化卷积来处理高度稀疏的深度和置信度）
          • 《Self-supervised model adaptation for multimodal semantic segmentation》（将前面提到的单节段扩展到网络不同深度的多阶段）
          • GuideNet（将图像特征与不同层次的稀疏深度特征在编码其中进行融合，缺乏有效的gt）

      • 多层次融合

        • 前两个做了一个融合
        • 《“Sparse and noisy lidar completion with rgb guidance and uncertainty》（对RGBD数据和深度数据同时进行处理，然后根据置信图进行融合

    • 双目相机与LiDAR融合

      • 就是利用stereo相机之间的视差获取图像的深度值，然后结合稀疏的点云深度信息产生更精确的密集深度

      • eg

        • 《“High-precision depth estimation using uncalibrated lidar and stereo fusion》（两阶段CNN，第一阶段采用激光雷达与Stereo的视差获取融合视差，第二阶段将融合视差与左RGB图像融合在特征空间中，以预测最终的高精度视差，然后再进行三维重建）
        • 《Noise-aware unsupervised deep lidar-stereo fusion》（不需要gt，直接适用图像、点云自身的损失进行端到端训练，好处就是不太关注于点云与图像之间的对齐信息）、类似的还有《Listereo: Generate dense depth maps from lidar and stereo imagery 》

• https://zhuanlan.zhihu.com/p/86543002

  • 深度学习基于摄像头和激光雷达融合的3-D目标检测

【负障碍物方向】

• 略读

  • 数据集

  • 论文

    • https://ieeexplore.ieee.org/abstract/document/8300645

  • 代码

  • 网络

  • 特点

  • 创新点

• 略读

  • 数据集

  • 论文

  • 代码

  • 网络

    • 多元时间序列
    • LSTM

  • 特点

    • 用内置的智能手机加速度计来感知路面，从而采用众包感知视角

      • 减速带和其他会在车辆中产生振动但不能视为道路缺陷的结构
      • 有误报
      • 深度学习的方法解决

  • 创新点

• 加速度计传感器

• 纹理和空间特征检测裂缝和坑洞

  • 方法在大视点变化、背景噪声、阴影和遮挡方面表现良好

• 略读

  • 数据集

    • standard road crack datasets

      • Kendall, Alex and Badrinarayanan, Vijay and and Cipolla, Roberto, Bayesian SegNet: Model Uncertainty in Deep Convolutional EncoderDecoder Architectures for Scene Understanding, arXiv preprint arXiv:1511.02680, 2015
      • Eisenbach, Markus and Stricker, Ronny and Seichter, Daniel and Amende, Karl and Debes, Klaus and Sesselmann, Maximilian and Ebersbach, Dirk and Stoeckert, Ulrike and Gross, Horst-Michael,”How to Get Pavement Distress Detection Ready for Deep Learning? A Systematic Approach,” 2017 International Joint Conference on Neural Networks (IJCNN) pp. 2039–2047.

    • Zhang dataset

    • GAPs dataset

  • 论文

    • 关键词

      • potholes

    • 误报

      • 道路补丁

        • 缺乏关于深度的知识，即使使用人脑也很难确定

  • 代码

  • 网络

    • SqueezeNet

      • 我们删除了 SqueezeNet 的最后一个卷积层，并合并了一个编码层

    • 编码层的引入有助于学习纹理特征和空间特征。

    • 二元Cross Entropy

  • 特点

    • 大视点变化、背景噪声、阴影和遮挡方面表现良好
    • 在编码层中学习到的基于纹理的特征与空间信息相结合，形成了分类的基础。
    • 即插即用模块，而无需改变其基本设计

  • 创新点

    • 候选坑洞和裂缝，我们从图像中创建了两个掩码

      • 第二个掩码，对视频帧执行简单的基于微分的边缘检测算法（Canny 边缘检测）。
      • 第一个掩码是通过将视频帧通过修改后的 SegNet

• 激光雷达
• IMU震动
• 纯视觉

• 略读

  • 数据集

    • 公共坑洞数据集

      • Machine Intelligence Institute of Africa (2017) MIIA deep learn- ing Hackathon. http://machi neint ellig encea frica .org/activ ities / hacka thon/. Accessed 7 Jan 2019

        • 4026 张训练图像和 1650 张测试图像组成，分为两类：正面（包含坑洞的图像）和负面（没有坑洞的图像）。

  • 论文

  • 代码

  • 网络

    • 两个主要子网络

      • 定位子网络采用高召回率网络模型来找到尽可能多的候选区域

      • 第二个基于部分的子网络对网络预期关注的候选区域进行分类。

        • ResNet50

          • 最后一个全连接层被替换为全局最大池化层，以实现更快的收敛和更好的泛化

        • 提取以检测到的零件位置为中心的大小为 W × H 的局部相邻区域

    • 下采样会增加丢失对坑洞识别至关重要的判别特征的风险

    • 全卷积架构 (FCN) [32] 的位置敏感特性

    • ×3 的简单高斯平滑滤波器和阈值技术来降低噪声并避免弱检测

    • 二元交叉熵损失作为分类损失

  • 特点

    • 数据探索

      • 坑洼是路面上的碗状孔洞，表现出强烈的纹理线索，是最普遍的道路损坏类型之一。
      • 形状、比例和阴影上表现出广泛的多样性，并具有各种照明效果，而这些照明效果通常伴随着高度复杂的背景
      • 实例往往更小，判别性细节和特征被模糊或隐藏

    • 路面坑洼的识别通常首先尝试找到更有可能包含坑洼的区域，然后将这些区域放大到更大的分辨率，并专注于可区分的部分

    • 阈值高于 ground-truth 最大值 10% 的区域进行分割

      • LCNN 的召回率很高，这可能会产生许多候选者，并且会导致下一个过程中时间消耗的线性增长
      • 排序前L个取出来

    • LCNN 中涉及的大量子采样，检测到的坑洞中心可能是未对齐的

  • 创新点

    • 位置感知卷积神经网络的坑洞检测新方法
    • 侧重于道路中的判别区域，而不是全局上下文
    • 受到用于图像分类任务的细粒度工作成功的启发[
    • 低分辨率的下采样图像找到候选区域，这样可以减少计算量，然后网络将注意力集中在全尺寸图像的区域上

• 二维视觉中的坑洞检

• 略读

  • 数据集

  • 论文

    • 端到端系统，用于实时检测、监控和空间映射整个城市的坑洞
    • 为了通过该系统提供端到端服务，坑洞检测和坑洞映射都通过一个安卓应用程序集成
    • Google Maps API（应用程序编程接口）的帮助下生成实时坑洞标记地图
    • 10 折交叉验证。所提出的模型已达到 97.8% 的验证准确率

  • 代码

  • 网络

    • 避免过拟合，这个预训练模型的所有隐藏层都被冻结，只在平均池化层之上添加了一个密集层和 0.5 的 dropout，而不是加载 InceptionV3 模型的全连接层，以使其适合我们的模型

  • 特点

  • 创新点

    • 坑洞图像的实时分类
    • 以帮助人们定位坑洼的端到端系统
    • 不牺牲性能的情况下处理越来越多的数据。它可以通过将云服务整合到系统中来实现。云可扩展性还确保了成本效益
    • 智能手机应用程序提供坑洼的空间映射
    • android 应用程序来捕获坑洞图像并将其位置存储到 Firebase 数据库

• 主要贡献在应用层面和详细的文献综述，讨论了一种可行的部署方案

• 自己数据集

• 略读

  • 数据集

  • 论文

    • 随机森林树模型

  • 代码

  • 网络

  • 特点

  • 创新点

    • 2 秒非重叠移动窗口进行预处理，以提取相关统计特征以训练二元分类器

detection: From Perspective Transformation to Disparity Map Segmentation 2020 重新思考路面 3D 重建和坑洞检测：从透视变换到视差图分割

• 视差图估计和分割的高效坑洞检测算法

• 立体钻机滚动角来概括透视变换

• 半全局匹配估计道路差异

• 执行视差图变换算法以更好地区分损坏的道路区域

• 线性迭代聚类将变换后的视差分组为一组超像素

• 查找超像素来检测坑洼，这些超像素的值低于自适应确定的阈值

• 3D geometry can be reconstructed in a Structure from Motion (SfM)

• 近年来，表面建模（SM）已成为一种流行且有效的坑洞检测技术[27]-[29

• 实际路面有时是不平坦的，这使得二次曲面建模有些问题

  • 排水

• we 3 generalize the perspective transformation (PT) proposed in [4], by incorporating the stereo rig roll angle into the PT process, which not only increases disparity estimation accuracy but also reduces its computational complexity

• 半全局匹配（SGM）[31]被用于密集亚像素视差图估计

• PT-FBS，这是一种 GPU 友好的视差估计算法，已被证明是完全连接的 MRF 模型中能量最小化问题的一个很好的解决方案

• 布雷等人。 [21] 还训练了一个神经网络 (NN) 来检测和分类道路损坏。然而，监督分类器需要大量标记的训练数据。这种数据标记过程可能非常耗费人力[5]

• 用了kmeans，k=2

  • 只能同时找出一个坑

• 道路坑洼检测数据集可在以下网址公开获得：sites.google.com/view/tcyb-rpd

  • 404

WarpCut – Fast Obstacle Segmentation in Monocular Video 2007

异常分割的基准

• 略读

  • 数据集

    • 基准测试结合了两个新的异常分割数据集

  • 论文

    • https://www.arxiv-vanity.com/papers/1911.11132/

  • review

    • Krešo等人。[ 22 ]在多个语义分割域上进行训练，如果来自 WildDash 驱动数据集的图像区域被分割为来自不同域的区域，即室内类，则将它们视为分布外区域

    • 医学异常分割和产品故障检测

      • 基于重建的方法需要对干净数据进行良好建模才能工作
      • 来自街景的复杂图像。这些图像在场景布局和照明方面具有很高的可变性，因此不太适合基于重建的技术。

    • 模拟驾驶环境自然地插入异常3D 模型来克服这些问题到场景中，而不是通过叠加 2D 图像

    • 我们确保在测试时看到的所有异常都来自完全看不见的类别，并且没有以任何方式进行调整，因此我们不与诸如此类的技术进行比较[ 25 ]。

  • 代码

  • 网络

  • 特点

    • 带有异常对象的真实图像的 BDD-Anomaly 数据集

      • 们将不常见的对象类保留为异常
      • 将此数据集与 StreetHazards 相结合，形成组合异常对象分割 (CAOS) 基准

    • 探索使用多标签分类器进行分布外检测，并在此设置中评估几种新的检测机制

    • 模拟驾驶环境自然地插入异常3D 模型来克服这些问题到场景中，而不是通过叠加 2D 图像

  • 创新点

    • 此外，我们改进了大规模多类数据集的分布外检测器，并为以前未探索的多标签分布外检测设置引入了检测器

    • 使用真实图像和来自模拟驾驶环境的图像，我们确保背景上下文和各种异常对象自然地整合在一起

    • 数据集要怎么做

      • 简单地将异常对象剪切和粘贴到图像中会引入各种不自然的赠品线索，这些线索过度简化和轻视异常分割的任务，例如边缘效应、不匹配的

      • 模拟驾驶环境来创建异常分割数据集，我们称之为 StreetHazards

        • 虚幻引擎和开源 CARLA 模拟环境

    • BDD-Anomaly 数据集填补了 Lost and Found 中的几个空白

    • 训练期间，由于图像数量不足以进行正确的均值和方差估计，我们冻结了批归一化参数

• 总结

  • 数据集要怎么做

    • 简单地将异常对象剪切和粘贴到图像中会引入各种不自然的赠品线索，这些线索过度简化和轻视异常分割的任务，例如边缘效应、不匹配的

    • 模拟驾驶环境来创建异常分割数据集，我们称之为 StreetHazards

      • 虚幻引擎和开源 CARLA 模拟环境

  • CAOS 基准通过评估现实和多样化异常的检测器，改进了以前对驾驶场景中异常分割的评估

    • AUROC、AUPR 和 FPR 进行评估

  • BDD-Anomaly 数据集填补了 Lost and Found 中的几个空白

  • 训练期间，由于图像数量不足以进行正确的均值和方差估计，我们冻结了批归一化参数

• 略读

  • 双目深度方案
  • 网络结构创新，融合深度信息

• 论文

  • https://www.connectedpapers.com/main/c0731e3d9dc5450901ca2a0365f53350aedfef09/MergeNet:-A-Deep-Net-Architecture-for-Small-Obstacle-Discovery/graph
  • https://arxiv.org/abs/1803.06508v1

• 略读

  • 单目方案

    • 依赖于边缘框和边缘遮挡

  • 关注远距离危险障碍物

  • https://www.arxiv-vanity.com/papers/1904.10161/

• 精度

  • related works

    • 视觉障碍发现主要分为三类：基于相关性的方法[ 1 ] [ 2 ]、基于分割的方法[ 3 ] [ 4 ]和基于提议的方法[ 5 ] [ 6 ]

• https://knowyourdata-tfds.withgoogle.com/#dataset=lost_and_found&tab=STATS&relations=kyd%2Fcloud_vision%2Fface_probability,kyd%2Flost_and_found%2Fsplit&draw=kyd/lost_and_found/has_segmentation_label,img,segmentation_label&auto_draw=false
• TensorFlow有数据集探索的代码

失物招领：检测自动驾驶车辆的小道路危险

• 数据集提出的论文

  • FPHT

  • PHT

    • 略读

      • 直接平面假设
      • lost and found 数据集提出

• 超过两千帧的障碍物和自由空间的像素注释

  • 丢失货物图像序列数据集

• 在 20 m 距离以低误报率成功检测到 5 cm 高的小障碍物

• 将人工底片粘贴到常规训练图像中获得的混合内容图像

Pixel-wise Anomaly Detection in Complex Driving Scenes

• 综合两种方法

  • 利用分割不确定性来识别异常区域

  • 从语义标签图中重新合成图像以发现与输入图像的不同之处

    • 益于不需要重新训练分割网络

• 成就

  • 显着提高了所有数据集的 AP。将 FS L&F 和 FS Web 的 FPR95 降低了 50%

    • 保持私榜泛化性能

• 切入点

  • 异常实例分析

    • 首先，异常实例被正确分割并分类为训练类之一（即鸟被混淆为人）（顶部）。其次，异常实例被多个类过度分割（即狗被检测为人、植被和地形类的组合）（中）。第三，异常实例与背景混合，未检测到（即框与街道分割混合）（底部）。

  • 分割性能和异常检测之间存在权衡

• 结构

  • 训练阶段在框架中分离，在测试阶段紧密集成

• 主要实验中没有使用道路异常数据集，因为它仅包含六十 (60) 张图像，这不足以确保在异常分割中具有适当的泛化能力。此外，异常对象的注释不一致。例如，路中间的一块岩石被标记为异常。然而，道路旁边的相同风格的岩石被归类为内陆。

• 直接假设平面 pht

  • 假设地平面

• fpht

  • 对于校准的立体相机，可以使用简化的参数化，减少自由参数的数量和优化问题的复杂性

• 数据集

  • 概况
  • 由总共 112 个视频立体序列组成，带有对自由空间区域的粗略注释和对道路障碍物的细粒度注释。每 10 帧提供一次注释，总共有 2104 个带注释的帧

• 后续被fishyscapes标准拿去做训练集

• 混合图像训练，合成的负补丁，训练和推理一致应用的原则性信息论标准来检测异常

• 合成的负补丁扩展了这种方法，同时实现了高内部似然和统一的判别预测

• 建议根据可以通过训练和推理一致应用的原则性信息论标准来检测异常

• 训练

  • 最小化内点的交叉熵来训练判别模型

    • 最大化粘贴底片的预测不确定性

  • 补丁粘贴在随机位置

    • 辅助负数据集不需要了

    • 就是粘贴策略换了一下

      • 随机位置粘贴异常（参见图4，左）。这通过适应阴影和照明

  • 搜索 f-divergences 集以获得更稳健的损失函数

    • KL 散度的强烈惩罚。这种损失使判别模型降低了对内部内容的置信度，因此触发了异常检测器的频繁误报响应，也使得模型性能下降
    • JS散度好用

• 网络

    - 负补丁X-我们将其粘贴在原始内部图像上
    - 生成的混合内容图像
  

X’被馈送到经过训练以区分内部像素的密集分类器（Cls)并提高负像素的统一预测

-  

• 成就

• intro

  • 生成的语义图重新合成图像将产生相对于输入图像的显着外观差异
  • 将检测未知类别的问题转化为识别重新合成不佳的图像区域的问题

• 方法

  • 原始图像、重新合成的图像和预测的语义图作为输入，生成一个表示意外对象的二进制掩码

  • 适用于在测试时检测从未见过的类

  • 训练了第二个网络，我们称之为差异网络，以检测显着的图像差异

  • 相关性来检测两个输入图像中同时出现的对象

    • 首先从输入中提取特征。我们对原始图像和重新合成的图像使用预训练的 VGG [39] 网络，并使用自定义 CNN 来处理预测的 one-hot 表示
    • 计算真实图像的特征和重新合成的特征之间的逐点相关性，并将其与减少的级联特征一起传递到返回最终差异分数的上卷积金字塔

• 问题

  • 生成出来的图域泛化性能如何，比如路面、周边建筑

• 优势

  • 解决数据集问题

  • 可以使用其他领域pretrain

    • 只需要生成检测部分即可

• 贡献

  • 新的雷达、视觉联合标定方法
  • lidar+视觉小障碍物数据集和模型

• 深度信息

  • 小型 1-D 卷积网络，以将路缘边界内的每个点分类为道路或障碍点。

  • 设计规则套公式

    • 断点检测：我们在点云的每个环内识别几何断点

  • 将道路上检测到的 LiDAR 不连续性与图像空间中附近的地面实况小障碍物分割标签对齐

• 标定

  • 基于 Haussdorf 距离
  • 小障碍物检测任务来说，微小的校准误差可能会带来极大的问题

• 方法

  • pretrain是在 CityScapes 数据集上进行的。
  • 骨干网DeepLab-V3

• 数据集
• 论文
• 代码
• 网络
• 特点
• 创新点

• 详细网络结构
• trick
• code
• 传感器类型
• 评价指标