点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨HawkWang
来源丨计算摄影学
就像你已经在最后一篇文章52了. 光飞行时间技术 (TOF在系列2中看到，包括TOF技术在内的3D自诞生以来，成像技术取得了巨大的发展，并在许多领域得到了应用。
然而，TOF技术在实际应用中也面临着一些关键挑战。本文将逐一介绍这些挑战和专家的解决方案。
像TOF这种主动光3D成像技术面临的第一个挑战是室外使用环境光的影响。你可以看到，如果3D相机的光源是场景中唯一的光源，因此整个使用条件非常符合其工作原理。然而，在室外，环境光可能大大超过相机本身的光源强度，导致其错误。
让我们看一个视频中使用的例子RGBD当相机对着一扇门拍摄时，我们可以看到一些区域的深度在阳光直射出现错误或缺失。
另一个挑战是散射介质的影响，因为它们会导致多条光路的出现，影响距离的判断。
一个典型的例子是，这是韩国现代赞助的自动驾驶汽车比赛的视频。在晴朗的天气条件下，一辆自动驾驶汽车自然地转弯：
在另一个雨雾天，当汽车再次挑战同一个弯道时，它撞上了路牙：
如果上述问题只是由室外环境的不确定性引起的，即使在受控的室内环境中，3D相机也会遇到挑战。例如，由于目标的几何形状，光会产生多次反射，导致距离判断失真
或者由于目标材料的多变，多条光路的出现影响了对距离的判断
从1860年到现在，3D相机在速度、分析力、准确性等方面都有了很大的提高，未来的3D相机将变得越来越适合各种场景——这需要从解决这些挑战开始。
正如你刚才所看到的，环境光会影响对距离的判断
所以一个明显的方法是拍摄一个屏蔽自己光源的图像，利用两个图像之间的差异来获得只有自己光源照射的图像：
如果你也这么想，恭喜你，你答错了O(∩_∩)O
这是由光的波粒二象性引起的——当我们像上面一样思考时，潜在的我们认为光是连续的波。但事实上，这一次仍然是一种粒子，所以它到达相机传感器并被捕获是一个离散的随机过程
单位时间平均可能有三个光子进入传感器，但由于离散随机过程的本质，有时可能没有光子，有时更多的光子进入传感器
这种不确定性被称为光子噪声(Photon Noise)用随机变量来表示， 因此，实际测量值是实际测量值 噪声之和，随机可变光子噪声服从泊松分布，其标准差正好等于其平均平方根。光子噪声是光的一个非常基本的属性——无论你的相机有多好，甚至人眼——每个相机都会经历光子噪声。
当环境光存在时，光子噪声将由光源和环境光同时贡献
由于阳光强度远大于光源，光子噪声主要来自阳光：
因此此时整体的信噪比将是很低的：
通过观察这张图，我们可以看到，在几乎所有的情况下，太阳都比3强D相机的光源强度为2-5个数量级。D具有挑战性的成像原因
经典的解决方案是通过多次平均拍摄来降低噪音：
随着图像数量的增加，整体信噪比也逐渐增加：
虽然这种方法有用，但需要增加拍摄次数，降低了系统的实时性。还有一个问题。光源发射的光均匀分布在场景中，降低了场景中每个目标点接收到的光强。因此，在一次拍摄中，其信噪比较低：
那么另外一个改进的手段就是从分散的光源改为集中聚焦式的光源，并且把场景分为N个部分，每一次拍摄只拍摄其中一部分，一共还是拍摄N幅图像，那么此时的信噪比将进一步得到提升
与简单的平均去噪方法相比，此时信噪比的提高非常明显
如果聚光灯很好，为什么我们不把所有的光都聚焦在一个点上呢？这是许多商用激光雷达系统使用的方法。虽然信号会很高，但我们必须一次又一次地照亮现场。这种扫描是一个非常缓慢的过程。
当然，另一个极端是平均分布在整个场景中的光。正如我们所看到的，为了提高信噪比，我们需要拍摄很多图像，这也非常缓慢。
因此，一些学者建议必须有一一定的优化光源分布，直观地说，最佳分布应该足够小，这样我们就不需要做任何平均，也应该足够大，这样我们就不需要做太多的扫描。
麦迪逊分校威斯康星大学Mohit Gupta教授提出了这样的表达：
光源由系统常量分布 控制，与环境光的强度成反比，这意味着在户外晴天使用时，由于阳光强烈，应使用更集中的光源。夜间场景使用时，可相应增加光源的分布面积，减少拍摄时间，提高实时性。
Gupta教授设计了一种解决光源分布自适应问题的原型，可以通过改变多边形反射镜的旋转速度来改变其散射面的大小：
以下是他们的一些实验结果，这是一个晴天上午11点拍摄的图像图片。此时，环境光约为7.5万 Lux
在相同拍摄次数的限制下，可以看出上述自适应方法的效果最好
在正午12点(90000 Lux)、下午1点(94000 Lux)哥伦比亚大学的重建结果也证实了这一观点，即最好的方法是控制光散，使其适应环境
我们曾经提到过O'Toole在2015年的Homogeneous Codes for Energy-Efficient Illumination and Imaging展示了集中主动照明的好处
他和他的团队设计了这样一个系统：它包含一个低功耗的小型激光投影仪，其发射光强只有30流明，以及一对经过仔细校准的快门相机。还有一个控制器来同步光源和相机：
这样的系统可以在强大的环境光下获得高质量的三维重建结果
西北大学计算摄影实验室成果MC3D: Motion Contrast 3D Laser Scanner进一步推进这一原则。该系统采用特殊的传感器，只对特定时域的运动变化敏感，对静态环境光不敏感，使其非常接近理想的3D由于相机的信噪比较高，下面的视频比较了它Kinect重建同一运动物体的结果
到目前为止，你已经看到了它TOF主动照明3D相机在实际使用中面临的几个问题。特别是，你应该明白为什么在户外使用时 3D最重要的是调整光源分布，调整传感器的感知范围，提高信噪比。
那么，如何解决其他几个问题呢？这是我下一篇文章要介绍的。
绝大多数这篇文章都是参考Mohit Gupta教授在2015年ICCV Tutorial中的课件：Core Challenges Faced by Time-of-Flight Cameras，这个课件最好的地方就是每一页都有老师的演讲，向老师的开放精神致敬！我们接下来的文章将继续沿着他的想法进行介绍TOF相机面临的挑战和解决方案。
本文仅进行学术分享。如有侵权行为，请联系删除。
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进4.中国第一门面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)
9.从零开始建造一套结构光3D重建系统[理论 源码 实践]
10.单目深度估计方法:算法梳理和代码实现
11.在自动驾驶中部署深度学习模型
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题