点击上方“3D视觉车间，选择星标
第一时间送达干货
我已经向你介绍了基于飞秒的摄影WIFI、以及基于角膜成像的非视觉成像技术。这些技术有一个简单的初衷，希望观察隐藏的场景，帮助驾驶安全、反恐防暴、消防救灾等。
然而，无论是飞秒摄影还是飞秒摄影，WIFI，所有这些设备都需要特殊的设备来发送信号，要么在特定的场景中容易受到干扰，要么特别昂贵。角膜成像只在特殊情况下有用。那么，是否有可能通过被动观察可见场景来推断隐藏场景而不主动发送任何信号呢？
今天，我将介绍一个微弱的图像变化，只是通过相机观察，可以推断隐藏场景中是否有人，有多少人，这些人可能有多远的技术——这就是所谓的角相机
【本文同时发表在我的微信微信官方账号和知乎专栏计算摄影。欢迎扫码关注。请注明作者和来源。
我们照例，先来看看美女视频，有请模特Sunny妹出场：
这个技术来自MIT，论文如下：
这里的领导作者Katherine也是大美女：
也许你还不知道她是谁，但如果你告诉你，是她领导的团队拍摄了第一张黑洞照片，你一定会哇哦了！
好了，不谈美女(Doge)，让我们来看看角相机技术背后的原理：
一. 基本原理
1.1 角相机的四个组成部分
让我们来看看角相机的组成部分。下图是整个角相机的示意图，我们看到了几个重要的组成部分：
相机
墙面倒角
相机能观察到的区域(红色扇形区域对我们来说最重要)
隐藏的场景被墙挡住了
我们的目的是通过分析相机观察到的红色区域的信息来获取隐藏场景的重要信息，如隐藏场景中是否有人，有多少人，离角落有多远，等等。我想你已经通过文章开头的视频显示看到了角落相机的力量。
作者在视频中展示了一个单反对前面地面的角相机系统
拐角的另一边是一条从走廊外照射光线的走廊。我们可以观察到地面上的光轻微的渐变，因为角挡住了另一个方向的光，但地面是由漫反射表面引起的。
当有人在被遮挡的走廊上行走时，地面的光影会发生轻微的变化作者只是想通过这种变化来分析隐藏的区域。
1.2 由观测区域和光线的微小变化引起的图像变化
接着我们看看下面这个示意图，假设你站在下图中的p点四处张望，你将可以看到下图中浅棕色的部分，但无法直接观察到灰色的部分。此时射线op与墙面的夹角为theta度
如果你继续沿着p点所在的弧走到达p如下图所示，您将能够观察到更多的区域：
这是什么意思？说明p点，p1.事实上，我收到了一些壁覆盖的区域的信息！如果我们用相机观察p点和p1点的地面可以在墙后获得一点信息。此外，如果你能整合下图中红色扇形区域的地面反射信息，你就能得到被墙挡住的区域的信息——这真的是一个微妙的想法！
作者的论文题图也展示了这一思想，其中(a)图展示摄像头观察地面。在(b)在图中，假设有一个第三方观察者沿着圆弧绕角移动，可以观察到墙后不同范围的场景。而(c)图是相机观察到的扇形区域。当有人在墙后移动时，光线被遮挡，导致相机看到的图片肉眼无法察觉的微小变化(图片c），图(d)这种变化是通过增强图像内容来显示的，而图e是通过本文重建的1D信号-它表明两个人在墙后行走，他们不断改变相对墙的角度。
我们可以通过以下视频加深认知:
1.3 表达和解释隐藏区域的信息
首先看作者论文的定义:
1.4 更多作者示例展示:
正如你所看到的，我们得到的x元素描述了被墙覆盖的区域的每个不同角度的信号，这也是你从视频开始时看到的曲线图中得到的信息。我们可以看到更多作者的例子：
更有趣的是，通过以上视频，我们可以看到，当只有一个人在隐藏区域行走时，我们看到了一条曲线。如果有两个人走路，我们会看到两条交织在一起的曲线。曲线的纵向是时间轴，横向是被阻挡的光的入射角。曲线的波形也与视频中两个女孩的行走方式一致。
在视频中，你可以看到作者在室内、室外结果，无论是室内、室外还是不同的天气条件。无论我在复制过程中发现，光线、地面材料、选择的拍摄设备、超参数设置等都有很大的影响。就像我开始展示的视频一样，在反复选择了几个拍摄地点之后。
二. 扩展:立体角相机
有趣的是，作者说一对角相机也可以组合在一起形成立体角相机
不同的地面阴影区反映了不同隐藏区域的信息。
如果将这些信息结合起来，可以获得隐藏区域人物的位置
通过以下视频，您可以更深入地理解：
三. 总结
今天我给大家介绍一个非常有趣的非视线成像方案:角相机。这种方法不仅有趣，而且完全被动，不需要像WIFI、TOF这种额外的信号源在某些情况下使其非常有用。我没有查询当前技术的进一步研究和应用，但我非常同意作者的观点：该技术为汽车行人安全、搜索和公共安全开辟了潜在的应用领域。
虽然理论复杂，但实际计算过程相对简单。作者还开源了自己的实现。下载后可以测试自己的角落视频，就像我做的一样。再次感谢Katherine和她的研究团队！
再次感谢模特Sunny出镜！
四. 参考资料
CMU 2017 Fall Computational Photography Course 15-463, Lecture 26
角相机项目官网:people.csail.mit.edu/kl 我引用了：
论文
论文插图
使用该代码验证了您拍摄的视频
前面的几篇NLOS文章：基于飞秒摄影、基于WIFI、以及基于角膜成像的非视觉成像技术
Katherine L. Bouman照片来自:actitudfem.com/tecnolog
本文仅进行学术分享。如有侵权行为，请联系删除。
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进4.中国第一门面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)
9.从零开始建造一套结构光3D重建系统[理论 源码 实践]
10.单目深度估计方法:算法梳理和代码实现
11.在自动驾驶中部署深度学习模型
12.相机模型及标定(单目) 双目 鱼眼）
13.重磅！四旋翼飞机：算法与实战
14.ROS2从入门到精通:理论与实战:
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题