点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨雷晨阳
邓富城审稿
极市平台编辑
本文介绍了香港科技大学的中稿CVPR在2021年的工作中，工作采用了硬件与软件相结合的底层图像处理方法，主要介绍了一种鲁棒性强、精度高的反光算法，在定量指标和视觉效果上明显超过了其他算法。
代码及数据集：https://github.com/ChenyangLEI/flash-reflection-removal项目主页：https://chenyanglei.github.io/flashrr_rfc/index.html论文：https://arxiv.org/pdf/2103.04273.pdf利用偏振光去反射：https://github.com/ChenyangLEI/polarization-reflection-removal
本文介绍了一种非常鲁棒的反射算法，在定量指标和视觉效果上明显超过其他算法。
摘要
我们的算法主要使用额外的闪光照片（Flash image）去反射（Reflection Removal），我们可以大大提高效果，只需要一步操作。本文有三个主要贡献：
我们提出了一种新颖的提示（Reflection-free Flash-only Cues，RFC），该提示使区分反射更容易，从而更好地反射。由于与环境光下反射的外观和强度无关，该提示非常可靠。
我们提出了一个可以使用的特殊框架RFC避免引入仅闪光图像artifacts。与最新技术相比，我们在真实数据集上PSNR提高了5.23dB以上，SSIM提高了0.04，在LPIPS中减小了0.068。
我们构建了第一个包括raw数据和RGB基于闪光反射的数据集。
背景
什么是反射？在观察玻璃后面的背景时，玻璃上有镜子反射，导致背景对象的结构和颜色清晰度下降。例如，在购物中心通过玻璃看商品，在展厅通过玻璃看作品，然后从窗外看车里的人。
为什么要反射？当我们的目标是背景时，反射是一个干扰信号。反射可能会影响照片中其他算法的美观或效果（如目标检测）。
为什么很难反射？反射和背景是自然图像，很难区分。在许多情况下，即使是人类也无法区分图片的一部分。
相关工作
单个图像反射。在某些情况下，反射的外观可能包含一些线索。例如，当对焦在背景中时，反射可能会失去焦点，因此它看起来模糊[6,7]。当玻璃较厚时，可能会产生鬼效果[4]。然而，这些线索往往是站不住脚的。现实世界中的反射很可能是清晰和无鬼的。当反射的外观不符合算法假设时，算法的效果往往会急剧下降。
多个图像进行反射。一些反射方法[5]利用反射和背景的不同运动状态进行反射。然而，拍摄不同的运动图像（用户需要移动手机）需要更多的精力。有些方法[3]使用偏振光，但偏振相机并没有被广泛使用。
基于闪光反射。许多工作都应用了闪光灯的其他特点。Agrawal假设图像的梯度方向在闪光和环境光下是一致的。然而，它们很难在不理想的区域产生合理的结果（产生合理的结果。此外，它们的结果往往过于平滑。SDN[2]假设反射可以通过闪光明显抑制，但抑制效果对环境光下的反射强度敏感：当反射强时，抑制不再有效。在相同的设置下，我们的算法效果明显超过了这两种算法。
Reflection-free Flash-only Cues (RFC)
首先介绍一个概念，纯闪光图片（Flash-only image）。
与一般单张图片反射方法上图(a) 相比之下，我们的方法需要拍摄更多的闪光照片(b)。我们命名环境光（ambient illumination）下的图片为 ，加上闪光（flash illuminating）的图片为 。我们处理得到的图片是上图(c)，纯闪光图片 。如何获得？
注意此处我们需要这两张图片的raw image，因为sRGB图片的数值和光照并非线性相关。R和T分别表示闪光和背景。式子（3）是最关键的一步操作。由式子（3）可以知道，环境光照下的反光已经完全消失，但是还有flash-only光照下的反光。我们认为，它在大多数情况下为0。因为闪光灯具有方向性，只会照亮前面的东西，不会照亮后面的东西。而玻璃的反光在经过多次弹射之后进入相机已经比较弱了。
网络结构
虽然纯闪光照片 不包含任何的 （环境光下的反光），但是这张图片本身存在很多质量上的问题，包括：（1）偏色；（2）不均匀光照（由物体的远近和形状导致）；（3）闪光灯反光；（4）新的阴影或者被照亮的灰尘。如下图：我们需要设计一种结构，既可以利用到RFC的优点，又能规避上述纯闪光图片I_{fo}的缺陷。因此我们设计了一个两阶段的框架，第一个阶段只预测R_a，第二阶段再预测T_a。我们框架的目的是让最终得到的图片依赖于I_a而非I_{fo}，而I_{fo}只作为一个参考图片。这样子， 的artifacts在第一个阶段就可以被拦截了。
如果单纯利用一个网络来预测 会怎么样呢？我们实验发现网络倾向于从 生成最终的结果，上述的多种artifact就会被引入。
实验结果
我们对比了两类算法：单图去反射算法和基于闪光的去反射算法。上表展示了定量对比的结果，我们的表现显著超过了其他算法（包括其他基于闪光的去反光算法）。
上图展示了一个视觉对比结果，我们的算法在强的反光下仍然可以去掉反光，这主要得益于纯闪光图片 的引导。
上图展示了一个视觉对比结果，我们的算法可以鲁棒地去掉反光。
上图展示了一个视觉对比结果，和最新的基于闪光的去反射算法相比较（SDN, IJCV2020），我们可以更好的去掉强反光（当然，弱的反光更不在话下）。
讨论与总结
我们相信纯闪光图片 还可以被运用到很多其他的领域中。例如，我们发现环境光下的阴影也会在 中消失，也就是说， 也可以用去阴影。其次，在纯反光图片中只有一个光源，这对于很多领域也是非常重要的，例如photometric stereo。
由于我们的reflection-free cues，我们的算法的鲁棒性和精确性都很强，这从很多实验结果中也可以得到印证。尽管我们需要多拍一张照片，但是可以通过客制的程序来以很小的代价实现这一点（连拍两张照片）。我们的缺点在于，当物体离玻璃很远时，闪光灯可能无法照到物体，那么 就全黑了，当然，这也是多数active-sensing的共同缺点，存在距离限制。
[1] Amit Agrawal, Ramesh Raskar, Shree K Nayar, andYuanzhen Li. Removing photography artifacts using gradi-ent projection and flash-exposure sampling. InSIGGRAPH. 2005
[2] Yakun Chang, Cheolkon Jung, Jun Sun, and Fengqiao Wang.Siamese dense network for reflection removal with flash andno-flash image pairs.Int. J. Comput. Vis., 128(6):1673–1698,2020.
[3] Chenyang Lei, Xuhua Huang, Mengdi Zhang, Qiong Yan,Wenxiu Sun, and Qifeng Chen. Polarized reflection removalwith perfect alignment in the wild
[4] YiChang Shih, Dilip Krishnan, Fredo Durand, and William TFreeman. Reflection removal using ghosting cues. InCVPR,2015
[5] Tianfan Xue, Michael Rubinstein, Ce Liu, and William T.Freeman. A computational approach for obstruction-freephotography. ACM Trans. Graph., 34(4):79:1–79:11, 2015.
[6] Yang Yang, Wenye Ma, Yin Zheng, Jian-Feng Cai, andWeiyu Xu. Fast single image reflection suppression via con-vex optimization.
[7] Xuaner Zhang, Ren Ng, and Qifeng Chen. Single imagereflection separation with perceptual losses. In CVPR, 2018.
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题