Polarized 3D: High-Quality Depth Sensing with Polarization Cues 偏振三维：高质量偏振线索深度感知

为了解决物理伪影在偏振线深度增强的影响，如模糊方向、折射失真和前端并行信号退化。提出了一种偏振表面法线(polarization normals)框架与对齐的深度图相结合，以增强。

在概念上，我们提出了唯一一种利用偏振线索提高粗深度图质量的技术。我们设计了一个基于物理的框架解决方位模糊(解决问题1)和修正折射失真为了恢复三维形状，我们提出了一种解决方案==生成树积分方案以偏振度为加权参数。该方法是专门为偏振光法线设计的，解决了问题3。==众所周知，深度与法线的一般融合可以解决问题4和问题5。

偏光形状Shape from Polarization (SfP)：通过分析反射光的偏振特性来估计表面法线。概述可以在[36]中找到，描述了如何利用镜面反射的偏振度和方向获得表面法线。镜面偏振光中的信息也可以扩展到透明物体（transparent objects）[37,25]。另一方面，漫射偏振反射也可以用来估计绝缘物体（dielectric objects）形状[27，3]。综上所述，这些论文解释了偏振光在可控研究环境中的好处，但无论使用哪种偏振光技术，SfP 由于形状有些模糊，线索仍然是一个不稳定的问题。例如，在求解估算的表面法线的方位角和天顶重量上缺乏一致性。为了解决这个模棱两可的问题，[2]使用两个视点来获得偏振测量。[27]选择表面法线分布的先验工作多视图数据[26]扩展到空间雕刻以获得粗糙的形状。相比之下，我们使用额外的粗深度测量来充分解决经典问题SfP主要工件。

Combining depth and normal cues结合深度和法线线索：目前流行的获取3D信息技术。一般来说，现有技术结合基于几何的技术获得粗糙深度和基于光度的技术来获得表面法线。(1)几何方法有助于消除光度测量技术中的模糊性，如SfS或未经校准PS;(2)几何数据的表面细节采用光度法添加到粗深度图中；(3)粗糙深度图为梯度曲面问题提供锚点anchor，解决了深度不连续的不积曲面挑战。许多现存作品部分或完全反映了这三个方面。之前探索过的组合包括:激光扫描和PS[31]结合，多视角立体与SfS[42]或PS结合[47、19、7]，消费者深入感知SfS结合消费者对[44、14、43]的深刻感知PS结合[48，15，40]。如果无法获得高质量的表面法线，则集成一系列重叠深度图是一个流行的方法，可以为各种交互应用程序[17]或大规模实时表面重建[32]生成光滑表面。表1总结了我们提出的方法的优点和局限性。

表1。偏振允许在复杂的场景中增强深度，包括闪亮的物体、交互反射和不受控制的照明。单次拍摄是可能使用偏振相机。这些相机出售时带有用于多个偏振通道的传感器镶嵌图。

**Polarization in computational imaging计算成像中的偏振光:**一些研究人员已经利用偏光球面梯度照明图案和相机前的偏光镜来捕获偏光传输的行为，以进行静态表情的高分辨率面部扫描[22]，镜面粗糙度和各向异性的估计[9]，推论。 通过圆偏振提示[10，12]设置每个像素的表面反射率参数，以及进行多视图面部性能捕获[11]。偏振线索也广泛应用于计算成像应用，如漫反射和镜面反射的分离[30,49]、图像去雾[38]、图像拼接和全景拼接[39]、光照复用[6]和相机[23,18]或显示硬件[21]。此外，偏振线索还可以用于恢复半透明物体形状[5]、海面形状[46]或水下散射[41]。

​ 照片是用偏光镜在一定角度 ϕ pol  \phi_{\text {pol }} ϕpol ​拍摄的，在单个图像点上，强度intensity可以写成

I ( ϕ p o l ) = I m a x + I min ⁡ 2 + I max ⁡ − I min ⁡ 2 cos ⁡ ( 2 ( ϕ p o l − φ ) ) (1) I\left(\phi_{\mathrm{pol}}\right)=\frac{I_{\mathrm{max}}+I_{\min }}{2}+\frac{I_{\max }-I_{\min }}{2} \cos \left(2\left(\phi_{\mathrm{pol}}-\varphi\right)\right)\tag1 I(ϕpol​)=2Imax​+Imin​​+2Imax​−Imin​​cos(2(ϕpol​−φ))(1)

其中，方程中的三个未知变量为 I m a x I_{\mathrm{max}} Imax​、 I m i n I_{\mathrm{min}} Imin​和 φ \varphi φ，如图2所示。在正弦波上采样不同的值相当于用偏振镜角度的不同旋转来拍摄照片

图2。捕捉的设置。在(a)中，使用带有偏振滤光镜的标准相机在不同滤光镜旋转下拍摄扩散球体。下面一行捕捉到的照片看起来类似，但在(b)中，当一个像素与滤光片角度相对应时，观察到一个正弦模式。相位编码方位角，振幅和偏移编码天顶角。

Obtaining the azimuth of surface normal得到表面法线方位角：通过对 ϕ pol  \phi_{\text {pol }} ϕpol ​的三个值进行采样，足以表征接收信号的幅度，相位和偏移，其中方位角 φ \varphi φ被编码为接收信号的相位。然而，需要注意的是，这个解决方案并不是唯一的：==在偏振图像中，通过π弧度分开的两个方位角是无法分辨的。==具体来说，其中 φ \varphi φ和 φ \varphi φ + π的方位角对于等式1返回相同的值。在实践中，当使用偏振形状时，这将导致令人失望的结果。解决这种歧义是本文研究的重点之一。

Obtaining the zenith of surface normal得到表面法向顶点：偏振光程度由式1的振幅和偏移量决定，可表示为 ρ = I max ⁡ − I min ⁡ I max ⁡ + I min ⁡ (2) \rho=\frac{I_{\max }-I_{\min }}{I_{\max }+I_{\min }}\tag2 ρ=Imax​+Imin​Imax​−Imin​​(2) 将菲涅耳Fresnel 方程(见[16])代入方程2，偏振度可以写成 ρ = ( n − 1 n ) 2 sin ⁡ 2 θ 2 + 2 n 2 − ( n + 1 n ) 2 sin ⁡ 2 θ + 4 cos ⁡ θ n 2 − sin ⁡ 2 θ (3) \rho=\frac{\left(n-\frac{1}{n}\right)^{2} \sin ^{2} \theta}{2+2 n^{2}-\left(n+\frac{1}{n}\right)^{2} \sin ^{2} \theta+4 \cos \theta \sqrt{n^{2}-\sin ^{2} \theta}}\tag3 ρ=2+2n2−(n+n1​)2sin2θ+4cosθn2−sin2θ ​(n−n1​)2sin2θ​(3)

其中n为折射率，θ为天顶角。假设折射率已知，可以用封闭形式估计天顶角，也可以通过数值优化来估计。

Specular vs diffuse polarization镜面偏振与漫反射偏振：公==式3对于绝缘表面是稳健的，但不能用于非绝缘表面，如镜子或金属。这些材料不反射任何漫射光，==而是关系 ρ s p e c = 2 n tan ⁡ θ sin ⁡ θ tan ⁡ 2 θ sin ⁡ 2 θ + ∣ n ∗ ∣ 2 (4) \rho^{\mathrm{spec}}=\frac{2 n \tan \theta \sin \theta}{\tan ^{2} \theta \sin ^{2} \theta+\left|n^{*}\right|^{2}}\tag4 ρspec=tan2θsin2θ+∣n∗∣22ntanθsinθ​(4) 其中 ∣ n ∗ ∣ 2 = n 2 ( 1 + κ 2 ) \left|n^{*}\right|^{2}=n^{2}\left(1+\kappa^{2}\right) ∣n∗∣2=n2(1+κ2)，κ是材料的衰减指数，可以求出天顶角[28]。可以确定是使用公式3还是4来获得基于单个像素偏振度的天顶角。这样描述的方法的变体是在以前的SfP工作中实施，由于SfP的局限性(参见第1节的要点1-5)，SfP从来没有被认为是SfS的可靠替代品。

​ 假设场景具有以下属性:(1)非偏振环境光;(2)镜面无相互反射;(3)只有绝缘材料或低频材料发生变化;(4)漫反射主导曲面或镜面反射主导曲面

关于假设的细节，请参阅附录。

​ 我们利用获得的深度图来纠正偏振光法向的系统畸变。设 D ∈ R M × N \mathbf{D} \in \mathbb{R}^{M \times N} D∈RM×N为得到的深度图。我们的校正方案在法线域中运行，因此我们从深度图中找到曲面法线，表示为 N depth  ∈ R M × N × 3 \mathbf{N}^{\text {depth }} \in \mathbb{R}^{M \times N \times 3} Ndepth ∈RM×N×3。粗深度图包含量化误差和噪声，因此应该使用鲁棒robust的方法，如[24,20]来获得法线。具体来说，我们选择[20]中引入的平面主成分分析技术，因为它具有鲁棒性(技术细节见补充)。

考虑图3中的角落场景。使用粗深度传感器，获得表面的低频版本(注意图3b中三维形状的光滑性)。另一方面，由于方位角翻转，偏振法线的形状非常不准确，但高频细节可以恢复。

图3。常用的基准场景[13,29]。将偏振光技术与Kinect结合在一起可以提高性能。顶部一行显示了一个角落的3D形状。第二行显示表面法线。第三行以毫米为单位绘制表面误差估计值，第四行以w.r.t.度表示表面法线的角误差估计值。

​ 用 N polar  \mathbf{N}^{\text {polar }} Npolar 表示由偏振线索得到的法线图。目标是找到一个与 N polar  \mathbf{N}^{\text {polar }} Npolar 和 N depth  \mathbf{N}^{\text {depth }} Ndepth 相关的运算符 A \mathcal{A} A，它可以用数字表示为 A ^ = arg ⁡ min ⁡ A ∥ N depth  − A ( N polar  ) ∥ 2 2 \widehat{\mathcal{A}}=\arg \min _{\mathcal{A}}\left\|\mathbf{N}^{\text {depth }}-\mathcal{A}\left(\mathbf{N}^{\text {polar }}\right)\right\|_{2}^{2} A =argminA​∥∥​Ndepth −A(Npolar )∥∥​22​。==在没有附加约束的情况下，该优化是不适定的(ill-posed)。==然而，为了解决偏振模糊问题，我们只对将 A \mathcal{A} A表示为二元线性算子感兴趣。这两种状态对应的是通过π旋转方位角，或者不是。由于目标是解决低频模糊，在总变化的意义上，我们施加了一个附加约束，即A是一个光滑算子。综合起来，这可以表示为一个总变差最小化问题: A ^ = arg ⁡ min ⁡ A ∥ N depth  − A ( N polar  ) ∥ 2 2 + γ ∥ ∇ A ∥ 1  subject to  A ∈ { 0 , 1 } , (5) \begin{aligned}\widehat{\mathcal{A}}=& \underset{\mathcal{A}}{\arg \min }\left\|\mathbf{N}^{\text {depth }}-\mathcal{A}\left(\mathbf{N}^{\text {polar }}\right)\right\|_{2}^{2}+\gamma\|\nabla \mathcal{A}\|_{1} \\& \text { subject to } \mathcal{A} \in\{0,1\},\end{aligned}\tag5 A