动态场景的高动态范围重建需要仔细处理动态对象，以防止鬼影(Ghost)。然而，在最近的综述中，Srikantha 等人[2012] 结论：没有最好的解决方案，需要根据用户的目标选择不同的解决方案。我们试图用一种新的方法来解决这个问题，并建模颜色值的噪声分布。我们估计，不同图像中的一对颜色是观察相同辐照的可能性，在重建相同静态场景对象的像素辐照之前，我们使用马尔可夫随机场。通过选择单个低动态范围源图像来处理动态内容，并通过基于单应性的图像对齐支持手持拍摄。对于物体位移大的混乱场景，我们的基于噪声的重建方法比最先进的方法实现了更好的鬼影检测和去除。因此，我们的方法具有广泛的适用性，有助于将该领域转向动态场景 HDR 单一重建方法。

我们的算法输入是在不同曝光时间使用静态或手持相机拍摄的一组图像，其中图像中的像素值是相机的原始输出，即在任何内部处理之前。如果我们用手，我们用它 RANSAC [Fischler and Bolles 1981] 从稀疏 SURF 关键点匹配 [Bay et al. 2008]。使用对齐图像集，我们的方法估计辐照图像，每个图像构建为输入图像中相应像素颜色的加权平均值。通过平均生成一组像素，包括不一致子集。我们的算法识别每个像素位置的一致图像子集，并将最终辐照值重建为一致像素颜色的平均值 2）。这避免了必须选择参考图像 [Sen et al. 或者必须建立背景模型[Khan et al。2006]，这就要求背景更容易在每个图像位置观察到——这对混乱的场景不一定正确。首先，我们讨论我们的噪声模型和自动相机校准程序。

即使假设静态场景和恒定的相机参数，图像噪声也会随曝光时间而变化。两个主要的时间噪声源称为散粒噪声和读出噪声。散粒噪声是由光发射过程引入的，遵循方差等于平均泊松分布。读出噪声包括影响数码相机采集过程的其他几个与信号无关的源(包括量化噪声)，可以通过零平均高斯分布建模。 在 CCD/CMOS 在传感器中，每个像素中收集的光子电子数量与入射辐照度成线性比。这源于光电效应对可见波长的硅基传感器的特性 [Janesick 2001]。原相机输出也与收集的光子电子数成线性比。这种关系称为相机响应函数 f。该函数的斜率对应于相机的增益因子 g。该系数与 ISO 设置成正比(例如，ISO400 的增益是 ISO100 的四倍）。 由于原始输出的响应函数 f 它是线性的，因此可以恢复相机收集的光子电子数，并以近似每个像素测量的概率分布 [Granados 等人。2010]。 i 和像素 p 非饱和原始相机输出 vi§，反应函数的倒数，即收集的光子电子量，估计为 （1） 其中暗框 bi 是使用与 vi 曝光时间相同但未进入射光(例如，打开镜头盖)获得的图像。图像的曝光时间 ti 以及入射辐照 x§ 之间的乘积 tix§ 它被称为曝光，与相机收集的光子电子数成正比。 暗帧测量暗电流，由热能而不是光引起的像素强度）。我们假设暗电流可以忽略不计，或者等效地，暗帧减法是在相机内执行的。因此，在等式。(1)，我们将暗帧 bi§ 替换为相机的黑电平 L0，并省略了等式中暗电流对散粒噪声的贡献。(2) 下面。 曝光 tix§ 遵循泊松分布，其测量的不确定性对应于散粒噪声。我们使用高斯 [Hubbard 1970] 来近似这个分布来模拟辐照度估计 x§ 的方差。从方程式。(1)，图像 i 中 x§ 的方差可以导出为 （2） 其中 σ2R 是读出噪声的方差，它也是使用高斯建模的。评估方程式。(2)、我们需要估计参数g、L0、σ2R和ti。曝光时间ti可以直接从数字图像文件中获得；接下来，我们解释剩余参数的估计。 读出噪声 黑电平 L0 和读出方差 σ2R 使用 [Janesick 2001; 中描述的方法进行校准；格拉纳多斯等人。2010]。该方法将 L0 和 σ2R 分别估计为黑色帧的像素值的平均值和方差，即在没有入射光和没有积分时间（实际上是非常短的曝光时间）的情况下拍摄的图像。原则上，制造商可以为每个相机型号提供此数据。 相机增益 如果制造商没有提供，可以校准相机增益 g。Janesick [2001] 和 Granados 等人。[2010] 建议使用平面场（即在每个像素处以恒定照明曝光的图像）​​对其进行校准，以便可以假设每个像素颜色是相同随机变量的样本。在这种假设下，观察到的颜色的均值和方差可以使用平面场的空间均值和方差来近似。使用这种近似，可以通过利用期望值和曝光方差之间的等价性来推导增益。这种平场校准是最好的方法，它可以应用于任何数码相机。然而，在实践中，这需要额外的平场图像，这对于没有经验的用户来说可能很麻烦。 图 3：基于图像的增益校准。红点（顶部和底部）对应于用于校准的低方差超像素。黄点代表剩余的超像素。绿线显示基于图像校准的预测噪声，蓝色虚线显示平场校准的预测。我们的去重影方法对校准误差具有鲁棒性，因此即使在增益被高估的情况下（b），最终图像仍然没有重影伪影（见图 10）。有关其他结果，请参阅补充材料。 图 4：相机增益估计的置信度。箱线图显示了从平场校准（36 个平场图像样本）获得的增益因子分布的第 1、25、50、75 和 99 个百分位数，以及从基于图像的校准（a七个图像的样本，每个图像来自不同的场景；两个如图 3 所示）。灰线表示相机的真实增益。两种方法的预期增益非常接近，但基于图像的校准的方差更高。尽管如此，我们的增益估计仍可用于重建无重影 HDR 图像（见图 5）。红色曲线说明了增益因子和图像方差预测之间的依赖关系。通常，当相机增益被高估时，输入图像的预测噪声被低估。这使得重影检测更加严格，从而降低了最终 HDR 图像的 SNR，因为会找到更小的一致子集。因此，此错误不会引入重影伪影（参见图 5）。 图 5：我们的去重影方法对获得校准精度的敏感性。这里，g，σg 表示平场增益校准的平均值和标准偏差。我们的方法对相机增益的轻微低估 (b) 和较大的高估 (d) 具有鲁棒性：当它被低估时（很少发生，见图 4），可能会出现重影伪影（a，品红色箭）。相反，当增益被高估时，它会导致低 SNR (d)，但不会引入重影伪影。有关中等错误级别的附加测试，请参阅补充材料。 因此，我们提出了一种替代的基于图像的校准，它根本不需要平坦的场，直接从场景的输入图像集工作。这个想法是使用输入图像中的恒定照明区域作为平面场的代理。我们将输入图像（例如，中央曝光）划分为超像素 [Veksler 等人。2010]; 它具有预定义的补丁大小并遵循图像边缘。从超像素颜色的均方差散点图（图 3–顶部）中，我们选择每个数字值的最小方差，并使用 RANSAC [Fischler and Bolles 1981] 拟合通过 (L0, σ2 R)，即通过黑色电平的预期方差。使用超像素估计图像方差下限的想法最早是在 [Liu et al. 2008]用于图像去噪。我们的方法使用针对原始相机输出量身定制的更简单的噪声模型，以及一种非常简单的推理方法（即 RANSAC 而不是贝叶斯推理），该方法非常易于实现。图 3 说明了这个过程：顶行显示每个超像素（黄色和红色点）的均值和方差颜色值。其中，我们选择方差最小的超像素作为平面场的代理（以红色显示）。这种选择是合理的，因为只有散粒噪声和读出噪声对具有恒定照明的图像区域的变化有贡献，因此，这些噪声源决定了颜色变化的下限。顶行显示每个超像素（黄点和红点）的均值和方差颜色值。其中，我们选择方差最小的超像素作为平面场的代理（以红色显示）。这种选择是合理的，因为只有散粒噪声和读出噪声对具有恒定照明的图像区域的变化有贡献，因此，这些噪声源决定了颜色变化的下限。顶行显示每个超像素（黄点和红点）的均值和方差颜色值。其中，我们选择方差最小的超像素作为平面场的代理（以红色显示）。这种选择是合理的，因为只有散粒噪声和读出噪声对具有恒定照明的图像区域的变化有贡献，因此，这些噪声源决定了颜色变化的下限。 图 4 比较了每种增益校准方法的性能：我们的基于图像的校准足够准确，并且在预测的图像噪声方面与平场校准相当。重要的是，由于广泛的场景包含局部平坦区域，因此这种校准方法允许直接应用我们的去重影算法，而无需用户捕获平坦场图像。但是，其准确性取决于内容；图 3b 显示了无法精确估计增益的示例图像：由于图像中的平坦区域覆盖了有限的色带，因此斜率估计被误导（图 3b–顶部）。也就是说，重影伪影通常仅在超像素内的方差（以及增益）被低估时才会出现（例如，低于真实增益 6σg，参见图 5）

接下来，我们分别引入像素对和一组像素的一致性度量：如果对应的色差遵循预测的色差分布，则不同图像中对应位置的两个像素是一致的，如果是一组像素是自洽的，则所有像素都是成对一致的。 图像对的一致性测试 假设我们在像素 p 和颜色通道 k 处得到两个辐照度观测值 xki §、xkj §，它们分别来自图像 i、j 上的像素颜色 vki §、vkj §，使用相机响应函数的逆函数（等式（1））。检测重影伪影需要测试这些辐照度观测值是否一致，即它们是否对应于相同入射光的测量值。现有算法依靠难以设置的预定阈值来解决这个问题。这个要求可以通过利用第 2 节中讨论的噪声模型来避免。2.1。 我们的方法是估计差分函数 dkij § = xki § − xkj § 的概率分布；由于 xki § 和 xkj § 遵循高斯分布，因此 dkij § 具有相同的分布类型，对于一致的对，均值为零且具有方差： （3） 其中 Var xki § 和 Var xki § 是从方程式获得的。(2)。给定 Var dkij §，我们可以通过将相应的辐照度差异与每个颜色通道上的预期噪声分布进行比较，来估计图像 i、j 上像素 p 处的观察结果一致的概率： （4） 其中 C = {R, G, B}, N 是标准高斯随机变量，均值为 0，方差为 1。在实践中，估计 Pr (p |{vi, vj}) 可能是有噪声的（例如，当图像是在弱光下拍摄时或当相机具有高读出噪声时）。出于这个原因，在估计概率之前，我们使用双边滤波 [Tomasi and Manduchi 1998] 对差异图像 d kij § 进行平滑处理。我们将此步骤称为噪声自适应差分滤波（DF）。我们使用大带宽的距离核，以及与预测图像噪声成比例的可变带宽 σr = 2 Std d kij § 的距离核。这种过滤引入了相邻像素分布之间的依赖关系。然而，这种依赖性主要发生在已经具有相似分布的像素之间。鉴于这种相似性，过滤的净效果是差异分布尾部的衰减。这使我们能够在相同的特异性水平下获得更高的检测灵敏度（实验验证见第 3 节）。 由于序列中每个像素和图像的噪声方差 Var xi§ 不同，因此差分函数 Var dkij § 的方差也随每个像素和图像对而变化。这一观察是我们技术的组成部分：由于其他重建和去重影方法不会自动模拟噪声，它们不太可能很好地概括不同相机和曝光设置的噪声属性。 图像集的一致性测试 令 V = {vi}i∈T 为曝光序列中的图像集。基于成对一致性度量（方程 4），我们将给定子集 S ∈ 2 V 中的图像在像素 p 处一致的概率定义为成对一致性的最小值： （5） 对于单例 S（即 |S| = 1）的情况，相应的一致性概率被给出为相应观察充分暴露的概率： （6） 其中 Prue 和 Proe 分别对应于根据（高斯）读出噪声分布的观察的曝光不足和过度曝光概率，分别以黑色水平和饱和水平为中心。在这个定义中，观察结果 vi§ 不一致的概率在两种情况下很高：当所有颜色通道都曝光不足的可能性很高时，或者当任何颜色通道曝光过度的可能性很高时。

处理具有挑战性的场景和运动模糊 我们的方法可以生成具有大小物体位移和杂乱的场景的合理 HDR 图像（图 1、图 8、9 和 11）、手持拍摄的场景（图 1、左和图 8，左）和夜间拍摄的场景（图 10）。据我们所知，这是第一个在所有这些场景中展示无重影结果的方法。此外，用于所有结果的参数是相同的。然而，我们的方法不能检测运动模糊，因此我们的算法可以选择长时间曝光中的模糊对象。将来，可以使用模糊检测方法来排除此类对象。 处理 HDR 移动物体 我们的方法无法恢复移动 HDR 对象的动态范围，即无法在单次曝光中正确捕获的对象，因为它仅执行全局图像对齐，而不是在不同曝光中移动对象之间的局部对齐。结果，运动物体很可能从单个图像中重建。这可以使用基于对应的方法来缓解 [Sen et al. 2012]，这说明了噪音。然而，在具有变形物体和遮挡的动态场景中，永远无法保证在不同的曝光下会观察到相同的物体表面，如果没有这种保证，基于对应的重建有时是不可能的。 手持拍摄的处理 只要可以使用单应性近似相机运动，我们的方法就可以成功处理手持捕获（图 1 左和图 8 左）。其他独立移动的对象没有被注册，而是通过一个优化过程隐式处理，该过程选择输入中可用的实例之一（通常是它们相对于噪声的最佳曝光）。 时间复杂度 我们算法的 C++ 实现需要 1 到 5 分钟，在 Intel Core i5 3GHz CPU 上以 1648 × 1236 的分辨率对三到五个 LDR 图像集进行去鬼镜处理。更大的图像堆栈将导致更长的运行时间，因为我们的方法考虑了输入图像的每种可能组合。在实践中，如果曝光时间足够分开，三到五张图像的堆叠足以重建大多数场景的动态范围。此外，在采集时起作用的曝光选择方法 [Gallo et al. 2012]可以用来选择最好的五幅或更少的子集。 处理语义不一致的交互 在某些情况下，我们的方法可能会产生语义不一致，例如包含一半的对象，或最终图像中相同对象的两倍。这可能在三种情况下发生。在第一种情况下，不同图像中相同位置的具有一致颜色的对象可能会合并到最终的 HDR 图像中。这是因为只能将观察结果与信号的噪声水平进行比较。这种情况如图 13-top 所示，其中所指示的人的衬衫颜色与背景颜色一致。这导致部分包含人，因为该算法更喜欢较低方差的背景图像。当不同图像上给定位置的所有对象曝光不良时，就会出现第二种情况。在这种情况下，如果不对曝光不良的像素进行平均，就不能完全包含任何对象，这会导致视觉上的不连续性。解决这种情况需要在使用曝光不良的像素或将对象分成两半之间做出决定。这在图 13 中进行了说明，我们通过执行去重影（排除繁忙正方形序列的最短和最长曝光）来引发这种情况。在去幻影的图像中，仅包括右侧人的腿（以红色包围）。在最后一种情况下，我们的算法可能会产生语义不一致，要么包括同一对象的多个实例，要么只包括​​视觉上不连贯但概念上完整的对象的某些部分。这在图 8 中可见，其中拿着手提箱的人在最终的 HDR 图像中出现了两次，在图 13 中，仅包括被灯柱遮挡的人的部分。一般来说，这三种情况可以通过用户交互通过编辑自动标签来纠正（见图 13）。除了花店序列（图 1，右），本文中呈现的所有结果都是完全自动计算的。

我们提出了一种鲁棒的方法来模拟图像噪声并产生无重影 HDR 重建。我们的算法使用了一种新的一致性度量，该度量利用了图像中估计的噪声分布。这避免了对任何参考图像或背景模型的需要。由此产生的一致性度量与空间相干先验相结合，构成了一个 MRF 型能量最小化框架。实验表明，我们的算法可以应用于现有算法无法处理的具有挑战性的动态和杂乱场景，并且在挑战性较低的场景中也可以与最先进的技术相媲美。因此，我们的算法朝着一种广泛适用的无鬼动态场景 HDR 重建算法发展。