资讯详情

结构感知图像融合 Structure-Aware Image Fusion

文章目录

  • 摘要
  • 1 介绍
  • 2 初步研究
  • 3 结构感知图像融合
    • 3.1 结构提取显著
    • 3.2 迭代联合过滤器
    • 3.3 扩展到多个图像
    • 3.4 计算和效率
  • 4 实验结果
    • 4.1 实验配置
    • 4.2 性能指标
    • 4.3 参数影响
    • 4.4 视觉和定量比较
  • 5 结论

摘要

??现有的多模态图像融合方法大多需要多尺度变换。然而,这一要求并不一定导致集成结果包含源图像的原始强度,多尺度变换需要较高的计算复杂性。在本文中,我们解决了空间域多模态图像集成问题,计算复杂度低。医学图像与结构保持滤波器相结合,提出了显著的结构提取方法。滤波器具有在输入图像的大尺度结构附近恢复引导图像的小尺度细节的特点。结构保持滤波器的输出与源图像相结合,结合结构保持滤波器的特性,构建融合结果。与三种性能指标相比,实验证明了提出的方法的有效性。

关键词:多模态医学图像融合;迭代联合滤波;联合滤波;尺度感知;结构保持

1 介绍

??相机的核心设备是广泛安装的光学镜头。长焦镜头景深有限,可能导致只有少数景深物体清晰,其他物体模糊。最常用的传感器是可见光相机,由于光线的变化,可见图像有更多的小细节。由于热辐射,使用红外传感器提供物体级信息。红外图像是对热辐射的检测,光谱的可见部分被捕获为可见图像。因此,有必要开发一种有效的结构感知开发一种有效的结构感知融合方法,整合不同尺度的细节。图像集成对于形成单个摘要输出至关重要,因为需要将不同模式中的细节和显著结构组合成一个集成输出。

??多模态图像通常在空间域或变换域中合并[1,2]。在这两个领域中,一个隐含的假设是检测显著区域相当于在不同源图像中找到主要像素。在空间域中,最简单的图像集成方法是计算不同模式下的平均强度,但平均规则不能有效地将细节组合成输出。该方法保留了基础结构,但受同色异谱的影响,即不同的输入强度分配相同的输出强度。图像梯度是一种简单的方法像结构的简单方法[3],并被用作图像集成方法的基本技术[4-6]。不同尺度的图像结构可以通过梯度轻松提取,梯度较大的像素通常从空间域的多模态图像中选择。使用多尺度分解(MSD)可捕获不同尺度的显著结构。在变换域融合方法中,从变换域带中选择具有显著结构的相对较大系数,并通过相应的逆变换来获得集成图像。随着不同 MSD 许多基于变化的发展 MSD 应用于图像融合的方法 [7-9],例如,基于拉普拉斯金字塔的算法 [10-13]、小波 多尺度几何分析[14-16] [ 17-19]等。然而,尽管多尺度几何分析工具[20-23]的发展不能很好地保留结构,但它们具有相对较高的计算复杂性[24-26]。

??尺度感知工具广泛应用于图像处理和计算机视觉,以提取语义信息[27-30]。检查图像梯度是否包含所有图像尺度非常简单,但是 MSD 只捕获由分解级别确定的少数图像尺度。由于前者的融合图像包含了来自源图像的原始像素值的所有尺度,因此空间域中的图像融合不同于变换域中的融合。在空间域中,我们可以直接处理像素而不是变换域系数。因此,我们提出了一种快速有效的空间域图像集成框架,其主要技术是显著的结构提取(SSE)与迭代联合滤波器(IJF)。我们提出了一种简单有效的方法 SSE 其中,我们利用图像梯度获取源图像的大规模结构。然后,我们使用它 IJF 将小尺度细节从源图像传输到集成输出。 IJF输出作为加权图,通过加权和规则得到结果。 SSE 和 IJF 以快速有效的方式开发。

??该算法的有效性在许多模态图像中得到了评估。将提出的结构感知图像集成方法与最先进的算法进行比较:Contourlet 基于指令对比度的方法(DCCD)[18],Contourlet 基于神经元模糊的方法(NFCD)[24 ],两尺度分解(TSD)方法[13]采用稀疏表示的多尺度变换(MSSR)[31],梯度转移融合(GTF)[32],分别。结果表明,结构感知融合方案的性能优于三个性能指标中最先进的方法,是最快的算法。

??论文重置组织如下。在第一位 2 在节日期间,我们回顾了双边滤波器和域变换滤波器,并分析了双边滤波器和域变换滤波器之间的关系。 3 在节日期间,我们提出了一个融合多模态图像的新框架。在第一部分 4 在节日期间,我们介绍了数值实验和比较结果。我们使用许多图像与四种最先进的方法进行比较。 5 以一些讨论结束。

2 初步研究

??各向异性扩散的开创性工作是一种结构感知平滑技术,可以保留图像结构[33]。各向异性扩散倾向于过度锐化结构,计算复杂度高[34、35]。因此,最近提出了改进结构保持平滑的滤波器方案、双边滤波器[36]、引导滤波器[37]和域变换滤波器[38]。双边滤波器推广到联合双边滤波器[39],然后三个滤波器有两个输入,即输入图像和引导图像。两个输入联合滤波器获得一个输出。它们是保持联合图像过滤器的三种流行结构。它们可以保留输入图像的大尺度显示结构,并将引导图像的小尺度细节转移到输出图像[37-40]。

??过滤和更新窗口周围的图像素的中心像素值。给出输入图像 I 引导图像 G,一个像素 p 双边滤波器的输出是,

J p = 1 k p ∑ q ∈ Ω p I q ( e x p ( ? ( ∣ ∣ p ? q ∣ ∣ 2 2 2 σ s 2 ∣ ∣ G p ? G q ∣ ∣ 2 2 2 σ r 2 ) ) ) (1) J_p=\frac{1}{k_p}\sum_{q∈Ω_p}I_q(exp(-(\frac{||p-q||^2_2}{2σ^2_s} \frac{||G_p-G_q||^2_2}{2σ^2_r})))\tag{1} Jp=kp​1​q∈Ωp​∑​Iq​(exp(−(2σs2​∣∣p−q∣∣22​​+2σr2​∣∣Gp​−Gq​∣∣22​​)))(1)

  其中 Ω p Ω_p Ωp​ 是以像素 p p p 为中心的滑动窗口, σ s σ_s σs​ 是空间域缩放参数, σ r σ_r σr​ 是范围域缩放参数, k p k_p kp​ 是规范化术语:

k p = ∑ q ∈ Ω p ( e x p ( − ( ∣ ∣ p − q ∣ ∣ 2 2 2 σ s 2 + ∣ ∣ G p − G q ∣ ∣ 2 2 2 σ r 2 ) ) ) (2) k_p=\sum_{q∈Ω_p}(exp(-(\frac{||p-q||^2_2}{2σ^2_s}+\frac{||G_p-G_q||^2_2}{2σ^2_r})))\tag{2} kp​=q∈Ωp​∑​(exp(−(2σs2​∣∣p−q∣∣22​​+2σr2​∣∣Gp​−Gq​∣∣22​​)))(2)

  双边滤波器的机制比引导滤波器更容易理解,即支持一个强度 G q ∈ Ω p G_q ∈ Ω_p Gq​∈Ωp​ 与 Ω p Ω_p Ωp​ 中心的强度 G G G 相似,并且两个像素位于边缘的同一侧。在这种情况下, e x p ( − ∣ ∣ G p − G q ∣ ∣ 2 2 2 σ r 2 ) exp(-\frac{||G_p-G_q||^2_2}{2σ^2_r}) exp(−2σr2​∣∣Gp​−Gq​∣∣22​​) 趋于 1, I q I_q Iq​ 的权重由 e x p ( − ∣ ∣ p − q ∣ ∣ 2 2 2 σ s 2 ) exp(-\frac{||p-q||^2_2}{2σ^2_s}) exp(−2σs2​∣∣p−q∣∣22​​) 决定,因此它。另一方面,如果强度 G q G_q Gq​ 与 G p G_p Gp​ 相差很大,并且两个像素位于边缘的不同侧,则 e x p ( − ∣ ∣ G p − G q ∣ ∣ 2 2 2 σ r 2 ) exp(-\frac{||G_p-G_q||^2_2}{2σ^2_r}) exp(−2σr2​∣∣Gp​−Gq​∣∣22​​) 趋于 0,它使 I q I_q Iq​ 的权重趋于0。因此, I q I_q Iq​ 和 I p I_p Ip​ 之间的关系非常弱,以至于 I q I_q Iq​ 的强度值几乎对滤波结果 J p J_p Jp​ 没有贡献。局部邻域 Ω p Ω_p Ωp​ 中的相似强度被平滑,而边缘不同侧的强度几乎没有相互影响。因此,联合滤波器是结构感知平滑滤波器。

   Gastal 和 Oliveira 证明了域变换滤波器可以获得与联合双边滤波器相同的结果 [38]。域变换滤波器比同等质量的最快双边滤波算法更快[38]。

  公式(1)的权重项可以定义为距离度量:

d p q = ∣ ∣ p − q ∣ ∣ 2 2 2 σ s 2 + ∣ ∣ G p − G q ∣ ∣ 2 2 2 σ r 2 (3) d_{pq}=\frac{||p-q||^2_2}{2σ^2_s}+\frac{||G_p-G_q||^2_2}{2σ^2_r}\tag{3} dpq​=2σs2​∣∣p−q∣∣22​​+2σr2​∣∣Gp​−Gq​∣∣2 标签: ts03s型传感器

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台