1)如何有效整合？ RGB 图像及相应深度图的互补信息；
2)如何自适应地选择更多与显著性相关的特征。
二、Solutions
(1) 以深度特征为先验来增强模块RGB特征表示，提出的调制设计是通过的特征转换实现多模态信息的有效整合。
(2) 模块，选择与显著性相关的特征，抑制劣质特征。 该模块突出了自模态和跨模态中不同通道特征的重要性，并将多模态空间特征与门控相结合。
(3) 该模块强调与显著性相关的位置和边缘，从预测的显著性图和显著性边缘图中收集其注意力权重。
作为一个整体，上述模块被称为 块，有助于粗到细的方式细化显著特征。再加上自下而上的推理，精细的显著特征可以准确保留边缘 SOD。
三、Methods
输入是RGB图像及其depth图。输入到VGG的5个 level 的 backbone 里面，每一个level分别输入特征模块中来进行跨模态信息的融合以及调制和优化。同时，它是一个在情况下进行，最终预测结果。
模块由模块，模块和模块组成。sg-PEA还包含一个模块S-Pre和一个E-Pre。
首先，通过整合跨模态特征，通过选择与显著性相关的特征进行最终预测。最后，通过来强调准确定位和边缘最终得到 level 的显着图
‘Conv n’ 表示输出 n 特征图的卷积层，包括 n 输入特征图的一半(降维)。. “A”、“M”和“C分别表示元素加法、元素乘法、连接和通道维度。“Up表示向上采样块。粉线表示 2× 线性插值。Fs 表示 cmMS 块后的细化特征， Fsup 是Fs经过“Up块上采样结果。在这张图中，每个卷积层的后面都是 ReLU 激活。我们的网络最终生成了 5 个和 5 个显着（），分辨率范围为 14×14 到 224×224，比例为 2。L 表示级别。我们将视为最终结果。
在传统的RGB 和 depth 一般来说，通过级联或相加或相乘来简单地进行碱性融合。
在这篇论文中，整篇论文SOD任务来说，depth特征相对于RGB特征是辅助信息，作者希望通过depth的特征对RGB 特征进行增强，所以把depth 将特征制成调制形式，获得仿射变换系数和对RGB增强特征。
具体过程，把RGB和depth特征输入cmFM然后在模块中depth学习M射，得到和两个仿射变换参数，然后使用该参数对RGB增强了调制后的特征。
有了这样的特点，包括RGB特征、depth特征、调制特征和上一级通过CMMS块最终输出的(如果有)之间存在相关性，但也存在大量冗余，如何从这些大量信息中去？与显著性相关的特征对SOD任务很重要。
这是作者设计的模块主要包括两个方面，一个是空间信息的选择，另一个是渠道信息的选择。
一开始，输入的特征包含了许多模式。在选择传统的渠道方法时，通常可以采用一些渠道注意力的方法。在本文中，作者构建了一种模式 channel attention on channel attention一种形式，不仅需要建模输入特征的每个模式上的通道之间的相互依赖关系，还希望这个选择过程能够建模不同跨模式之间的相关性。因此，首先通过SE-Net网络提取不同模式的特征，然后对多个模式输出的特征进行分级，然后通过注意机制建模和提取多模式之间的特征。就形成了人CA-on-ca的通道选择部分。
除了选择有利的通道SOD此外，还需要保持一些具有空间特征的有效信息，因此提出了这样一个空间选择过程，将其建模成门控注意力引导的多模态信息集成过程。首先，学习像素级的权重，然后在权重的指导下，对不同模式的信息进行加权和集成，以保持更重要的信息特征。
最后，将通道特征和空间特征等级后，最终得到与显著相关的特征。
最后，有了这些特点，我们还需要约束网络能够准确定位显著目标，预测结果形式相对清晰，引入显著指导位置和边缘注意模块，共享相同的网络来约束生成更完整的显著图和更清晰的边缘图。
它的具体过程，首先是RGB特征、depth首先通过边缘预测过程的特征、调制特征和先进特征（E-pre）得到显着边缘图，之后把选择之后的特征利用上个level生成的saliency作为注意力信息，当前选择的信息AFS修改输出，然后更加关注显著目标F^poa L 特征。
然后，利用刚刚产生的显著边缘特征修正空间位置特征作为注意力的加权，用于显著检测最后，特征通过S-pre显著预测现在level最后显着图。
上图抑制了边缘信息和背景。