在本文中，我将讨论一种新的半监督，多任务医学成像方法，称为Multimix，Ayana Haque（ME），Abdullah-Al-Zubaer Imran，Adam Wang、Demetri Terzopoulos。该论文在被ISBI 收录2021，并在4月份的会议上发表。
MultiMix该模块还通过采用基于可信度的增强策略和新桥模块进行联合半监督分类和分割，为多任务提供了可解释性。深度学习的模型可以有效地执行复杂的图像分析任务，但其性能严重取决于大型标记数据集的可用性。特别是在医学成像领域，人工标记不仅昂贵，而且耗时。因此，允许从有限数量标记数据的半监督学习，被认为是解决标记任务的解决方案。
在同一模型中学习多个任务可以进一步提高模型的通用性。多任务允许共享任务之间的学习，需要更少的参数和更少的计算，使模型更有效，更难过度拟合。
对不同数量的标记数据和多源数据进行了广泛的实验，证明了该方法的有效性。它还提供了一个具有挑战性但重要的任务，以显示模型以适应具有挑战性的泛化场景的潜力。
背景知识
近年来，由于深度学习的发展，基于深度学习的医学成像技术得到了发展。然而，深度学习的根本问题一直存在，即它们需要大量的标记数据才能有效。但是这在医学成像领域是一个更大的问题，因为收集大型数据集和标注是非常困难的，因为它们需要领域专业知识，昂贵、耗时，并且很难在集中的数据集中组织起来。此外，在医学成像领域，泛化也是一个关键问题，由于不同来源的图像在定性和定量上存在很大差异，很难使用模型在多个领域获得强大的性能，这些问题促进了论文的研究：希望通过一些以半监督和多任务学习为中心的关键方法来解决这些基本问题。
为了解决有限的标签数据问题，半监督学习(SSL)作为一种有前途的替代方法，代方法。在半监督学习中，将无标记示例与有标记示例相结合，使信息收入最大化。有很多关于半监督学习的研究，包括一般和医学领域。我不会详细讨论这些方法，但如果你感兴趣，有一个突出的方法列表供你参考[1、2、3、4]。
解决有限样本学习的另一个解决方案是使用来自多个来源的数据，因为它增加了数据中样本的数量和数据的多样性。但这是有挑战性的，因为它需要特定的训练方法，但如果正确，它可以非常有效。
多任务学习(multitask Learning, MTL)已被证明可以提高许多模型的泛化能力。多任务学习被定义为在单个模型中优化多个损失，并通过共享表示学习完成多个相关任务。由于每个任务都相互影响（选择相关任务），因此在一个模型中联合训练多个任务可以提高模型的泛化性。假设训练数据来自不同的分布，这可以用于有限的不同任务。在这样的场景中，以一种很少监督的方式学习多项任务是有用的。将多任务与半监督学习相结合，可以提高性能，在这两个任务中取得成功。同时完成这两项任务是非常有益的，因为一个单独的深度学习模型可以非常准确地完成这两项任务。
关于医学领域的相关工作，具体方法如下：[1、2、3、4、5、6、7、8、9、10]。然而，这些发现的主要局限性是，它们不使用来自多个来源的数据，限制了它们的泛化，而且大多数方法都是单一的任务方法。
因此，论文提出了一种新的、更通用的多任务模型MultiMix，该模型结合基于置信度的桥接块，从多源数据中共同学习诊断分类和解剖结构分割。模型预测可以通过可视化和有意义的视觉特征进行分析。从输入图像计算分数的梯度来看，有几种方法可以产生显著的映射。虽然任何深度学习模型都可以通过显著性图来研究更好的解释性，但据我们所知，两个共享任务之间的显著桥梁尚未探索。
算法
让我们首先定义我们的问题。使用两个数据集进行训练，一个用于分类，另一个用于分类。我们可以使用符号来划分数据XS和Y，分别是图像和分割掩码。对于分类数据，我们可以使用符号XC和C，即图像和类标签。
模型系统结构采用基线U-NET该结构是常用的分割模型。编码器的功能与标准相似CNN。要使用U-NET对于多任务处理，我们将从编码器上分支，并使用池化和全连接的层分支来获得最终的分类输出。
对于分类方法，使用数据增强和伪标记。受[1]启发，使用未标记图像并执行两个单独的增强。
首先，未标记的图像被弱增强，模型当前状态的预测从图像的弱增强版本中定义为伪标签。这就是为什么这种方法是半监督的，但我们稍后会讨论伪标签。
其次，用弱增强图像和强增强图像本身的伪标记计算损失。
这种操作理论基础是希望该模型将弱增强图像映射到强增强图像中，从而迫使模型学习、诊断和分类所需的基本特征。两次增强图像也可以最大化唯一图像的潜在知识收入。这也有助于提高模型的概括能力，就像模型被迫学习图像中最重要的部分一样，它将能够克服不同领域的图像差异。
采用传统的增强方法，如水平翻转、轻微旋转等弱增强图像。强增强策略要有趣得多：创建一个非常规、强大的增强池，并将随机数量的增强应用于任何给定的图像。裁剪、自对比度、亮度、对比度、平衡、一致性、旋转、锐度、剪切等都是非常异常的增强。在处理低样本数据集时，我们可以通过应用数量的这些元素来创建非常广泛的图像。我们最终发现，这种增强策略对强大的性能非常重要。
现在让我们回顾一下假标记的过程。如果模型产生的假标签信心超过了调整阈值，图像标签可以防止模型从错误和不良标签中学习。因为当预测一开始不确认时，模型主要从标记数据中学习。慢慢地，该模型对未标记图像的标签生成变得更加自信，因此该模型变得更加高效。这也是提高性能的一个非常重要的特点。
现在让我们来看看损失函数。分类损失可以用以下公式建模：
其中L-sub-l监督损失，c-hat-l分类预测，c-l为标签，lambda无监督分类权重，L-sub-u无监督损失，c-hat-s强化图像预测，argmax(c-hat-w)为弱增强图像的伪标签，t伪标签阈值。
这基本上总结了分类方法，现在我们继续讨论分类方法。
对于分割，用跳过连接的编码器-解码器系统结构进行预测是非常简单的。论文对分割的主要贡献是合并一个桥接模块连接两个任务，如上图所示。根据模型预测的类别，从编码器扩展到分类分支的梯度。整个过程如上所示，但本质上强调了该模型用于分类肺炎图像的哪些部分。
虽然我们不知道分割图像是否代表肺炎，但生成的地图突出了肺部。因此，当使用显著图像生成和可视化图像的类预测时，它在某种程度上与肺面膜相似。因此，我们假设这些图像可以用来指导解码器阶段的分割，提高分割效果，并从有限的标记数据中学习。
在MultiMix生成的显著映射与输入图像连接，进行下采样，并添加到输入到第一解码器阶段的特征映射。与输入图像的连接可以增强两个任务之间的连接，并提高桥接模块的有效性（提供上下文）。在处理低样本数据时，添加输入图像和显著映射为解码器提供更多的上下文和信息非常重要。
现在我们来讨论一下训练和损失。对于标记样本，我们通常使用参考肺面膜和预测分割dice 计算分割损失的损失。
由于我们没有未标记的分割样本的分割代码，我们不能直接计算它们的分割损失。因此，计算标记与未标记示例之间的分割预测KL散度。这使得模型越来越接近标记数据的预测，使模型更适合未标记数据。虽然这是一种间接计算损失的方法，但它仍然允许模型从未标记的分割数据中学到很多东西。
损失的分割可以写成：
与分类相比，alpha分割减轻权重，y-hat-l是标记的分割预测，y-l是相应的掩码，beta不受监督的权重分割，y-hat-u是未标记的分段预测。
模型采用分类和分割损失的组合目标进行训练。
数据集
培训和测试模型的分类和分割任务，每个任务的数据来自两个不同的来源：肺炎检测数据集，我们称之为Chex [11]学习日本放射学技术JSRT [12] [12] ，分别用于分类和分割。
为验证模型，蒙哥马利县胸部X射线或两个外部数据集使用MCU [13]，以及NIH胸x射线数据集的子集，我们称之为NIHX [14]。由于图像质量、大小、正常图像与异常图像的比例以及四个数据集的强度分布，来源的多样性对模型构成了重大挑战。下图显示了强度分布的差异和每个数据集的图像示例。所有四个数据集都使用CC BY 4.0许可证。
结果
论文进行了许多实验，并在多个数据集中和跨域上使用了不同数量的标记数据。
从Arale-net标准分类器（ENC）一开始，该分类器是具有密集层的编码器提取物。然后，我们将两者结合为基线多任务模型（UMTL）。还采用半监督方法（ENCSL），（UMTLS）多任务模型和半监督方法（UMTLS-SSL）多任务模型。
在训练方面，我们在多个标记的数据集上进行了训练。为了分类，我们使用了100、1000和所有标签，我们使用了10、50和所有标签进行分类。对于结果，将使用符号：模型 - 标签（例如Multimix-10–100)标记方法。使用准确性进行评估（ACC）和F1分数F1-N和F1-P）进行分类，分割则使用了DS相似性（DS），JACCARD相似性评分（JS），结构相似性指数（SSIM） ，平均Hausdorff距离（HD），精度（P）和召回（R）。
该表显示了添加了每个新组件的模型性能如何改善。对于分类任务，与基线模型相比，基于置信的增强方法可显着提高性能。Multimix-10–100也以准确性的方式优于完全监督的基线编码器。为了进行分割，桥模块对基线U-NET和UMTL模型产生巨大改进。即使具有最低分段标签，我们也可以看到其性能增长30％，这证明了论文提出的Multimix模型的有效性。
如表所示，多模中的性能与内域一样有希望。在所有基线模型上，Multimix在分类任务中的得分更好。由于NIHX和CHEX数据集存在显着差异，如前所述，得分不如内域模型结果好。但是它的确比其他模型更好。
上图显示了分割结果对内域和跨域评估的一致性。我数据集中的每个图像显示了模型的dice分数。从图中，可以看到，与基线相比，Multimix是最强的模型。
最后一个图是模型的分割预测的可视化。展示了的预测的边界使为每一个提出的分割任务添加对不同标记数据的真值对比。图中显示了与MultiMix针对真实边界的边界预测的强烈一致性，特别是与基线相比。对于跨域MultiMix在很大程度上也是最好的，显示了强大的泛化能力。
总结
在这篇文章中，我们解释了一个可用于联合学习分类和分割任务的新的稀疏监督多任务学习模型MultiMix。该论文使用四种不同的胸部x射线数据集进行了广泛的实验，证明了MultiMix在域内和跨域评估中的有效性。
论文作者也提供了源代码,有兴趣的可以看看:
https://avoid.overfit.cn/post/a475b41b332845b7bb9e8cf09ec8c662
作者：Ayaan Haque