CE-Net:用于2D医学图像分割的上下文编码网络

摘要：基于U-Net然而，连续池化和卷积导致部分空间信息丢失。本文提出了上下文编码网络(以下简称CE-Net)为2捕获更多的高层信息和保留空间信息D医学图像分割。CE- Net主要包括三个主要组件：特征编码器模块、上下文提取器和特征解码器模块。作者使用预训练ResNet块作为固定特征提取器。新提出的密集提取模块由上下文提取atrous卷积(空洞卷积)(DAC)模块和剩余的多核池(RMP)模块组成。

1，介绍

图一。CE-Net的图解。首先，图像被送入特征编码器模块，其中从ImageNet预训练的ResNet-用34块替换原始的34块U-Net编码器块。为了生成更先进的语义特征图，提出了上下文提取器。它包含一个密集的atrous卷积(DAC)剩余多核池模块(RMP)模块。最后，提取的特征被馈入特征解码器模块。在本文中，我们使用解码块来扩大特征尺寸，而不是原始的上采样操作。解码器模块包含1×1卷积和3×3.去卷积运算。以跳过连接和解码器块为基础，获取掩模作为分割预测图。

2，方法

2.1 特征编码器模块

我们用预训练ResNet-34 在特征编码器模块中，它保留了前四个没有平均池层和完全连接层的块的特征。与原块相比，ResNet为了方便起见，我们增加了快速机制，避免了梯度消失，加速了网络收敛。ResNet的改进U-net作为主干方法。

2.2上下文提取器模块

上下文提取器模块是由新提出的模块DAC模块和RMP模块组成。模块提取上下文语义信息，生成更先进的特征图。

图二atrous卷积图。

图三。密集atrous卷积块的图解。从1到1、3、5，每个分支的感觉场依次为3、7、9、19。因此，网络可以从不同的尺度提取特征。

密集空洞卷积模块:Inception和ResNet是深度学习中两种经典而有代表性的结构。盗梦空间系列结构采用不同的感觉野来拓宽结构。相反，ResNet采用快速连接机制，避免爆炸和消失梯度。它使神经网络首次突破数千层。Inception-ResNet block结合了Inception和ResNet，继承了这两种方法的优点。然后，它变成了深度CNN该领域的基线方法。

受Inception-ResNet-V2块和atrous作者提出了卷积的灵感atrous卷块编码高级语义特征图。

图四。剩余多核池(RMP)策略的说明。RMP上下文信息用四个不同大小的池收集。然后将特征发送到1 *1卷积以减少特征图的维数。最后，上采样特征与原始特征相连。

RMP用4个不同大小的感受域编码全局上下文信息：2×2、3×3、5×5和6×6。四级输出包含不同尺寸的特征图。为了降低权重的维数和计算成本，我们在每一级汇集后使用1 *1卷积。它将特征图的维数降低到原始维数的1。然后通过双线插值对低维特征图进行采样，得到与原特征图大小相同的特征。最后，我们将原始特征与上采样的特征图连接起来。

2.3 特征解码器模块

从特征编码器中提取的高层语义特征采用特征解码器模块恢复

U形网络中解码器的两种常见操作是简单的放大和解卷积。放大操作通过线性插值增加图像大小，而去卷积(也称为转移卷积)则通过卷积操作放大图像。直观地说，转移卷积可以学习自适应映射，以更详细的信息恢复特征。主要包括1×1卷积、3×3转置卷积和1×1连续卷积。基于跳过连接和解码器块，解码器模块输出与原始输入相同大小的掩模。

2.4 损失函数

我们需要训练提出的方法来预测每个像素是前景还是背景，这是一个逐像素的分类问题。最常见的损失函数是交叉熵损失函数。然而，视盘和视网膜血管等医学图像的目标通常占据图像的一小部分。交叉熵损失并不是最好的任务。我们在本文中使用它Dice系数损失函数取代了常见的交叉熵损失比较实验和讨论。Dice该系数是一种重叠度量，广泛应用于评估分割性能，如下列等式：

N是像素数，p(k，i)∈[0,1]和g(k，i)∈{0，1}分别表示k类的预测概率和地面的真实标签。K是类数，Pkωk=1是类的权值。在本文中，我们通过经验设置了它ωk=1K。最终损失函数的定义如下：

其中，Lreg用于避免过拟合的正则化损失(也称权重衰减)

3， 实验

为了评估CE-Net作者将提出的方法应用于视盘分割、视网膜血管检测、肺分割、细胞轮廓分割和视网膜五个不同的医学图像分割任务OCT层分割。

3.图像预处理和数据扩展策略用于训练和测试阶段：

(1)训练阶段:

数据扩展，包括水平翻转、垂直翻转和对角翻转。这样，原始数据集中的每个图像都扩展到2 ^ 2 ^ 2 = 8个图像。其次，图像预处理的解决方案主要包括从90%缩放到110%HSV色彩空间中的色彩抖动和图像随机移位。

(2)测试阶段:

采用测试增强策略，如[60], [61]，包括图像水平翻转、垂直翻转和对角翻转（相当于每个图像预测8次）。然后我们进入8个预测平均，得到最终的预测图。

3.2 视盘分割

数据集：ORIGA ，Messidor和RIMONE-R1

方法	ORIGA	Messidor	RIMONE R1
			专家1	专家2	专家3	专家4	专家5	全部的
Superpixel	0.102± 0.104	0.125±0.113	0.178	0.229	0.243	0.183	0.181	0.203±±0.104
U-Net	0.115±±0.068	0.069±±0.121	0.137	0.149	0.156	0.171	0.149	0.152±0.107
M-Net	0.071±±0.047	0.113±±0.089	0.128	0.135	0.153	0.142	0.117	0.135±±0.098
Faster RCNN	0.069±±0.056	0.079±0.058	0.101	0.152	0.161	0.149	0.104	0.133±±0.107
DeepDisc	0.069±±0.040	0.064±0.039	0.077	0.107	0.119	0.101	0.079	0.097±0.045
CE-Net	0.058±±0.032	0.051±±0.033	0.058	0.112	0.125	0.080	0.059	0.087±±0.039

RIMONE-R1数据集中的五种不同专家注释。

评估性能，采用重叠误差：

其中S和G分别表示分段的和手动研磨的真实光盘。除了平均值，还计算了相应的标准偏差。

 3.3 视网膜血管检测

数据集：公共车道包含40幅图像的数据集，这40幅图像被分成20幅用于训练的图像和20幅用于测试的图像。

评估指标：灵敏度(Sen)和准确度(Acc )

3.4 细胞轮廓分割

数据集：训练集包含30幅图像(512×512像素)，测试集由30幅图像组成。

评估指标：边界细化后的前景限制rand评分(V Rand)和边界细化后的前景限制信息理论评分(V Info)。V Rand主要通过连接Rand分割分数和Rand合并分数来计算加权调和平均值，这两个分数用于测量分割性能。类似地，V Info主要计算信息论得分的加权调和平均值。分数越高表示分割越好。

方法	VRand	VInfo
U-Net	0.9432	0.9562
Backbone	0.9569	0.9716
CE-Net	0.9743	0.9878

 图五。肺分割、血管检测和细胞轮廓分割的样本结果。从上到下:原始图像、U-Net、主干、CE-Net和地面实况(未给出细胞图像的地面实况)。

 上述应用是针对只需要从背景分割前景对象的两类分割问题。在本文中，作者也证明了他们的方法适用于多类分割任务。

3.5 视网膜OCT层分割

作者以视网膜OCT层分割为例，应用CE-Net对11个视网膜层进行分割。该数据集包含20个3D体积，每个体积具有256次2D扫描。已经人工标定了10个边界，将每个2D图像分成11个部分。

评估指标：采用平均绝对误差

将他们提出的方法与一些最先进的OCT层分割方法进行比较:Topcon内置方法，通过重建减少斑点(SRR)方法，FCN和U-Net。

在TOPCON数据集上的比较结果：

方法	ILM	NFL/GCL	IPL/INL	INL/OPL	OPL/ONL	ELM	UP IS/OS	低IS/OS	OS/RPE	BM/脉络膜	全部的
Topcon [77	1.61	2.09	2.10	2.27	-	2.17	1.82	-	1.65	1.80	-
SRR [77	1.61	2.02	2.02	1.91	-	1.86	1.63	-	1.62	1.80	-
FCN [41	2.10	4.41	3.77	4.54	4.78	4.52	3.84	4.36	5.06	7.88	4.53
U-Net [10	1.38	3.05	2.70	2.77	3.30	2.34	1.86	2.00	2.42	2.65	2.45
Backbone	2.13	2.70	2.52	2.20	2.79	1.91	1.26	1.60	2.02	2.70	2.18
CE-Net w/ CE	1.45	2.48	2.20	2.08	2.55	1.66	1.19	1.04	1.52	1.82	1.80
CE-Net w/Dice	1.37	2.02	2.08	1.80	2.47	1.48	1.10	1.26	1.48	1.74	1.68

 

图六。样本结果。从左至右:U-Net、Backbone、CE-Net和ground-truth masks。不同层之间的边缘已经用彩色线标出

3.6 消融研究

为了证明预训练ResNet、DAC模块和RMP模块在建立的CE-Net中的有效性，使用ORIGA和DRIVE数据集作为示例进行了以下消融研究:

使用残差块代替U- Net的原始编码块，目的是提高学习能力，称具有预训练残差块和特征解码器的改进U形网络为“主干”。

4，结论