点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨李响
来源丨GiantPandaCV
文章目录
1 前言
2 方法概述
2.1 InceptionV1-V3 and convolution conversion
2.2 Residual block
2.3 2.5D 网络
3 RIU-Net 的整体结构
4 实验和可视化
5 总结
1 前言
最近一直在看医学图像的论文，所以打算写一系列的阅读笔记，语言比较简洁。上一篇阅读笔记（https://zhuanlan.zhihu.com/p在/505483978)中，分析了医学图像分割的混合物 Transformer 网络：UTNet，本笔记介绍的网络与 UTNet 思维完全不同，追求比较 U 设计更轻，但更准确。或者先给出论文地址(刚接收):https://www.sciencedirect.com/science/article/abs/pii/S1746809422000891 。
首先，分析本文的动机 LITS17 和 3DIRCADb 这类肝与肝肿瘤数据集3D 卷积网络具有学习上下文特征的能力，有效利用 CT 但训练和部署也会消耗大量的计算资源。因此，论文需要解决的问题是利用切片间的空间信息，保证分割的准确性。本阅读笔记首先总结论文中涉及的方法；然后详细介绍论文提出的内容 RIU-Net 结构；最后对实验和可视化部分进行了分析，并简要总结。
2 方法概述
这部分类似于前置依赖 Related Work，熟悉网络结构的读者可以省略相应的介绍。
2.1 InceptionV1-V3 and convolution conversion
先看下图 InceptionV1 并行包含模块1×1、3×3、5×5和7×7卷积核的大小。尽管该模块提高了网络的可行性，但它增加了网络参数。InceptionV2 使用两个3×3用卷积核代替一个5×5卷积序列，三个3×3用卷积核代替一个7×7卷积序列。InceptionV3 实现了将N×N更换卷积序列 为1×N和N×1卷积序列。3×3可替换卷积序列1×3和3×1卷积组合， 同理，5×5卷积序列可以替换为两组1×3和3×1卷积组合，7×7卷积序列可以替换为三组1×3和3×1卷积组合如下图所示（d），这里很清楚，这种处理使网络的参数更加理想化。
2.2 Residual block
关于 Res-Net 我就不多介绍想法了。在本文中，Residual block 也被嵌入到 InceptionV3 如下图所示。这样做，把 U-Net 的基础 block 替换为 RI(Res- Inception) 结构更薄更宽 Inception 卷积结构为基础卷积序列，具有残余连接，网络总参数比传统参数多 U-Net 降低了 节省计算资源的70%。
2.3 2.5D 网络
在医学图像分割中，充分利用医学图像切片间的空间信息非常重要。直接将 3D 图像输入网络，3D 图像将占据巨大的内存，或直接占用 3D 图像转换为 2D 图像，这也是不可取的，直接放弃了医学图像切片间的空间信息。所以出现了 2.5D 将一叠相邻切片作为网络的输入，生成与中心切片的分割图，既能节省计算资源，又能充分利用空间信息。
在最后一部分，我们专注于论文中涉及的技术。基于此，让我们来看看网络的整体设计。网络架构是以 U-Net 为原型设计，模型仍呈现对称结构，左半部分为特征提取的编码器，右半部分为解码器，用于定位感兴趣的区域码器与解码器之间的普通跳跃连接，实现低语义信息与高语义特征的结合。整体框架由 9 个 RI(Res- Inception) 模块、4 下采样层，4 上采样层和一个1×1卷积层组成。如下图所示。
因为在肝脏和肝肿瘤的分割中，特别是肿瘤区域的大小不同，如果使用 U-Net 固定的卷积序列必然会限制感觉野，降低分割精度。这种设计可以通过不同的卷积核获得不同尺度图像的感觉野，从而保证分割精度。
4 实验和可视化
在这篇论文中，实验和可视化部分可以借鉴和使用 LiTS17 和 3DIRCADb 训练、验证和测试两个数据集。首先，让我们来看看消融实验的分，分别在两个数据集上进行消融实验分析。评价指标包括 Dice 系数、体积重叠误差(VOE)、相对体积误差(RVD)、平均对称表面距离(ASD)、均方根据对称面距离(RMSD)。
下表为消融分析 LiTS17/3DIRCADb 数据集上的肝脏定量分割结果，其中，RIU-Net-I 到 RIU-Net-IV 为不同的Inception，这对应于第二部分的介绍。
下表为消融分析 LiTS17/3DIRCADb 数据集中的肝肿瘤定量分割结果。如下图所示，红色代表肝脏区域，绿色代表肿瘤区域。
基于比较实验 VGGnet 框架的 FCN 网络、U-Net、R2U-Net、Attention U-Net 和 U-Net 以下是肝脏定量分割结果和肝肿瘤定量分割结果。RIU-Net 不但精度高，而且波动范围小。
如下图所示 6 种模型在 LiTS17 和 3DIRCADb 数据集中的可视化分割比较结果显示，论文中提出的网络效果瘤和小肿瘤时，论文中提出的网络效果更好。
当肝脏边界含有肿瘤时，FCN、U-Net、R2U- Net 和 Attention U-Net 肿瘤区域未分割或肝肿瘤误分割为肝脏，肝脏分割或多或少过分或未分割，尽管 U-Net 肿瘤区域被分割，但有严重的错误分割，大量的肝脏区域被分割成肝肿瘤，然而，论文中模型分割的结果接近金标准。 此外，在处理小肿瘤区域时，本文提出的模型分割结果最接近金标准。 此外，在处理小肿瘤区域时，本文提出的模型分割结果最接近金标准。最后，分别在下图中 LiTS17 和 3DIRCAb 数据集上分割肝脏和肝脏肿瘤 3D 错误可视化(红色和蓝色区域分别表示明显的过分和不分割错误，而绿色区域表示与黄金标准的一致性)。
5 总结
本文在保证精度的同时，大大降低了医学图像分割网络的参数。因此，我们需要关注培训和推理时间。下表显示了最低的比较时间成本。
综上所述，本文提出了一个医学图像肝肿瘤分割网络，其核心思想是建立一个轻量级网络，提取图像多尺度信息，充分节省计算资源。结合不同分辨率的特征图，可以避免过拟合。为节省计算资源，将 U-Net 所有卷积序列都被替换为 Inception 模块不仅可以减少参数，还可以提取更多的图像特征。此外，为了解决输入网络结构中的问题 2D 医学图像切片间的空间信息和图像无法使用 3D 图像又会占据巨大的内存的问题，论文中采用了 2.5D 输入形式，即将一叠相邻切片作为网络输入，并与中心切片生成分割图。最后，做了丰富的可视化工作。
本文仅进行学术分享。如有侵权行为，请联系删除。
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建:原理分析、代码分析、解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题