浙江大学-Unet3+

*原文标题：UNET 3+: A FULL-SCALE CONNECTED UNET FOR MEDICAL IMAGE SEGMENTATION

*原作者:Huimin Huang, Lanfen Lin, Ruofeng Tong, Hongjie Hu,Qiaowei Zhang, Yutaro Iwamoto,Xianhua Han3, Yen-Wei Chen, Jian Wu

*发表会议：ICASSP 2020-2020 IEEE international conference on acoustics, speech and signal processing (ICASSP).

*原文链接：https://arxiv.org/ftp/arxiv/papers/2004/2004.08790.pdf

*主题类型：深度学习，语义分割

论文工作

在本文中，我们提出了一种新的 UNet 3+，它利用了全尺寸跳跃连接和深度监督。全尺寸跳跃连接结合了来自不同尺度特征映射的低级细节和高级语义;而深度监督则从全尺寸聚合特征映射中学习分层表示。在精度提高的同时，可以减少网络参数，提高计算效率。同时提出了一种混合损失函数，并设计了一个分类引导模块来增强器官边界，减少非器官图像的过度分割，从而获得更准确的分割结果。

文章贡献

• 设计了一种新颖的 UNet 3+，通过引入全尺寸跳过连接来充分利用多尺度特征，该连接将全尺寸特征图中的低级细节与高级语义结合起来
• 开发深度监督，从全尺寸聚合特征图中学习层次表示，优化混合损失函数以增强器官边界
• 提出了一种分类引导模块，通过与图像级分类的联合训练来减少对非器官图像的过度分割

模型对比

与 UNet 和 UNet++相比，UNet 3+结合了多尺度特征，通过重新设计跳过连接，并利用全尺寸深度监督，提供更少的参数，但产生更准确的位置感知和边界增强分割图。

特征图构建

与 Unet 相似都要通过特征提取网络进行特征提取，解码层的构建有所不同，以解码第三层为例，他需要通过编码的第一，第二，第三层通过卷积和池化后以及解码的第四层上采样后，再通过一个 3x3 的卷积获得。

损失函数

提出了一种多尺度结构形似指数损失函数（MS-SSIM）

M 为尺寸总数；μρ，μg，𝜎ρ，𝜎g 分别为 ρ 和 g 的标准差和方差；βm，γm 为每一尺寸的相关系数，C1=0.010.01，C2=0.030.03。

结合 focal loss 和 miou loss 最后混合损失如下

分类引导模块（CGM）

通过添加分类任务设计本模块，本文即添加了识别一个图像受否是细胞。

经过 dropout，卷积，池化，激活等一系列操作后将在最深层生成一张二维向量（表示有/没有器官的概率），并通过 Argmax 函数将其转化为{0，1}单一输出（即有无器官），最后将单个输出与侧面分割输出相乘

实验

数据集

肝脏分割的数据集来自 ISBI LiTS 2017 挑战赛：包含 131 张 CT 扫描，其中 103 张用于训练，28 张用于测试
脾脏数据来自医院，其中 40 张用于训练，9 张用于测试

实验结果

将 Unet3+分别与 Unet Unet++ 做对比。分别使用了 Vgg16
和 ResNet-101 作为主干网络

结果表明 Unet3+的参数最少且精度最高

与其他五种语义分割网络对比

Unet3+（Hybrid loss + CGM）的精度最高

分割后的图片对比

Unet3+所展现的语义分割效果最佳

总结

本文提出的 Unet3+（Hybrid loss + CGM）以更少的参数实现了高效的网络架构，再 Unet3+中引入分类引导模块和混合损失函数得到了更精确的位置感知和分割图。