• 问答
  • 技术
  • 实践
  • 资源
深度学习在头颈部 CT 图像中高危器官分割中的应用
技术讨论

作者:栋啊
来源:UESTC深度学习与医学图像计算


头颈癌是世界上最常见的癌症之一,放疗是治疗头颈部肿瘤的主要方法,而放疗的规划依赖于精确的器官分割,这通常是由放射治疗专家进行的,需要费力的手工描绘。可以这么说,准确的头颈器官靶区勾画是治疗头颈癌的关键一步,目的是最大限度将放射剂集中在靶区内,而让周围正常组织和器官减少甚至免收伤害,如脑干、脊髓、下颌骨、喉部、咽部、腮腺和下颌骨下腺,以及鼻咽癌患者的眼睛、视神经和交叉。


然而,勾勒过程非常耗时。目前针对的主要是CT图像。如果计算工具能够在合理的时间内准确地描绘解剖区域,可以大大减轻医生的手工操作。最直接的方法是将注册、训练图像(即所谓的地图集)与测试图像对齐,并相应地进行图像的标注,其主要局限性是难以处理患者之间的解剖变异以及计算的费时。


此外,还有很多的传统的图像方法和机器学习方法,尽管得到了相当多的关注,但所展示的结果仍不能满足临床使用,在肿瘤和严重病变的情况下,自动化方法不能准确分割。本文将总结自2017以来的几篇具有代表性的深度学习在脑颈部靶区勾画问题的应用。

1. Segmentation of organs-at-risks in head and neck CT images using convolutional neural networks

这是第一次(2017年)将深度学习算法应用在了脑颈部CT图像分割,相比传统的方法,卷积神经网络将空间信息考虑了进去,这样相邻的像素可以一起来分析。这篇文章所用到的数据集来源于自己收集的50个病人,标注了48幅图,有些类别的标注存在缺失,采用五折交叉验证的验证方法。


如何来处理一个三维图像的分割问题呢?作者采用了逐个点预测的手段。首先通过梯度计算可以得到大脑中心点,并以此为中心估计一个感兴趣区域(ROI),在这个中心区域随机选取k个点作为正例,在区域之外r mm内选取k个点作为负例。接下来,对于每个点体素,选取三个正交的切面作为输入送入一个如下图的分类网络就可以得到这个点的预测结果,并用马尔科夫随机场来进行修正。CNN在脊髓、下颌骨、喉部、咽部、眼球和视神经的分割方面表现优于或可与国际先进水平相比,在腮腺、下颌下腺和视神经的分割方面表现较差。这些部分表现差的器官即将在之后的论文中得以修正。网络结构和具体结果如下图所示。本文选用dice作为评价指标
file
file

2.Interleaved 3D-CNNs for Joint Segmentation of Small-Volume Structures in Head and Neck CT Images

这篇文章就是为了去解决小组织的分割问题来的:头颈CT图像中的交叉与视神经,它们没有很好的分割结果是因为它们体积小且外观/形状信息高度多样化。这篇文章采用的数据是MICCAI2015挑战的数据集。文章采用的三个策略如下:

首先,为了充分利用图像的外观信息,提取多尺度的patch来描述考虑的中心体素,然后输入到CNN架构中。其次,由于相邻组织在生理学和解剖学上往往高度相关,将指定给各个组织的CNNs交织在一起。这样,一个特定组织的初步分割结果有助于细化其他邻近组织的分割。最后,随着更多的CNNs交织级联,可以得到一个复杂的CNNs网络,使所有的组织都可以联合分割,迭代细化。


当然,图片的输入也做了提取ROI的预处理,同样的是以一个patch作为输入来预测一个体素的类别,不同的是,这篇文章用的是3d-patch来送入一个3d的CNN。 如何更加准确且不耗时的定位roi成为一个亟待解决的问题。从结果上来看,它不仅在小组织的分割上有很大的成果,在大组织上也很好。作者方法的dice分别为交叉神经0.66, 视神经左0.75和视神经右0.71,本方法95HD评分为交叉神经2.69分,视神经左2.30分,视神经右2.60分。(95HD即95% Hausdorff distance)值得注意的是,本文采用的是log-loss,和这两个评测指标没有直接的关系。网络结构如下:
file

3. AnatomyNet: Deep Learning for Fast and Fully Automated Whole-volume Segmentation of Head and Neck Anatomy

以前的网络都是针对每个体素进行分类来得到分割结果,这篇文章直接采用了分割网络。同时以前还在纠结如何选取感兴趣区域的问题,这篇文章直接送入整张图。这篇文章使用的训练集有MICCAI Challenge的数据集, 也有癌症影像档案下载的数据,测试集/验证集是MICCAI Challenge提供的。文章提出一种深度学习模型——“器官神经网络(AnatomyNet)”,建立在流行的3D U-net架构之上可以快速地对整张 CT 的所有切片进行全自动化器官分割,在0.12秒钟的时间内完成一整幅头颈 CT 的危及器官勾画,大幅度提升了放疗靶区勾画效率。网络以端到端方式接收整卷 CT图像作为输入和生成所有感兴趣区域。它有三个重要的改进:

  • 1 一个新的编码方案,以允许自动分割在全体积CT图像上,而不是局部patch或切片子集上
  • 2 在编码层中,加入三维 Squeeze-and-Excitation 残差结构来进行更好的特征表示学习
  • 3 一种新的结合 Dice 损失和 Focal 损失的损失函数,用来更好地训练该神经网络。


以此来解决两大问题:

  • a)分割小解剖结构(即(视交叉及视神经),这些小器官只占少数片
  • b)一些解剖学的数据数据标注不一致以及标注缺失的问题



值得注意的是,针对小器官的问题,它主要是通过损失函数的设计去解决的,dice loss去减少不平衡体素问题,focal loss可以让模型学习那那些误分类的体素更好。与之前MICCAI 2015竞赛的最先进成果相比,网络平均增加了3.3%的dice,对比的结果和网络结构如下图:
file
file

4. Segmentation of Head and Neck Organs at Risk Using CNN with Batch Dice Loss

这篇文章的数据集同样来自于MICCAI 2015 Challenge。上面说到了dice loss,我们来继续损失聊聊损失函数,其实在上文中,上文作者也提到了例如The generalized dice loss等损失函数,但是在使用中可能存在不稳定等问题。本文总结了多种损失函数,如weighted cross-entropy, soft dice等, 并提出了Batch soft dice 因为它把每个batch的结果加了起来,不做平均更具有全局表征性。由于计算资源的限制且作者认为三维网络提升效果有限,所以选择了一个二维的网络结构。网络结构及结果如下:

file
file


总结:

这几篇文章从以体素为中心的patch来预测体素类别的分类网络到以一个完整的CT图来预测全部类别的分割网络,从一个类别一个类别分别分割的单类别问题到一起解决的多类别问题,在优化损失函数,改进网络结构,数据增强等方面逐步地解决诸如小器官分割,多类不平衡,数据标注缺失等等问题。本文水平有限,有错误的地方希望读者及时纠正,同时欢迎留言交流~




推荐阅读
U-NET 神经网络为什么会在医学图像分割表现好?
医学图像分析最新综述:走向深度

  • 1
  • 0
  • 4180
收藏
暂无评论
Admin
大咖

极市平台

  • 14,118

    关注
  • 1,071

    获赞
  • 130

    精选文章
近期动态
  • 极市社区管理员,分享计算机视觉各个方向视觉干货,欢迎关注
文章专栏
  • 极市平台