• 问答
  • 技术
  • 实践
  • 资源
深度学习预测肌层浸润性膀胱癌的分子亚型
技术讨论
原创 武汉大学杨瑞博士 纯真学者出神入化


前言

今天给大家分享一篇欧洲泌尿外科学(European Association of Urology, EAU)杂志上的文章,其将深度学习技术和临床问题做了深入的结合并且取得了较好的效果。本文前半部分为文章简介,后半部分为一些感想。

本人临床出身,人工智能和病理方面知识不足,欢迎各位读者的批评指正。

文献链接:

https://www.sciencedirect.com/science/article/pii/S0302283820302554?via%3Dihub

0 引言

尿路上皮癌是前十位最为常见的肿瘤之一。肌层浸润性膀胱癌(Muscle-invasive bladder cancer,MIBC)占尿路上皮癌的四分之一左右,五年生存率只有40%到60%。区分MIBC不同的分子亚型有助于进行更加精确的诊断和治疗,但是现有的分子亚型分层方法往往需要病理科行免疫组化检查来确定,往往又贵又慢,这限制了MIBC分子亚型在临床的应用。一个可能的方法是利用深度学习预测患者的临床相关参数,比如通过病理学图像预测患者的分子亚型。例如Kather等人利用深度学习从HE染色玻片中预测肠癌中的微卫星不稳定性(microsatellite instability,MSI)。因此作者尝试利用深度学习技术从MIBC患者的全玻片图像中预测肿瘤的分子亚型并进行可视化,并将结果和病理学家的评估进行比较。

1 数据和方法

一、数据来源

从TCGA中选择可用数据共363例,分别用作训练集和验证集。另外收集16例用做外部测试集。

表1:数据集构成

file

图1:TCGA数据中患者一般信息

图1B、TCGA中所有膀胱癌患者的分型(按照MD安德森肿瘤中心的分型方法)。图1C、不同分型的预后不同

二、样本标签

根据21个不同的基因,将样本分为四类:DN, Basal,Luminal 和Luminial p53-like。分组的参照基因信息如图2所示。

file

图2:用于分类的基因信息表

三、玻片扫描和预处理

将患者的病理学玻片进行扫描。由病理学家对载玻片进行注释,然后根据注释生成更小的图像块(tiles,512*512)。对图像进行标准化,进行数据扩增。

file
图3:Tiles的产生和图像调整

四、深度学习模型

采用ResNet对小tiles进行分类,根据网络结果预测患者的最终分类。

file

图4:模型流程

五、计算方法

TCGA中的数据采用6折重复验证,将90%的数据作为训练集,10%的数据作为验证集进行分组。通过敏感性,特异性,精确度,F1值,AUC曲线等指标评估模型效能。所用深度学习框架包括PyTorch,FastAI,TensorFlow,Keras等。

2 结论

一、利用深度学习算法从病理学图像中预测患者的分子分型

经过24个epochs的训练之后,所有类别的微平均AUC值为0.89,宏平均AUC值为0.87.验证集上的平均准确率为69.91%。模型识别DN类别的AUC为0.76,识别basal类别为0.89,识别luminal类别为0.88,识别p53样luminal类别为0.89。

file
图5:训练集和验证集上的检验效能

二、单独的16例测试集分析结果

在单独的16例测试集上也显示出了类似的结果,模型的AUC为0.85,准确率为75%。

file

图6:单独测试集上的检验效能

三、不同的分类在病理学图片上有着不同的特征

利用CAM 产生的热图来探究那些病理学特征和分子亚型相关。DN型往往有致密、深染的低度到中度多形性的细胞核;Base型往往有大的、多形性的细胞核和多个非典型的核仁。管腔型主要为乳头状生长,而p53样管腔型常表现为小细胞巢或者弥漫性浸润的单个肿瘤细胞。如图7所示:

file
图7:模型可视化

四、病理专家的表现不及神经网络

神经网络的效能超出了病理专家。并且将神经网络提取到的不同类型的特征信息告知病理学家之后,他们的诊断水平有大幅度的提升

file
图8:和专家的比较

3 讨论

1、本研究证明了深度学习技术在解决特定临床问题的重要价值。2、利用CAM辅助深度学习过程的理解有助于该技术的应用。3、本研究将深度学习技术和人类专家的效能进行了比较。

评论:

膀胱癌是一种较为常见的泌尿系统肿瘤。肌层浸润型膀胱癌往往需要行膀胱根治性切除术,患者术后的生存率和生存质量均欠佳。对肌层浸润性膀胱癌患者进行进一步的分层有助于治疗方案选择和预后评估。这一信息目前往往需要病理科行免疫组化检查来确定,耗时耗力。本文作者利用深度学习技术的强大的特征提取能力寻找不同分层的肌层浸润性膀胱癌的病理图像特征并取得了较好的效果。在这个研究中,作者利用CAM热图对图像进行可视化,并发现可视化的结果有助于医师诊疗水平的提高,可以说是医工结合的典范之作。下面简单说一下个人的感想。

一、选题精准,切入角度好。医学图像是深度学习技术的一个重要应用领域。相比常见的基于影像学的疾病的诊断和分类的研究方式,本文利用深度学习技术根据病理学图像预测患者的分子亚型。病理学图像往往需要分割成小块进行处理,一定程度上可以缓解数据量不足的问题。采用的MDACC膀胱癌分层刚好恰到好处,没有很多疾病的长尾效应。在训练集中DN,Basal, Luminal, p53-like Luminal四个类别分别有19,115,167,106例,测试集中分别有1,7,5,3例。如果某个类别在人群中出现的比率过低,想必该研究在数据收集上就会遇到不小的困难。

二、临床导向,方法经典。项目尝试解决的问题有着明确的临床导向,所应用到的算法也是经过广泛验证过的。文中图像分类所用的网络是ResNet(采用了新的优化策略)可视化方式是CAM热图,是经典的分类网络和可视化方式。文章的重心并不是新的深度学习算法或者是可视化算法,而是明确的解决一个临床问题。

三、深度学习和临床相互印证。文中利用CAM算法对深度学习进行了可视化,从中归纳出了可能存在的不同类别的膀胱癌病理图像的特征,并且证实了这一信息的辅助可以帮助提高病理医生的诊断水平。虽然本文中涉及到的病理科医生只有4名。我们仍然可以想想象一个人工智能在医学领域应用的更加广阔的前景:至少在现有的病理学领域,是否有可能深度学习技术和相关的可视化技术,对现有的病理学诊断方式进行优化,对尚未建立的病理学诊断方法进行明确?

具体而言,可否将深度学习技术提取到的特征以某种算法进行可视化,然后将可视化中的规律和专家意见进行相互对照,从而促进病理学知识的产生,促进学科的发展?

深度学习技术在医学领域有着广阔的应用前景,希望能和大家一路前行!


[相关推荐]
应用深度学习进行癌症(乳腺癌)检测

深度学习在头颈部 CT 图像中高危器官分割中的应用
https://bbs.cvmart.net/articles/311

  • 0
  • 0
  • 1600
收藏
暂无评论
shijie

华南理工

  • 18

    关注
  • 52

    获赞
  • 2

    精选文章
近期动态
  • 目标检测
文章专栏
  • shijie的专栏