4.20.1 深度神经网络提高放射科医生在乳腺癌筛查中的表现

新颖的两阶段神经网络，用于将全局和局部信息与适当的训练过程结合起来。这使我们能够使用非常高容量的块级网络从像素级标签中学习，同时网络也可以从宏观乳房级标签中学习。模型可以生成可解释的热图，指示可疑发现的位置。
即使在拥有大量图像级标签的情况下，我们也展示了像素级标签的实用性。
使用超过1000000张高分辨率乳腺X线摄影图像来训练和评估网络的可行性。
为了用作我们网络的构建块，我们提出了一种专门为医学成像设计的ResNet的新变体，它具有深度和宽度的平衡，允许模型处理非常大的图像，同时保持合理的内存消耗。
评估使用具有更多噪声结果的相关任务（筛选BI-RADS分类）来预训练网络的效用

BI-RADS分类是根据乳腺肿瘤恶性的可能性大小来对肿瘤进行分级，主要分为0~6级，共7个级别，可以评价乳腺病变程度，级别越高，恶性的程度也会越高。

评估在单个神经网络中组合来自不同乳房X线摄影视图的信息的多种方法

用于癌症分类的深度CNNs

对于每个乳房，我们分配两个二元标签：乳房中不存在 / 存在恶性发现（ $\hat{y}_{R,m} / \hat{y}_{L,m}$ ）；乳房中不存在 / 存在良性发现（ $\hat{y}_{R,b} / \hat{y}_{L,b}$ ）

我们将每个图像裁剪为CC视图的固定尺寸2677*1942像素，MLO视图的固定尺寸2974*1748像素。

模型架构和训练

四种模型变体

整合四个筛查乳腺X光检查视图的信息。所有变体都被限制为在完全连接的层之间总共有1024个隐藏激活。

在所有模型中，我们使用四个基于 ResNet 的 22 层网络 (ResNet-22) 作为列，计算每个视图的256 维隐藏表示向量。与标准ResNet相比，该网络具有不同的深度和宽度平衡，可针对非常高分辨率的图像进行调整。

ResNet-22

ResNet-22的完整架构

方括号中的数字表示输出通道的数量

每个ResNet的中间输出是一个 $H\times W\times 256$ 维的张量，其中 $H\, \, \, \, W$ 从原始输入大小进行下采样，对于CC视图，H=42和W=31；对于MLO视图，H=47和W=28.

对空间维度上的表示进行平均池化，从而获得每个视图的256维隐藏表示向量。

将标准ResNet用于乳房X光检查的主要考虑因素是需要处理高分辨率的图像，而无需事先进行下采样，即在GPU内存中拟合前向传播和梯度计算。

每个处理的小批量都需要足够大，以便模型训练得到良好的调节。

尽管在推理时，每个乳房的预测被计算为该乳房的两个视图的预测的平均值，但该模型实际上经过训练来优化损失，它分别处理两个视图的预测。

当两种输入模式中的一种比另一种更具预测性时，网络倾向于忽略预测性较差的模式，这一观察结果与先前的结果一致。

辅助补丁级分类模型和热图

当使用全分辨率图像作为输入时，图像的高分辨率和GPU的有限内存限制我们在模型中使用相对较浅的ResNet。为了进一步利用乳房X光检查中的细粒度细节，训练一个辅助模型来对256*256像素的乳房X光检查斑块进行分类，预测给定斑块中是否存在恶性和良性发现。

这些补丁的标签是根据临床医生生成的相应乳房 X 光照片的像素级分割确定的。

之后，以滑动窗口的方式将此辅助网络应用于全分辨率乳房X光检查，为每个图像创建两个热图，一个包含每个像素的恶性发现的估计概率；另一个包含良性发现的估计概率。这些补丁分类热图可用作乳房级模型的附加输入通道，以提供补充的细粒度信息。

若使用单独的乳房和像素级模型将我们的工作与在单个可微网络中使用像素级标签的方法或基于R-CNN变体的模型区分开。

我们的方法允许我们在补丁级别使用非常深的辅助网络，因为该网络不必立即处理整个高分辨率网络，将补丁级分类器生成的热图添加为额外的输入通道，使主分类器能够从像素级标签中受益，而生成像素级预测所需的繁重计算不需要在每次使用示例时重复。

同时，我们还可以使用ImageNet上预训练的网络权重来初始化块级分类器的权重。

BI-RADS分类预训练

由于我们拥有的具有良性或恶性标签的活检样本数量相对较少，因此我们应用迁移学习来提高模型的稳健性和性能。

事实证明，即使使用噪声标签进行训练，神经网络也能达到合理的性能水平。我们利用这一特性将通过 BI-RADS 标签学到的信息转移到癌症分类模型中。

实验

为了进一步改进结果，可以采用模型集成技术，其中对几个不同模型的预测进行平均以产生集成的整体预测。我们使用全连接层中权重的不同随机初始化来训练每个模型的五个副本，而其余权重则使用在BI-RADS分类上预训练的模型权重进行初始化。

ROC 曲线总结了使用不同概率阈值的模型的真阳性率和假阳性率之间的权衡。

预训练对BI-RADS分类的重要性

与图像和热图模型相比，仅图像模型使用预训练权重带来的性能提升往往更大。因为热图已经包含与癌症分类相关的重要信息，因此模型可能可以更快地学习利用热图进行癌症分类。相比之下，纯图像模型完全依赖 ResNet 来有效编码癌症分类的视觉信息，因此使用针对 BI-RADS 分类预训练的模型权重对模型性能有显着贡献。

$\hat{y}_{hybrid}=\lambda \hat{y}_{radiologist}+(1-\lambda)\hat{y}_{model}$ ；其中分别是放射科医生的预测结果和模型的预测结果。