小罗碎碎念
今天精读的这篇文章于2024年7月22日发表，作者来自清华大学和广西大学。
| 角色 | 姓名 | 单位名称（中文） |
|---|---|---|
| 第一作者 | 曾 | 清华大学珠三角研究院医学光学技术研发中心，广州 |
| 通讯作者 | 何 | 清华大学深圳国际研究生院生物制药与健康工程研究所，深圳 |
这篇文章介绍了一种名为PFPD的新型自动诊断框架，用于提高鼻咽癌（NPC）的病理诊断准确性。该框架利用深度学习技术，通过病理学真实性生成对抗网络（PF-GAN）和先验驱动的图像分类系统（PD-CS），在无需手动注释的情况下，自动从H&E染色图像中生成EBER染色图像，并进行NPC诊断。
研究结果表明，PFPD框架在分类EBER图像时达到了99.59%的高准确率，并且在临床样本中与经验丰富的病理学家相比，展现出了可比的诊断性能和更高的诊断效率。
PF-GAN通过整合病理学真实性约束，确保了从H&E到EBER图像的转换过程中病理特征的一致性，而PD-CS则利用EBER染色的特异性和病理学先验知识，实现了对NPC的高效诊断。此外，PFPD框架在处理复杂肿瘤微环境的病例时，也显示出了优越的诊断能力，这表明它在临床应用中具有潜力。
总的来说，这项研究提供了一种成本效益高、精确度好的NPC诊断方法，为基于人工智能的癌症诊断提供了新的战略方向，并可能对提高NPC患者的早期诊断率和治疗结果产生积极影响。
一、绪论
鼻咽癌（NPC）是一种恶性的上皮肿瘤，主要发生在鼻咽部的咽隐窝，但在某些亚洲地区具有显著的高发病率。
NPC的早期阶段常呈现非特异性症状，如鼻塞、耳鸣和听力下降，使得早期发现颇具挑战。因此，许多患者在疾病的晚期阶段才被诊断出来[1,2]。早期诊断对于提高NPC患者的生存率和预后至关重要，因为早期诊断的五年生存率可超过90%，显著高于晚期诊断的患者[3–5]。
目前，NPC的临床检测金标准是内窥镜检查结合活检的病理分析[6–8]。世界卫生组织（WHO）将NPC分为三种病理亚型：角化鳞状细胞癌、非角化癌和基底样鳞状细胞癌[9]。
在流行区，非角化鼻咽癌（NK-NPC）是最常见的亚型，患者中Epstein–Barr病毒（EBV）感染率为100%[10,11]。因此，EBV检测在NPC的诊断中至关重要。利用EBV编码的小RNA（EBER）进行原位杂交（ISH），EBER–ISH成为检测肿瘤细胞中EBV感染的关键方法[12–18]，在NPC的病理诊断中发挥着中心作用。
如图1所示，只有肿瘤细胞的细胞核对EBER呈阳性染色（表现为蓝色或蓝棕色），而所有非NPC细胞均呈阴性染色（表现为粉色）。
(a,b) 示例了EBER染色，其中蓝色代表NPC肿瘤细胞，粉色代表非NPC肿瘤细胞（20×放大倍数）。
(c,d) 示例了H&E图像中淋巴细胞浸润到肿瘤细胞中的情况（80×放大倍数）。
随着计算机辅助诊断技术的进步，深度学习在病理图像分析中的应用越来越普遍。
近期，一些研究者将深度学习与病理图像相结合，用于诊断NPC。
例如，Chuang等人首次使用深度卷积神经网络，基于726个活检样本自动诊断NPC，有效区分了癌症和非癌症病例[19]。随后，Diao等人利用Inception-v3模型诊断慢性鼻咽炎、淋巴组织增生（LHP）和NPC，其在测试集上的表现超过了初级和中级病理学家[20]。在此基础上，他们进一步开发了一个基于变换器的网络模型，使用2004年至2018年间收集的227例NPC病例，成功实现了NPC肿瘤区域的精确分割[21]。
此外，W. S. H. M. W. Ahmad等人利用DenseNet架构分析了来自两家医院的七个全切片图像（WSIs），成功实现了鼻咽炎、LHP、NPC和正常组织的自动化分类[22]。Lin等人开发了一种低成本的方法，通过使用EBER染色的图像辅助标注H&E图像，实现了无需病理学家直接参与的诊断过程[23]。
对基于AI的NPC诊断先前研究的回顾表明，模型训练通常需要病理学家手动标注H&E图像。
然而，NPC复杂的肿瘤微环境[24–28]，如淋巴细胞浸润（如图1所示），使得病理诊断复杂化。因此，构建高质量的H&E标注训练数据集成本高昂。
尽管一些学者提出了使用其他染色方法辅助H&E标注以提高效率，但非病理学家的主观标注可能会降低数据质量，并增加模型训练中的语义模糊性，从而影响模型的诊断效果。
鉴于EBER染色特异性在诊断中的关键作用，利用NPC肿瘤细胞与其他细胞（如淋巴细胞）在H&E图像中的独特图像特征，实现数字染色向EBER图像的转换是可行的。这种方法可能允许基于EBER染色的特异性，间接诊断H&E图像，从而可能避免复杂和主观的H&E图像标注，同时提高诊断准确性。
虚拟染色技术利用深度学习实现染色到染色的转换。
与传统染色方法不同，虚拟染色无需物理切片准备和重复染色过程，使得在不同染色风格之间转换成为可能。这种方法不仅提高了诊断效率，显著降低了成本，还允许病理学家快速切换不同的染色视角，从而加速获取诊断信息。
生成对抗网络（GANs）常作为虚拟染色应用中的主要技术。Bai等人利用条件生成对抗网络将乳腺组织的自发荧光显微镜图像转换为HER2染色图像[29]。Li等人将显著性约束引入CycleGAN模型，成功地将结肠组织的免疫荧光图像转换为H&E染色图像，使用未配对的训练数据[30]。De Haan等人利用来自肾脏活检的配对图像，成功地将H&E染色图像转换为特殊染色图像[31]。
此外，Liu等人通过增强CycleGAN，引入病理属性和一致性约束，实现了从H&E染色的乳腺和神经内分泌组织到Ki-67染色风格的转换，确保了不同领域间病理属性的一致性[32]。
为克服当前基于AI的NPC诊断模型的局限性，本研究引入了一个名为PFPD的新诊断框架。
该框架包含一个集成了病理–保真度约束的生成对抗网络模型（PF-GAN）和一个基于先验知识的图像分类系统（PD-CS）。
PF-GAN有效地将H&E图像转换为EBER图像，完成数字染色。随后，PD-CS利用EBER染色的特异性和病理先验知识，准确地对这些图像进行分类，实现NPC的诊断。
PD-CS在分类EBER图像时的高准确性使得PF-GAN训练数据的自动标注成为可能，显著降低了标注成本并最小化了主观偏差。
本研究的主要贡献包括：
- 本研究引入了一个基于AI的新框架，用于诊断NPC，该框架首先实现了将H&E图像准确数字化染为EBER图像，随后利用病理先验知识有效诊断NPC。
- 本研究设计了一个生成对抗网络，通过整合病理–保真度约束，实现了从H&E到EBER图像的特征对齐。此外，该模型为EBER图像建立了标准化的染色，有效解决了传统EBER染色技术中常见的染色溢出问题。
- 本论文开发了一个基于先验知识的图像分类系统（PD-CS），利用病理先验特征建立了一套阈值标准。这些标准旨在基于特定的病理指标准确分类EBER图像。
- 在模型训练过程中，本研究促进了训练数据集的自动标注，显著提高了AI-based NPC模型的发展效率。
二、方法
2-1：PFPD框架在NPC诊断中的应用概述
图2展示了PFPD在NPC诊断中的整体流程。
数字染色与PD-CS的合作是诊断的核心。首先，PFPD利用生成对抗网络（GAN）将H&E图像块转换为EBER图像块，完成数字染色。
随后，PD-CS利用EBER染色的特异性和病理先验知识对数字染色的EBER图像块进行分类。这一分类过程间接完成了H&E图像块的分类。
最终，PFPD的输出包括NPC的诊断结果、数字染色的EBER全切片图像（WSI）以及相应肿瘤区域的掩膜。
数字染色通过学习H&E图像与EBER图像之间的特征映射关系，利用图像翻译技术实现。
这种映射确保了NPC肿瘤细胞在数字染色后呈现EBER阳性，而非NPC肿瘤细胞呈现EBER阴性。在数字染色过程中，使用滑动窗口技术从H&E WSI的前景区域提取H&E图像块。这些图像块作为GAN模型的输入，模型通过学习的映射关系实现从H&E到EBER的数字染色。
数字染色的EBER图像块重新构建为数字染色的EBER WSI，并作为PD-CS的输入。为了增强GAN模型在学习H&E与EBER图像之间映射关系的能力，作者提出了一个改进模型，命名为PF-GAN。
PD-CS的主要目标是利用染色的特异性和病理先验知识，对数字染色的EBER图像进行基于阈值的分类，从而间接对原始H&E图像块进行分类。首先，像素级决策对数字染色的EBER图像块中的像素值进行分类，生成二值掩膜，识别EBER阳性区域。然后，图像块级决策根据肿瘤细胞像素大小阈值评估每个掩膜的最大连通域。
符合阈值的EBER图像块对应的掩膜被标记为阳性（1），而不符合阈值的则被标记为阴性（0）。全切片图像级决策通过比较阳性标签计数与阳性图像计数阈值，来诊断整个原始H&E WSI是否为NPC。
此外，这些掩膜被重新构建为对应H&E WSI的肿瘤区域掩膜。
2-2：基于先验知识的图像分类系统（PD-CS）
尽管PF-GAN已经可以通过集成的分类器对EBER图像进行分类，但作者进一步开发了PD-CS，以增强整个NPC病理诊断框架的灵活性和可扩展性。该系统利用EBER染色的特异性和病理先验知识，结合图像处理技术，实现了对EBER图像的准确分类，并最终允许对框架的H&E WSI输入进行诊断。
图4展示了PD-CS的诊断过程，该过程包括三个主要模块：像素级决策、图像块级决策和全切片图像级决策。
通过上述模型，从基于EBER特异性选择阈值到选择病理连通性阈值，再到WSI的综合诊断聚合，作者实现了从像素到WSI的端到端NPC诊断。
为了探索系统中相关模块的阈值选择并提高其鲁棒性，作者从训练数据集中随机抽取了1000个阳性EBER图像和1000个阴性EBER图像。利用这2000个图像，作者进行了一项研究，旨在提高系统中每个子模块的可靠性。
在像素级决策模块中，作者分析了EBER图像通道，并注意到阴性图像在R通道中的像素值较高，如图5所示。
图6中的直方图进一步显示，阴性图像在高强度范围（大于200）聚集，而阳性图像占据低强度区域（小于100），展示了R通道的判别效率。
利用EBER染色的特异性，像素级决策模块实现了像素级阈值分割。该模块首先过滤掉背景像素，然后提取前景的R通道像素值。值小于100的像素被分类为阳性，而值较高的像素被分类为阴性。
在图像块级决策模块中，基于像素级分类结果，构建了相应的掩膜，其中‘1’表示阳性，‘0’表示阴性和背景像素。虽然获得了图像块级掩膜，但仅凭阳性像素的存在并不能直接确定图像的阳性，因为存在噪声干扰。
在本研究中，作者分析了1000个选定的EBER阳性图像。在经验丰富的病理学家的协助下，作者识别并测量了每个图像中最小肿瘤细胞的像素大小。通过计算这些细胞边界矩形内的像素数，作者确定平均像素数为125。这一结果有助于对肿瘤细胞尺寸进行近似评估。
基于肿瘤细胞像素大小的病理先验知识，作者利用这些掩膜内连通区域的大小来判断图像的阳性。为了减少估计误差并提高灵敏度，作者将阈值设置为100像素。如果一个掩膜内阳性像素的最大连通区域超过这个阈值，相应的EBER图像块被分类为阳性；否则，被分类为阴性，从而完成图像块级分类过程。
在全切片图像级决策模块中，根据病理学家的诊断标准，如果在EBER图像中观察到肿瘤细胞，则该病例被分类为鼻咽癌（NPC）。基于肿瘤细胞计数的病理先验知识，作者收集阳性EBER图像的数量，以建立最终的WSI级分类标准。
如果识别出阳性EBER图像，则整个WSI被诊断为NPC；否则，被归类为非NPC。这一标准遵循病理学家的常规决策过程。
三、实验
3-1：数据集
本研究的数据来源于北京大学深圳医院，涵盖了2020年至2023年间收集的所有NPC病理切片。
数据集包括232个病例的WSI，包括两种染色类型（H&E和EBER）。所有切片均使用深圳深强科技有限公司（深圳，中国）的SQS600P-0073高通量扫描仪进行数字化。H&E和EBER染色的WSI被划分为256×256像素的重叠图像块，分辨率为0.1036 µm/像素。这种高分辨率显著提高了图像中细胞和组织结构的细节捕捉，从而优化了数据质量。
为了确保模型的训练效果和科学严谨性[39]，本研究选择了44个代表性案例（28个阳性，16个阴性）进行训练，其中H&E染色的WSI被分割为71,216个图像块（40,525个阳性，30,691个阴性），EBER染色的WSI被分割为83,928个图像块（41,482个阳性，42,446个阴性）。
剩余的188个案例（124个阳性，64个阴性）用于测试，其中H&E染色的WSI被分割为77,159个图像块，以评估模型在实际应用中的性能。
本论文在相同的数据集上训练所有模型，以确保公平性。
具体来说，源域（H&E图像）和目标域（EBER图像）都使用了相同的训练数据集来训练所有GANs。在PFPD与全监督模型的比较实验中，全监督模型基于GAN训练集的H&E数据集。这些由病理学家标注的H&E图像包括总共40,525个NPC和30,691个非NPC图像。训练数据中没有明显的偏差。
在相同的H&E数据集上训练所有模型确保了比较和评估的公平性。
关于数据质量，用于训练的44个案例由病理学家精心挑选，确保了高代表性和全面性。与随机案例选择相比，这种精心挑选的过程增强了模型训练的稳健性。
3-2：PF-GAN训练中的自动标注
由于引入了病理保真度约束，PF-GAN需要标注的EBER图像来训练生成器以提取全局病理特征。
考虑到PD-CS与病理学家在分类EBER图像方面的高度一致性，作者可以利用PD-CS的像素级和图像块级模块自动且高效地标注EBER图像，用于训练PF-GAN模型。具体过程如图7所示。
EBER训练图像输入PD-CS系统，其中像素级模块使用像素值阈值区分正负像素，图像块级模块应用肿瘤细胞像素大小阈值给EBER训练图像分配类别标签（1为阳性，0为阴性）。这一自动过程为PF-GAN训练提供了标注的EBER训练图像。它消除了病理学家手动标注的需要，减少了与手动标注相关的耗时工作，提高了NPC诊断模型开发效率。
值得注意的是，PF-GAN模型训练的另一个优势是它不需要配对数据。该模型通过学习H&E和EBER图像之间的映射关系，实现了从H&E染色域到EBER染色域的肿瘤细胞和非NPC细胞的图像转换。通过结合PD-CS的自动标注技术和PF-GAN处理无配对数据的能力，PFPD解决了先前基于AI的NPC诊断模型开发中病理学家手动标注的瓶颈问题，显著减少了模型开发过程中病理学家的工作量。
此外，与手动标注的不确定时间成本相比，PFPD的自动标注更为稳定。由于现有硬件资源的快速发展，自动计算机辅助标注比手动标注快得多。
3-3：实验设置
实验在配备NVIDIA GeForce RTX 4090 GPU（由位于加利福尼亚州圣克拉拉的NVIDIA公司制造，拥有24 GB内存）的系统上进行，该系统配备了251 GiB的RAM。
GANs使用了Adam优化器进行模型优化，并进行了200个epochs的训练，batch size设置为4。其中，PFGAN采用了基于Resnet的生成器，包括9个Resnet块，并穿插了几个下采样和上采样操作。
初始学习率设置为0.0002，动量参数（β1和β2）分别设置为0.5和0.999。学习率从训练中期开始衰减。
四、结果
4-1：通过定性分析评估病理保真度
为了评估病理保真度，PFPD框架使用不同的GAN（CycleGAN、CUT、PF-GAN）作为数字染色的基础，进行全面定性分析。
CycleGAN[49]通过引入循环一致性损失，实现两个图像域之间的转换，无需配对样本。CUT利用对比学习原则，通过最大化图像块之间的互信息，实现无配对图像的风格迁移。PF-GAN是本研究中提出的新模型。随后，数字EBER染色图像与真实H&E和EBER染色图像在WSI级别和组织区域进行了比较。
在图8的示例1中，对于阴性WSI，CycleGAN和CUT表现出一定程度的过度染色。
这种过度染色可以归因于这些GAN中缺乏病理保真度损失，导致转换后的图像缺乏真实性，无法保留原始H&E染色图像的病理一致性。相比之下，PF-GAN成功地转换为正确的EBER阴性染色，表明病理保真度损失确保了染色的连续性，使得H&E染色图像中的非NPC细胞在转换后的EBER图像中保持阴性。
在图8的示例2中，对于阳性WSI，CycleGAN、CUT和PF-GAN都正确地将H&E图像中的肿瘤细胞转换为EBER图像中的阳性染色。此外，PF-GAN保持了肿瘤区域中分布的非NPC细胞的阴性染色。
通过在模型训练中整合病理保真度损失，PF-GAN能够保留非NPC细胞特征。这种损失施加的约束确保了标准的转换过程，保持了病理特征的一致性和真实性。PF-GAN在病理保真度方面的优异性能显著增强了其实际应用的适用性。
图9展示了GAN在组织区域内的染色性能。
尽管CycleGAN和CUT成功地将H&E染色转换为EBER染色中的阳性肿瘤细胞（示例3和示例4），但在非NPC细胞区域的性能不佳。它们表现出明显的过度染色和倾向于简单的颜色风格转换，这削弱了它们的病理保真度（示例1和示例2）。
相比之下，PF-GAN准确地将肿瘤细胞转换为阳性染色（示例3和示例4），并将非NPC细胞正确转换为EBER染色中的阴性区域（示例1和示例2）。这种能力显著提高了PF-GAN在病理保真度方面的性能，使其在实际应用中更具优势。
总的来说，病理保真度的定性分析突显了通过整合病理保真度损失来维持染色一致性和真实性的有效性。PF-GAN在WSI级别和组织区域内的定性分析中展示了最佳的染色性能。
4-2：PF-GAN数字染色在困难案例中的评估
在NPC的病理诊断中，由于肿瘤微环境的复杂性，尤其是淋巴细胞的浸润，仅依靠H&E图像进行诊断可能会导致诊断过程延长和准确性降低。
为了应对这一挑战，本研究选择了两个具有淋巴细胞浸润的代表性困难案例来评估PF-GAN染色转换的有效性，从而探索诊断框架在复杂肿瘤微环境中的性能。
如图10所示，与真实EBER图像相比，PF-GAN生成的EBER图像展示了在复杂肿瘤微环境中实现准确染色转换的能力。
这归因于PF-GAN能够识别H&E图像中肿瘤和非肿瘤细胞之间的明显特征差异，并在数字染色过程中实现特征对齐，从而保持了病理信息的一致性。
值得注意的是，物理EBER染色可能会影响病理学家对非肿瘤区域的直观分析，因为染色溢出或切片制备过程中的组织挤压，如图10的案例1所示。PF-GAN可以有效避免这些问题，从而更好地协助病理学家做出准确的诊断。
结果表明，PF-GAN在复杂肿瘤微环境中的有效性，使得在困难案例中能够进行精确诊断，并增强了诊断框架的临床适用性。
4-3：生成图像质量评估
为了评估不同GAN生成的EBER图像的质量，作者使用了几个相关的图像质量评估指标，包括RMSE、PSNR和SSIM。
这些指标评估生成的EBER图像与真实EBER图像之间的视觉感知和像素级差异。作者利用valis[50]，一个病理图像注册工具，构建了一个包含1434对图像的评价数据集。该数据集中的H&E图像作为不同GAN的输入。然后，通过上述指标比较生成的EBER图像与相应的真实EBER图像。结果如表1所示。
如表1所示，PF-GAN在RMSE指标上取得了最低值（0.01174），这表明它在像素级上与真实图像更为相似，从而提高了图像转换过程中的生成图像质量。
在PSNR指标上，大于20的值被认为是可接受的（越高越好），超过40的值表示图像质量极佳。尽管三种GAN生成的图像几乎都达到了PSNR的40，但PF-GAN以38.63分略胜一筹，强调其在图像的亮度和对比度细节处理上更为精细。同样，对于SSIM指标，所有GAN的得分都超过了0.85（越高越好），进一步验证了PF-GAN在所有三个指标上的优越性，其得分为0.8981，高于其他两者，展示了其在保持图像结构和纹理方面的卓越能力。
根据这些评估指标，CycleGAN、CUT和PF-GAN生成的EBER图像在视觉质量上与真实EBER图像非常接近。尽管三种GAN生成的图像在质量指标上没有显著差异，但PF-GAN在所有三个指标上都略胜一筹。
这些结果表明，通过整合病理保真度约束可以提高图像生成的质量，确保生成的图像在细节和结构上与真实病理图像保持高度一致。
4-4：PFPD框架的一致性和准确性评估
4.4.1. 基于先验知识的图像分类系统的一致性评估
为了进一步验证PD-CS在EBER图像分类中的有效性及其与病理学家评估的一致性，作者使用17,167个来自训练集的EBER图像进行了系统性的评估。
在评估过程中，作者将系统为每个EBER图像生成的分类标签与相应由病理学家提供的真实标签在图像块级别进行了比较，旨在衡量系统在诊断EBER图像方面的一致性。
PD-CS在EBER染色图像的分类中展示了出色的诊断准确性，如图A1（附录A）中的混淆矩阵所示。
系统准确地识别了8617个阴性图像中的8686个和8480个阳性图像中的8481个，反映了其分类的高精度。这些结果表明整体准确率为99.59%，阳性诊断准确率高达99.98%。这一表现突显了系统在医学诊断中的有效性和精确性，并确认了其与病理学家评估的一致性。
4.4.2. PFPD框架中生成模型的准确性分析
通过上述实验，作者已经证明了CycleGAN、CUT和PF-GAN生成的EBER图像与真实EBER图像非常相似，其中PF-GAN生成的数字EBER图像质量更优。此外，PD-CS有效地利用了EBER图像的染色特性，并基于三个渐进级别的有效规则，实现了与病理学家在诊断EBER图像方面的高度一致性。
这些实验验证了PFPD框架中的两个关键组成部分：数字染色和自动诊断，证明了使用PFPD进行NPC诊断的可行性。然而，为了探索作为PFPD框架基础的不同生成模型在诊断准确性方面的表现，需要进一步的实验研究。
为了更好地比较PFPD框架中作为基础的不同生成模型在分类H&E图像方面的性能，作者采用了全监督分类网络ResNet50[51]和Swin-Transformer[52]作为基准[53]。这些模型仅使用训练集中的H&E图像和由病理学家标注的数据进行训练。
在表2中，作者展示了全监督分类网络在测试数据集上各种评估指标的表现，包括准确性、精确度、召回率、特异性和F1-Score。
作为基准，ResNet50在非NPC组织分类中实现了0.8604的特异性，而在肿瘤分类中实现了0.8845的高召回率。整体分类准确率为0.8720。此外，Swin-Transformer在非NPC组织分类中的特异性为0.8684，在肿瘤分类中的召回率为0.9210，略优于ResNet50。
当不同的GAN作为PFPD框架的基础时，CycleGAN和CUT在H&E肿瘤图像的召回率超过了0.95，超过了ResNet50和PF-GAN。然而，它们在非NPC组织分类中的表现不佳，特异性低于0.65。这种表现不佳主要是由于两种模型中观察到的显著过度染色，这未能确保病理一致性，导致诊断中出现高假阳性率。
相比之下，当作为PFPD框架的基础时，PF-GAN在分类非NPC和NPC的H&E图像方面表现出色。它在非NPC分类准确性中实现了最高的特异性0.8826，显著改善了假阳性问题。
此外，整体分类准确率达到了0.9040，表明PF-GAN在将H&E图像转换为EBER图像后确保了病理一致性。而且，它实现了最高的F1-Score为0.9143，展示了精确度和召回率之间的良好平衡。
当PF-GAN作为基础时，PFPD框架在保持低误诊率的同时有效地识别阳性，这对于临床应用至关重要。这一成功归功于在H&E到EBER图像转换过程中整合了病理保真度约束，确保了病理诊断信息的保留。
综上所述，当作为PFPD框架的基础时，PF-GAN利用自动标注技术实现了超越全监督模型的性能，无需人工干预。这凸显了PF-GAN在数字染色中保持病理一致性的有效性。
4-5：t-SNE可视化分析
通过从GAN生成器的最后一层提取特征图并进行平均池化以降低维度，获得了特征向量用于t-SNE分析。
图11展示了CycleGAN、CUT和PF-GAN模型的t-SNE可视化，用于比较模型在特征分离方面的表现。
在这些可视化中，紫色点代表非NPC数据，黄色点代表肿瘤数据。CycleGAN和CUT模型的t-SNE图显示非NPC和NPC肿瘤数据点之间存在显著的重叠，表明这些模型的分离性能较差。具体来说，许多非NPC数据点与肿瘤簇混合在一起，这表明这两个模型在区分非NPC和肿瘤特征方面效果不佳。
相比之下，PF-GAN模型的t-SNE图展示了最佳性能，非NPC和NPC肿瘤数据点几乎完全分离，几乎没有重叠。这清楚地表明PF-GAN模型能够有效捕捉并区分非NPC和NPC肿瘤数据的特征，展示了出色的特征分离能力。
结果进一步证明，引入病理保真度约束可以更好地指导从H&E到EBER的数字染色过程，保留病理特征的一致性和真实性。
4-6：临床诊断比较：病理学家与PFPD
为了进一步验证PFPD的临床有效性，作者在测试集的188个病例的H&E染色WSI上进行了诊断比较实验，比较了PFPD获得的结果与三名病理学家的诊断结果。
这些专家包括一名初级病理学家和两名中级病理学家，他们独立诊断这些H&E图像，而无需EBER和其他染色图像的帮助。相关的诊断结果和混淆矩阵在图12中详细列出。
结果显示，PFPD在识别阳性病例方面表现优于所有参与的病理学家，达到87.90%的真实阳性率，显著高于所有病理学家。
此外，它的误诊率仅为11.17%，远低于病理学家，显示出其出色的诊断准确性和可靠性。具体来说，初级病理学家的结果显示出更多的假阴性（FN-37）和假阳性（FP-21），这反映了由于经验不足而可能导致的诊断挑战。相比之下，中级病理学家展示了卓越的诊断性能，误诊率最低，为17.55%。PFPD在识别真实阴性（TN-58）方面也表现出高精度，在测试集中表现出色。
值得注意的是，PFPD将诊断一张玻片的平均时间减少了83.97%，与中级病理学家相比。这一显著的时间优势进一步凸显了PFPD提高整体诊断效率的潜力。
五、结论与展望
本研究提出了PFPD，一个用于NPC诊断的框架，该框架设计了一个新的GAN和可解释的图像处理技术，以提高诊断的准确性。
本研究的主要结论如下：
- PFPD框架，包括PF-GAN和PD-CS，有效地利用了H&E图像中NPC肿瘤细胞和非NPC细胞之间的图像特征差异，实现了数字EBER染色。此外，系统根据EBER染色的特异性和现有的病理知识，准确地对生成的图像进行分类，从而有助于NPC的诊断。
- PF-GAN在训练过程中使用由PD-CS标注的EBER图像和病理保真度约束来指导从H&E到EBER的数字染色。实验结果表明，PF-GAN在数字染色中保证了比其他GAN更高的病理一致性。此外，结果还表明，PFPD在不需要构建昂贵且复杂的H&E标注数据的情况下，超过了全监督模型的诊断性能。
- 在临床诊断有效性分析中，结果显示PFPD在临床上是有效的，其性能与中级病理学家相当，且在诊断效率上显著优于病理学家。因此，PFPD有效地帮助病理学家以高效和准确的方式诊断NPC。
PFPD框架的完全自动化标注功能消除了手动干预的需要，显著提高了诊断效率并降低了成本。其多样性和可扩展性使其适用于诊断各种与EBV相关的癌症，并具有跨组织诊断的潜力。这有望改善患者的治疗结果，并推动深度学习在疾病诊断中的应用。
