【传知代码】智慧医疗：纹理特征VS卷积特征（论文复现）

在这个无处不在的技术革新的时代，计算机视觉和机器学习成为了医疗领域中不可或缺的力量。在这篇文章中，我们将探讨两种突出的技术：纹理特征和卷积特征。它们如何在医学影像分析中竞争与协作，为医生提供更深入、更精确的诊断信息？本文将深入探讨它们的优势、应用和未来潜力，揭示它们在智慧医疗中的角色与意义。

本文所涉及所有资源均在传知代码平台可获取

概述

算法流程

核心逻辑

写在最后

概述

宽度学习系统（BLS）的一个显著优点是其简洁的平面结构，这使得特征表示和数据分类变得简单。与其他具有复杂架构的机器学习算法不同，BLS的设计简洁，便于特征表示的学习和数据分类。这种结构也使得模型能在大数据集上高效运行，而不需要大量的计算资源。BLS模型的另一个优点是其权重是通过解析计算确定的，从而降低了过拟合的风险。对于基于纹理特征（RF）的BLS模型，它产生的结果比基于深度卷积特征（DF）的BLS模型更容易解释。这是因为RF与BMD高度相关，这使得理解输入特征与输出之间的关系变得更容易，例如，DF可以解释高级语义信息，这对某些类型的数据可能是有益的。但是，在这种情况下，基于BSF的模型的性能会比基于任务的RF更好，RLS的性能会更好。

纹理特征是图像处理和计算机视觉中常用的概念，用于描述图像中像素的局部模式和结构，帮助区分不同类型的物体或场景。常见的纹理特征包括统计特征、频域特征、模型特征和结构特征。统计特征如灰度共生矩阵（GLCM）和局部二值模式（LBP），通过计算像素间的联合概率分布和局部二进制模式来描述纹理。频域特征如傅里叶变换和小波变换，通过分析图像的频率成分和多尺度细节来捕捉纹理信息。模型特征如自回归模型（AR），假设像素值可以用其周围像素的线性组合来表示，从而描述纹理。结构特征如边缘方向直方图（HOG）和Gabor滤波器，通过计算图像中局部梯度方向分布和使用一组不同方向和尺度的滤波器来提取纹理特征。这些纹理特征在图像分割、分类、模式识别和检索等应用中非常重要，例如在医学图像分析中可以检测和分类不同类型的组织，在遥感图像处理中可以区分不同类型的地表覆盖。

深度卷积特征是由深度卷积神经网络（CNN）提取的特征，用于图像处理和计算机视觉任务。CNN通过多个卷积层、池化层和全连接层的级联，能够从原始图像中自动学习并提取出层次化的特征表示。在CNN中，低层的卷积层通常提取图像中的边缘、纹理和简单形状等低级特征；随着网络的加深，中间层会捕捉到更复杂的模式和结构，如角点、轮廓和局部区域；高层的卷积层则能够提取到语义级别的特征，如物体的类别和具体形状等高级特征。通过这种层次化的特征提取，CNN能够在图像分类、目标检测、图像分割等任务中取得显著的效果。卷积操作通过滑动窗口的方式，将滤波器（卷积核）应用于输入图像，生成特征图。每个卷积核能够检测特定的特征模式，如边缘或纹理。池化层则通过下采样操作，减小特征图的尺寸，从而降低计算复杂度并提高模型的鲁棒性。深度卷积特征的一个重要优势是它们能够自动从大量标注数据中学习特征表示，而无需人工设计特征。这使得深度学习模型能够在各种复杂的视觉任务中表现出色。此外，预训练的深度卷积网络（如VGG、ResNet、Inception等）可以用于迁移学习，通过在新的任务上进行微调，迅速适应不同的应用场景。总之，深度卷积特征在现代计算机视觉领域具有重要的地位，广泛应用于图像分类、目标检测、图像分割、图像生成等多种任务中，显著提升了这些任务的性能和准确性，如下图所示：

算法流程

下面我们来介绍一下论文中所设计的算法流程，原论文采用了两种不同方面的特征提取技术——纹理特征和深度卷积特征，并比较了他们的性能效果。对于纹理特征，论文采用了GLCM、GLRLM、GLDM、GLSZM、NGTDM和一阶形态学特征融合提取的方法来全面地提取到医学影像中的纹理信息。对于深度卷积特征，论文中使用了最经典的ResNet18和VGG11两种深度卷积网络来对医学影像进行特征提取，我们将具体地讲解这篇文章所用到的数据预处理方法，纹理特征提取、深度卷积特征提取和分类网络搭建这四个步骤：

数据预处理：

首先，感兴趣区域（ROIs）在L1-L4椎体（前后视图）上手动分割，以确保诊断模型与DXA测试之间的准确对应。该操作使用开源软件ITK-SNAP (www.itk-snap.org)进行。分割由一位具有6年肌肉骨骼影像经验的放射科医生完成，并由一位具有20年肌肉骨骼影像经验的高级放射科医生验证。阅片者对患者的临床信息和DXA结果均不知情。

为了规范化，ROI图块被转换为灰度图像，并使用双线性插值方法调整为128 × 64像素。这种方法在图像处理应用中常用，因为它在计算效率和图像质量之间提供了一种折衷。使用对比度受限自适应直方图均衡化（CLAHE）对图像进行增强，以提高对比度并提供更清晰的特征细节可视化。CLAHE在增强医学图像方面具有优势，因为它不会增加噪声，并能保留大部分图像纹理细节。使用定量度量结构相似性指数（SSIM）评估CLAHE的效率。在训练集中的直方图均衡化后，SSIM方差显著降低（0.00102 vs. 0.00056，P < .0001），在测试集中也是如此（0.00196 vs. 0.00102，P < .0001）。图2展示了原始和增强的ROI图像及其灰度直方图。为了处理数据集样本分布不均的问题，使用了合成少数过采样技术（SMOTE）。SMOTE分析少数样本，根据少数样本人工合成额外样本，并将其添加到数据集中，以防止模型学到的知识过于专门化而缺乏广泛性。

纹理特征提取：

论文作者们利用PyRadiomics 3.0 从每个感兴趣区域（ROI）中提取二维形态特征和纹理特征。形态特征包括网格表面、像素表面、周长、周长与表面比、球形度、球形不对称、长轴长度、短轴长度和伸长率。纹理特征包括灰度共生矩阵（n = 24）、灰度游程长度矩阵（n = 16）、灰度尺寸区矩阵（n = 16）、相邻灰度差矩阵（n = 5）和灰度依赖矩阵（n = 14）。这些特征与多种骨骼特性有关，包括骨密度（BMD）、骨微观结构和骨组织成分。形态特征和纹理特征的计算和提取是根据图像生物标记标准化倡议（Image Biomarker Standardisation Initiative）指南进行的，以确保一致性和标准化。

深度卷积特征提取：

他们使用了两种广泛应用的卷积神经网络（CNN）架构，即ResNet18和VGG11，作为任务的骨干网络。ResNet18由四个残差块组成，每个残差块包含两个卷积层，配有批量归一化和ReLU激活函数。这些层之后是一个快捷连接，将输入添加到第二个卷积层的输出中。而VGG11的特点是其架构中一致使用小的3×3卷积滤波器，这种方法确保了较大的感受野，同时保持了相对较少的参数。VGG11架构由五个堆叠的卷积层组成，称为“vggblocks”，并使用ReLU激活函数。它采用最大池化，并以几层全连接层结束。

他们利用了预训练CNN与迁移学习的强大功能，有效地从图像数据中生成并提取准确且富有表现力的特征。具体来说，他们使用了已经在ImageNet数据集上预训练的ResNet18和VGG11模型。在特征提取过程中，他们冻结了大部分卷积模块，并添加了新的展平和全连接层，以获得所需的特征维度。具体来说，对于VGG11，他们选择并冻结了五个vggblocks。随后，添加了自适应平均池化层和全连接层，以获得4096维的特征表示。对于ResNet18，他们冻结了前四层，每层包含两个Basicblock模块，并添加了自适应平均池化层，以实现512维的特征表示。

分类网络搭建：

BLS基于随机向量功能连接神经网络和伪逆理论设计，使其能够快速、增量地学习，并且无需重新训练即可重构系统。BLS模型（如图所示）由输入层、特征和增强节点复合层以及输出层组成。在复合层中，使用不同组的随机权重从输入数据生成多个映射特征组，形成特征节点。此外，特征节点被增强为增强节点，每个增强节点使用不同的随机权重生成。输出是通过所有连接到输出层的特征节点和增强节点计算得出的，BLS的一个显著优势是训练和输出结果所需的时间非常少。由于采用伪逆理论，输出层的权重可以通过简单的矩阵运算与上一层的数据进行快速计算和更新。RF和DF被用作BLS模型的输入，用于图像分类。

核心逻辑

本文的复现代码我放在了附件当中，大家可以自行下载下来进行对比实验。下面我将结合伪代码流程图对代码的逻辑进行简单地讲解：

1. 初始化必要的库和函数- numpy, sklearn.preprocessing, numpy.random, scipy.linalg, time, sklearn.metrics- 函数: show_accuracy, tansig, sigmoid, linear, tanh, relu, pinv, shrinkage, sparse_bls2. 定义函数 show_accuracy- 输入: predictLabel, Label- 计算正确预测的数量- 使用混淆矩阵计算灵敏度(Sen), 特异度(Spe), 阴性预测值(npv), 阳性预测值(ppv), AUC- 返回: 准确率, Sen, Spe, npv, ppv, auc, 预测标签, 实际标签3. 定义激活函数 tansig, sigmoid, linear, tanh, relu4. 定义函数 pinv- 输入: A, reg- 计算伪逆矩阵- 返回: 伪逆矩阵5. 定义函数 shrinkage- 输入: a, b- 计算收缩结果- 返回: z6. 定义函数 sparse_bls- 输入: A, b- 设置参数 lam, itrs- 初始化变量- 迭代计算稀疏BLS- 返回: wk7. 定义函数 BLS_AddFeatureEnhanceNodes- 输入: train_x, train_y, test_x, test_y, N1, N2, N3, L, M1, s, c, M2, M3- 初始化变量 u, train_x, FeatureOfInputDataWithBias, OutputOfFeatureMappingLayer, Beta1OfEachWindow, distOfMaxAndMin, minOfEachWindow, train_acc, test_acc, train_time, test_time- 记录开始时间 time_start- 对每个窗口进行以下操作:- 生成随机权重- 计算窗口特征- 预处理特征- 计算稀疏BLS- 计算窗口输出- 记录最大最小值- 规范化窗口输出- 更新输出特征映射层- 生成增强层输入- 计算增强层权重- 计算增强层输出- 计算输出层输入- 计算输出权重- 记录结束时间 time_end- 计算训练时间 trainTime- 计算训练输出- 调用 show_accuracy 计算训练准确率等- 记录训练准确率和时间- 对测试数据进行同样的处理- 记录结束时间 time_end- 计算测试时间 testTime- 计算测试输出- 调用 show_accuracy 计算测试准确率等- 记录测试准确率和时间- 返回: testAcc, trainAcc, Sentr, Spetr, npvtr, ppvtr, auctr, Sen, Spe, npv, ppv, auc, predtt, labeltt, predtr, labeltr

在BLS_Model.py文件中，我实现了基于随机向量功能连接神经网络和伪逆理论的快速增量学习方法。代码首先导入必要的库和函数，包括用于数据预处理、矩阵运算、时间测量和模型评估的库。定义了一些辅助函数，例如激活函数（tansig、sigmoid、linear、tanh、relu），用于计算伪逆矩阵的函数（pinv），以及用于稀疏BLS计算的函数（sparse_bls）。主要的函数是BLS_AddFeatureEnhanceNodes，它实现了BLS模型的训练和测试。首先对输入数据进行预处理，将其标准化并添加偏置项。然后，在特征映射层中，使用不同组的随机权重生成多个映射特征组，形成特征节点，并通过稀疏BLS方法计算每个窗口的权重和输出。接着，在增强层中，生成增强节点，并计算其输出。在输出层中，结合特征映射层和增强层的输出，计算输出权重。训练阶段，记录训练时间，并计算训练输出，通过show_accuracy函数评估模型的训练准确率、灵敏度、特异度、阴性预测值、阳性预测值和AUC。同样地，在测试阶段，对测试数据进行同样的处理，记录测试时间，并评估模型的测试性能。最终，返回测试准确率、训练准确率及其他评估指标。整个过程旨在通过快速、增量地学习，从输入数据中提取特征，并通过简单的矩阵运算进行模型的更新和评估。

1. 导入必要的库和模块
2. 定义函数 listdirInMac:a. 初始化空列表 listsb. 遍历输入列表 list:i. 如果项的第一个字符是 '.'，跳过该项ii. 否则，将该项添加到 listsc. 返回 lists3. 定义函数 catch_features:a. 检查 imagePath 或 maskPath 是否为空:i. 如果为空，抛出异常b. 初始化 settings 字典并设置提取参数c. 创建 RadiomicsFeatureExtractor 实例 extractor，传入 settingsd. 禁用所有特征e. 启用所需的特征类别（shape2D, glcm, glszm, glrlm, ngtdm, gldm）f. 执行特征提取并获取结果 resultg. 初始化空列表 feature_names 和 feature_valuesh. 遍历 result 中的每个键值对:i. 如果键匹配特定的特征类别，打印键和值，将键和值添加到相应的列表i. 打印特征维度和特征名称j. 返回 feature_values 和 feature_names4. 在 main 函数中:a. 定义 image_dir 和 mask_dir 的路径b. 获取患者列表 patient_list 并使用 listdirInMac 函数过滤c. 对 patient_list 进行排序d. 初始化空列表 all_data 和 all_namee. 遍历 patient_list 中的每个患者:i. 打印患者名称ii. 遍历患者文件夹中的每个文件:- 如果文件名是 'data.nii.gz'，设置 imagePath- 如果文件名是 'zw.nii.gz'，设置 maskPathiii. 调用 catch_features 函数提取特征，并保存结果到 all_data，特征名称保存到 all_namef. 打印所有数据和特征名称g. 打开 CSV 文件进行写入:i. 写入列名（特征名称）ii. 写入每行特征数据

下面这个文件起到了一个集成的作用，用于将不同的特征数据加载到内存环境中，并输入到BLS分类器中进行对比实验，从而分析不同特征对医学影像信息的提取性能：

开始
|
|-- 函数: Texture_preparation()
|   |
|   |-- 从 "train_dataset_smote_84.mat" 加载 train_data
|   |-- 打印 train_data 的形状
|   |-- 从 "test_features.mat" 加载 test1_data
|   |-- 打印 test1_data 的形状
|   |-- 从 "train_dataset_smote_84.mat" 加载 train_label
|   |-- 打印 train_label 的形状
|   |-- 从 "test1_flag.mat" 加载 test1_label
|   |-- 删除 test1_label 中的特定行
|   |-- 打印 test1_label 的形状
|   |-- 返回 train_data, train_label, test1_data, test1_label
| 
|-- 主块||-- 定义参数: N1, N2, N3, L, M1, s, c, M2, M3||-- 调用 Texture_preparation() 并将返回值赋给 train_data, train_label, test1_data, test1_label||-- 打印 test1_data|-- 打印 test1_label||-- 调用 BLS_AddFeatureEnhanceNodes() 并将返回值赋给各个指标变量||-- 打印测试和训练的准确率及其他指标
|
结束

在本次实验中，由于原论文的数据涉及病人隐私无法公开，因此我使用了同样类型的医学公开数据集进行实验，链接如下：https://data.mendeley.com/datasets/fxjm8fb6mw

如图所示，我们按照论文步骤，将三种不同类型的特征分别输入到BLS分类器中进行性能的对比实验，可以得到与论文中一致的结果。在到达相似的训练程度时，输入纹理特征的模型相比其他两种特征模型能够在各项指标上取得更好的结果。特别是在医疗领域最为关注的曲线下面积（AUC）这一项中，该模型拉开了比较大的差距。因此我们可以推测出，在基于纹理特征（RF）的BLS模型与基于深度卷积特征（DF）的BLS模型的对比中，前者的结果更容易解释。这是因为RF与BMD高度相关，使得理解输入特征与输出结果之间的关系更加直观。尽管DF可以捕捉高级语义信息，在某些数据类型中可能更有利，但在这个特定任务中，基于RF的BLS模型的分类性能优于基于DF的BLS模型，表明RF在此任务中更为适用。

写在最后

在智慧医疗领域，纹理特征和卷积特征展现出了各自独特的优势和应用。纹理特征通过捕捉图像中微小区域的细节和模式，为医学影像分析提供了精确的局部信息，尤其在细胞结构和组织形态分析中表现突出。而卷积特征则通过深度学习网络的卷积层提取图像的高级特征，从而实现更高层次的语义理解和诊断精度，尤其在复杂疾病的识别和分析上具有显著优势。

尽管纹理特征和卷积特征在技术原理和应用方法上存在差异，但它们并非互斥。相反，它们通常在智慧医疗系统中相辅相成，共同作用于不同的诊断和治疗场景。随着技术的进步和数据的积累，我们可以期待这些特征提取技术在医学影像处理中的进一步融合和优化，为医疗健康带来更加准确和高效的解决方案。

详细复现过程的项目源码、数据和预训练好的模型可从该文章下方附件获取。