机器学习基本术语详解

1. 特征（Feature）

• 定义：数据的属性或变量，用于描述样本的某个方面。
• 作用：模型通过学习特征与目标之间的关系进行预测。
• 示例：
  • 预测房价时，特征可以是 面积、地段、房龄。
  • 图像识别中，特征可以是 像素值、颜色直方图。
• 关键点：
  • 特征工程（Feature Engineering）：通过变换、组合特征提升模型性能（如将“年龄”分桶为“青年/中年/老年”）。
  • 特征选择（Feature Selection）：剔除无关或冗余特征（如用相关系数筛选）。

2. 样本（Sample / Instance）

• 定义：数据集中的一条具体数据，由一组特征及其可能的标签组成。
• 示例：
  • 监督学习：一条样本 = 特征 + 标签（如 {面积:80㎡, 地段:市中心, 房价:500万}）。
  • 无监督学习：一条样本 = 仅特征（如 {用户A, 点击次数:5, 停留时长:10分钟}）。
• 关键点：
  • 样本是模型的“学习材料”，数据量越大，模型通常表现越好（但需保证质量）。

3. 训练集（Training Set）

• 定义：用于训练模型的数据子集，模型通过拟合这些数据学习规律。
• 占比：通常占全量数据的 70%~80%。
• 关键点：
  • 过拟合风险：模型在训练集上表现太好（如背答案），但在新数据上表现差。
  • 数据增强（Data Augmentation）：通过旋转图像、添加噪声等方式扩充训练集（常见于深度学习）。

4. 测试集（Test Set）

• 定义：用于评估模型泛化能力的独立数据子集，模拟真实场景。
• 占比：通常占 20%~30%，且不能参与训练。
• 关键点：
  • 测试集是模型的“期末考试”，反映其实际应用效果。
  • 数据泄漏（Data Leakage）：若测试集信息混入训练集（如全局归一化），会导致评估失真。

5. 监督学习（Supervised Learning）

• 定义：数据带有标签（Label），模型学习从特征到标签的映射关系。
• 典型任务：
  • 分类（Classification）：输出离散值（如垃圾邮件检测：0/1）。
  • 回归（Regression）：输出连续值（如房价预测：500.3万）。
• 示例算法：
  • 线性回归、决策树、支持向量机（SVM）、神经网络。

6. 无监督学习（Unsupervised Learning）

• 定义：数据无标签，模型自行发现数据中的模式或结构。
• 典型任务：
  • 聚类（Clustering）：将相似样本分组（如客户分群）。
  • 降维（Dimensionality Reduction）：压缩特征数量（如PCA）。
  • 异常检测（Anomaly Detection）：识别离群点（如信用卡欺诈）。
• 示例算法：
  • K-Means、DBSCAN、主成分分析（PCA）、自编码器（Autoencoder）。

---

术语对比表

术语	定义	示例
特征	数据的属性	房价预测中的“面积”
样本	一条具体数据	{面积:80㎡, 房价:500万}
训练集	用于训练模型的数据	70%的历史房价数据
测试集	用于评估模型的数据	30%的保留房价数据
监督学习	数据带标签的学习	分类（猫 vs 狗）
无监督学习	数据无标签的学习	聚类（用户分群）

---

常见问题

1. 训练集和测试集为什么要分开？
   • 防止模型“作弊”（过拟合），确保评估结果反映真实性能。
2. 无监督学习有什么用？
   • 探索数据内在结构（如市场细分）、预处理数据（如降维后再分类）。
3. 特征越多越好吗？
   • 不是！无关特征会引入噪声（“维度诅咒”），需通过特征选择/降维优化。

---

总结

• 特征是数据的描述属性，样本是具体实例。
• 训练集用于学习，测试集用于验证。
• 监督学习需要标签，解决预测问题；无监督学习无标签，解决模式发现问题。