【机器学习】一文掌握逻辑回归全部核心点(下)。

逻辑回归核心点-下

1、引言
2、逻辑回归核心点
- 2.5 特征工程
- - 2.5.1 特征缩放
  - 2.5.2 多项式特征
- 2.6 多分类
- - 2.6.1 一对多（One-vs-Rest，OvR）策略
  - 2.6.2 一对一（One-vs-One，OvO）策略
  - 2.6.2 比较
- 2.7 评估指标
- - 2.7.1 准确率
  - 2.7.2 精确率
  - 2.7.3 召回率
  - 2.7.4 F1分数
  - 2.7.5 混淆矩阵（Confusion Matrix）
  - 2.7.6 均方误差（Mean Squared Error, MSE）
  - 2.7.7 均方根误差（Root Mean Squared Error, RMSE）
  - 2.7.8 平均绝对误差（Mean Absolute Error, MAE）
  - 2.7.9 R²（Coefficient of Determination）
3、总结

1、引言

接着上篇《【机器学习】一文掌握逻辑回归全部核心点(上)。》我们继续来聊逻辑回归的核心要点。

2、逻辑回归核心点

2.5 特征工程

2.5.1 特征缩放

归一化（Normalization）：将数据视为向量，再将向量除以其范数（通常采用L2范数），有量纲，对应sklearn中normalize方法。它针对数据集中单个样本进行缩放，适合依赖样本间相似性的算法。但会改变数据集中特征数值的分布，因此不适合依赖特征预测的算法。
标准化（Standardization）：对数据大小按照标准方法进行调整，使值位于特定范围内，无量纲。这主要针对数据集中单个特征进行缩放。标准化方法有两种：
- Min-Max标准化：最大-最小值区间缩放，即减去最小值，再除以极差。标准化后数据位于[0,1]内，无量纲，对应sklearn中minmax_scale方法。
- Z-score标准化：即减去均值，再除以标准差。这是最常用的标准化方法。
特征缩放的优势：
- 帮助梯度下降法更快速地收敛。
- 避免“NaN 陷阱”，即模型中的一个数值因超出浮点精确率限制而变成NaN，导致所有其他数值也因数学运算而变成NaN。
- 使模型为每个特征确定合适的权重，避免模型对范围较大的特征投入过多精力。

2.5.2 多项式特征

多项式特征生成
- 特征乘积：这是最简单的方法，通过将两个或多个原始特征的乘积作为新的特征。例如，如果有两个特征x1和x2，可以生成一个新的特征x1*x2。这种方法在逻辑回归中特别有用，因为它可以帮助捕捉特征之间的交互作用。
- 幂次特征：通过将原始特征提升到不同的幂次来生成新的特征。例如，对于一个特征x，可以生成x^2、x3等作为新的特征。这有助于捕捉数据的非线性关系。
- 多项式扩展：使用像sklearn.preprocessing.PolynomialFeatures这样的工具来进行多项式扩展。这种工具可以自动生成所有可能的特征组合和幂次，从而创建一个高维的特征空间。
多项式特征应用
- 回归问题：在回归问题中，多项式特征可以帮助捕捉数据中的非线性关系，从而提高回归模型的准确性。例如，在预测房价时，房屋面积的平方或立方可能是一个重要的特征。
- 分类问题：在分类问题中，多项式特征同样可以帮助提高模型的性能。通过捕捉特征间的交互作用和非线性关系，多项式特征可以增强分类器的判别能力。
- 特征选择：多项式特征生成后，通常需要进行特征选择，以消除冗余和无关的特征，提高模型的泛化能力。这可以通过使用特征选择算法或基于模型的特征选择方法来实现。

2.6 多分类

一对多（One-vs-Rest，OvR）和一对一（One-vs-One，OvO）是用于处理多类别分类问题的两种不同策略。这两种策略都是基于二分类器的组合，将多类别问题转化为多个二分类问题。

2.6.1 一对多（One-vs-Rest，OvR）策略

在一对多策略中，对于具有个类别的问题，每个类别都训练一个二分类器。对于第个类别，训练一个二分类器，将该类别的样本标记为正类别（1），其他所有类别的样本标记为负类别（0）。因此，针对每个类别都有一个独立的二分类器。

在测试阶段，将样本输入到所有的二分类器中，最终选择预测概率最高的类别作为最终的预测结果。一对多策略的优势在于每个二分类器只需关注一个类别，相对简单和高效。

2.6.2 一对一（One-vs-One，OvO）策略

在一对一策略中，对于具有个类别的问题，每两个类别之间训练一个二分类器。因此，对于个类别，需要个二分类器。对于每个二分类器，只包含两个类别的样本，其他所有类别的样本都被忽略。

在测试阶段，将样本输入到所有的二分类器中，每个分类器产生一个预测结果。最终通过投票或其他集成方法，选择得票最多的类别作为最终的预测结果。

2.6.2 比较

计算复杂度：一对多策略通常比一对一策略更快，因为需要训练的二分类器数量较少。
存储开销：一对一策略在类别较多时可能需要较大的存储开销，因为需要存储多个二分类器。
类别不平衡：一对多策略在处理类别不平衡时可能更稳健，因为每个分类器关注一个类别。
预测时间：一对多策略的预测时间通常更短，因为只需进行次预测。

选择使用一对多还是一对一策略通常取决于具体的问题和数据集。在实际应用中，一对多策略更为常见。某些算法，如支持向量机（SVM），在类别较多时可能更适合使用一对一策略。

2.7 评估指标

2.7.1 准确率

准确率是分类任务中最常用的评估指标之一，它表示模型正确预测的样本数与总样本数之比。然而，当数据集存在类别不平衡问题时，准确率可能不是一个很好的指标。

公式：

$\text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}}$

代码示例

from sklearn.metrics import accuracy_score  y_true = [0, 1, 1, 0, 1, 1]  
y_pred = [0, 1, 0, 0, 1, 1]  accuracy = accuracy_score(y_true, y_pred)  
print(f"Accuracy: {accuracy}")

2.7.2 精确率

精确率是指模型预测为正例的样本中，真正为正例的样本所占的比例。它有助于了解模型在预测为正例的样本中的准确性。
公式：
$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$
代码示例

from sklearn.metrics import precision_score  y_true = [0, 1, 1, 0, 1, 1]  
y_pred = [0, 1, 0, 0, 1, 1]  precision = precision_score(y_true, y_pred)  
print(f"Precision: {precision}")

2.7.3 召回率

召回率是指所有真正的正例样本中，被模型正确预测为正例的样本所占的比例。它有助于了解模型在识别所有正例样本时的能力。

公式：
$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$

代码示例

from sklearn.metrics import recall_score  y_true = [0, 1, 1, 0, 1, 1]  
y_pred = [0, 1, 0, 0, 1, 1]  recall = recall_score(y_true, y_pred)  
print(f"Recall: {recall}")

2.7.4 F1分数

F1 分数是精确率和召回率的调和平均值，用于综合考虑精确率和召回率的表现。当精确率和召回率都很高时，F1 分数也会很高。
公式：

$\times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$

代码示例

from sklearn.metrics import f1_score  y_true = [0, 1, 1, 0, 1, 1]  
y_pred = [0, 1, 0, 0, 1, 1]  f1 = f1_score(y_true, y_pred)  
print(f"F1 Score: {f1}")

2.7.5 混淆矩阵（Confusion Matrix）

混淆矩阵展示了模型预测结果的实际情况，包括真正例（TP）、假正例（FP）、真反例（TN）和假反例（FN）。通过混淆矩阵，可以直观地了解模型在各种情况下的表现。

代码示例

from sklearn.metrics import confusion_matrix  y_true = [0, 1, 1, 0, 1, 1]  
y_pred = [0, 1, 0, 0, 1, 1]  cm = confusion_matrix(y_true, y_pred)  
print(f"Confusion Matrix:\n{cm}")

2.7.6 均方误差（Mean Squared Error, MSE）

MSE 是回归任务中常用的评估指标，它计算了模型预测值与真实值之间平方差的平均值。MSE 越小，说明模型的预测性能越好。

$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$

代码示例

from sklearn.metrics import mean_squared_error  y_true = [3, -0.5, 2, 7]  
y_pred = [2.5, 0.0, 2, 8]  mse = mean_squared_error(y_true, y_pred)  
print(f"MSE: {mse}")

2.7.7 均方根误差（Root Mean Squared Error, RMSE）

RMSE 是 MSE 的平方根，它同样用于衡量模型预测值与真实值之间的误差。与 MSE 相比，RMSE 的单位与真实值的单位相同，更容易解释。
公式：

$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2} \$

代码示例

from sklearn.metrics import mean_squared_error
import numpy as npy_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]mse = mean_squared_error(y_true, y_pred)
rmse = np.sqrt(mse)print(f"RMSE: {rmse}")