1. 如何训练回归问题

第一步：定义模型

• 线性模型： $\hat{y}=b+{\sum }_j{w}_j{x}_j$
  • 其中，( w ) 是权重，( b ) 是偏差。

第二步：确定损失函数

• 损失函数：实际值和预测值的差平方和
  $$L=\sum _{i=1}^n({\hat{y}}_i-(b+\sum _j{w}_j{x}_{ij}){)}^2$$

第三步：寻找最好的函数

目的：

• 找到最好的函数，目的是找到参数 ( w ) 和 ( b ) 使损失函数最小。

方法：

• 梯度下降法
  • 计算当前参数 ( w ) 和 ( b ) 的梯度。
  • 分别对 ( w ) 和 ( b ) 计算偏导数。
  • 更新参数：
    $$w^{\prime }=w-\eta \cdot \frac{\partial L}{\partial w},b^{\prime }=b-\eta \cdot \frac{\partial L}{\partial b}$$
    其中，$\eta$ 是学习率。

说明：

• 线性模型没有局部最优解，但学习率选择会影响参数是否能跨过最优解。

---

2. 泛化能力

欠拟合

• 概念：没有训练到位，训练结果和测试结果都不好。
• 原因：迭代次数少，模型过于简单。
• 解决方法：引入新参数，提高模型复杂度。
• 特点：偏差大，方差小。

过拟合

• 概念：训练结果很好，但测试结果不好。
• 原因：为了迎合训练数据，引入高次项，导致模型过于复杂，曲线变得过于曲折。
  • 权重影响模型的平滑度，方法影响的是上下平移。
• 解决方法：
  • 增加训练数据，复杂模型更容易找到最好的函数。
  • 人工降维，减少模型复杂度。
  • 引入正则化参数，减小权重，使曲线平滑。
  • 使用 Dropout 和 Early Stop 等技术。
• 特点：偏差小，方差大。

---

3. 误差来源

方差（Variance）

• 定义：训练结果与训练结果平均值之间的方差。
• 描述：反映了模型的抗扰动能力，训练结果的分散程度。

偏差（Bias）

• 定义：训练结果与真实值的偏差。
• 描述：刻画了模型的拟合能力，训练结果偏离正确结果的程度。

总结：

• 模型简单：
  • Function set 小 → 方差小 → 偏差大 → 曲线平滑 → 欠拟合 → 通过调整模型复杂度解决。
• 模型复杂：
  • Function set 大 → 方差大 → 偏差小 → 曲线陡峭 → 过拟合 → 通过正则化解决。

---

4. 正则化

目的

• 在最小化损失函数的同时，减小权重的值。
• 权重越小，曲线越平滑，输入变化对结果的影响较小。
• 控制权重的更新，减小模型复杂度。

实现方法：

• 在损失函数中加入正则化项：$L_{\text{reg}}=L+\lambda {\sum }_i{w}_i^2$
• 其中，$\lambda$ 是正则化参数，控制权重的大小
• 因为要最小化Loss，所以权重也会被最小化

5. 交叉验证

定义：

• 交叉验证：划分训练集和测试集，模拟测试结果的不可预测性，避免过拟合。

目的：

• 使用验证集验证训练结果，并根据验证结果调整模型，确保泛化能力。

步骤：

1. 将数据划分为训练集和验证集。
2. 使用验证集模拟测试集，验证训练结果。
3. 根据验证集上的表现调整模型。
4. 使用整个训练集重新训练模型，得到最终的模型。

注意：

• 验证集调整后，不应根据测试集的结果再做调整，即便你忍不住。

---