文章目录
- 1. XGBoost 原理
- 核心思想
- 关键技术点
- 2. LightGBM 原理
- 核心思想
- 关键技术点
- 3. XGBoost vs LightGBM 对比
- 4. 适用场景选择
- 5. 总结
- 1. 数据准备
- 2. XGBoost 示例
- 安装库
- 代码实现
- 3. LightGBM 示例
- 安装库
- 代码实现
- 4. 关键参数对比
- 5. 注意事项
- 6. 输出示例
XGBoost 和 LightGBM 是两种基于梯度提升决策树（GBDT）的高效机器学习算法，广泛应用于分类、回归和排序任务。以下是它们的核心原理和对比：
1. XGBoost 原理
核心思想
XGBoost（eXtreme Gradient Boosting）是一种基于梯度提升框架的集成学习算法，通过迭代训练多个弱学习器（决策树），逐步降低预测误差。
关键技术点
-
正则化目标函数
目标函数 = 损失函数（如均方误差） + 正则化项（控制模型复杂度）：
O b j
