本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记
下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！

1. 线性回归

• 第一章：线性回归原理推导
  • 1-回归问题概述
  • 2-误差项定义
  • 3-独立同分布的意义
  • 4-似然函数的作用
  • 5-参数求解
  • 6-梯度下降通俗解释
  • 7-参数更新方法
  • 8-优化参数设置
• 第二章：线性回归代码实现
  • 1-线性回归整体模块概述
  • 2-初始化步骤
  • 3-实现梯度下降优化模块
  • 4-损失与预测模块
  • 5-数据与标签定义
  • 6-训练线性回归模型
  • 7-得到线性回归方程
  • 8-整体流程debug解读
  • 9-多特征回归模型
  • 10-非线性回归
• 第四章：线性回归实验分析
  • 1-实验目标分析
  • 2-参数直接求解方法
  • 3-预处理对结果的影响
  • 4-梯度下降模块
  • 5-学习率对结果的影响
  • 6-随机梯度下降得到的效果
  • 7-MiniBatch方法
  • 8-不同策略效果对比
  • 9-多项式回归
  • 10-模型复杂度
  • 11-样本数量对结果的影响
  • 12-正则化的作用
  • 13-岭回归与lasso
  • 14-实验总结

2. 模型评估

• 第三章：模型评估方法
  • 1-Sklearn工具包简介
  • 2-数据集切分
  • 3-交叉验证的作用
  • 4-交叉验证实验分析
  • 5-混淆矩阵
  • 6-评估指标对比分析
  • 7-阈值对结果的影响
  • 8-ROC曲线

3. 逻辑回归

• 第五章：逻辑回归原理推导
  • 1-逻辑回归算法原理
  • 2-化简与求解
• 第六章：逻辑回归代码实现
  • 1-多分类逻辑回归整体思路
  • 2-训练模块功能
  • 3-完成预测模块
  • 4-优化目标定义
  • 5-迭代优化参数
  • 6-梯度计算
  • 7-得出最终结果
  • 8-鸢尾花数据集多分类任务
  • 9-训练多分类模型
  • 10-准备测试数据
  • 11-决策边界绘制
  • 12-非线性决策边界
• 第七章：逻辑回归实验分析

4. 聚类算法

• 第八章：聚类算法-Kmeans&Dbscan原理
  • 1-KMEANS算法概述
  • 2-KMEANS工作流程
  • 3-KMEANS迭代可视化展示
  • 4-DBSCAN聚类算法
  • 5-DBSCAN工作流程
  • 6-DBSCAN可视化展示
• 第九章：Kmeans代码实现
  • 1-Kmeans算法模块概述
  • 2-计算得到簇中心点
  • 3-样本点归属划分
  • 4-算法迭代更新
  • 5-鸢尾花数据集聚类任务
  • 6-聚类效果展示
• 第十章：聚类算法实验分析

5. 决策树

• 第十一章：决策树原理
  • 1-决策树算法概述
  • 2-熵的作用
  • 3-信息增益原理
  • 4-决策树构造实例
  • 5-信息增益率与gini系数
  • 6-预剪枝方法
  • 7-后剪枝方法
  • 8-回归问题解决
• 第十二章：决策树代码实现
  • 1-整体模块概述
  • 2-递归生成树节点
  • 3-整体框架逻辑
  • 4-熵值计算
  • 5-数据集切分
  • 6-完成树模型构建
  • 7-测试算法效果
• 第十三章：决策树实验分析

6. 集成算法

• 第十四章：集成算法原理
  • 1-随机森林算法原理
  • 2-随机森林优势与特征重要性指标
  • 3-提升算法概述
  • 4-stacking堆叠模型
• 第十五章：集成算法实验分析

7. 支持向量机

• 第十六章：支持向量机原理推导
  • 1-支持向量机要解决的问题
  • 2-距离与数据定义
  • 3-目标函数推导
  • 4-拉格朗日乘子法求解
  • 5-化简最终目标函数
  • 6-求解决策方程
  • 7-软间隔优化
  • 8-核函数的作用
  • 9-知识点总结
• 第十七章：支持向量机实验分析

8. 神经网络

• 第十八章：神经网络算法原理
  • 1-深度学习要解决的问题
  • 2-深度学习应用领域
  • 3-计算机视觉任务
  • 4-视觉任务中遇到的问题
  • 5-得分函数
  • 6-损失函数的作用
  • 7-前向传播整体流程
  • 8-返向传播计算方法
  • 9-神经网络整体架构
  • 10-神经网络架构细节
  • 11-神经元个数对结果的影响
  • 12-正则化与激活函数
  • 13-神经网络过拟合解决方法
• 第十九章：神经网络代码实现

9. 贝叶斯算法

• 第二十章：贝叶斯算法原理
  • 1-贝叶斯要解决的问题
  • 2-贝叶斯公式推导
  • 3-拼写纠错实例
  • 4-垃圾邮件过滤实例
• 第二十一章：贝叶斯代码实现

10. 关联规则

• 第二十二章：关联规则实战分析
• 第二十三章：关联规则代码实现

11. 词向量word2vec

• 第二十四章：词向量word2vec通俗解读
• 第二十五章：代码实现word2vec词向量模型

参考资料：

1. 机器学习导论 Ethem Alpaydin（机械工业出版社）
2. 这也太全了！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！