炼数成金数据分析课程---16、机器学习中的分类算法（交叉内容，后面要重点看）
一、总结
一句话总结：
大纲+实例快速学习法
主要讲解常用分类算法(如Knn、决策树、贝叶斯分类器等)的原理及python代码实现
1、什么是分类？
分类模型：输入样本的属性值，输出对应的类别，将每个样本映射到预先定义好的类别
2、常用分类算法？
-Knn算法
-决策树
-贝叶斯分类器
-神经网络
-Knn算法 -决策树 -贝叶斯分类器 -支持向量机 -神经网络
3、分类算法中的决策树的主要思想是什么？
空间划分：看图
4、分类算法中的决策树的介绍？
树中每一个非叶节点表示一个决策，该决策的值导致不同的决策结果（叶节点）或者影响后面的决策选择。
根据给定的未知分类的元组X，根据其属性值跟踪一条由根节点到叶节点的路径，该叶节点就是该元组的分类结果预测。
5、构建决策树的算法的本质是什么？
贪心：在构建决策树时，这两类算法的流程基本一样，都采用贪心方法，自顶而下递归构建决 策树
6、贪心算法如何构建决策树？
1.创建一个结点N。如果D中的元组都在同一个类别C中，则N作为叶结点，以C标记；如果属性列表为空，则N作为叶节点，以D中最多的类别C作为标记。
2.根据分裂准则找出“最好”的分裂属性A，并用该分裂属性标记N。1）A是离散的，则A的每个已知值都产生一个分支；2）A是连续的，则产生Ass和A>s两个分支；3）若A是连续的，并且必须产生二叉树，则产生AEA1和AEA2两个分支，其中A1，A2非空且A1UA2=A
3.若给定的分支中的元组非空，对于D的每一个分支Dj，重复步骤1，2
7、分类算法中的决策树的 属性选择 如何度量？
如果我们根据分裂准则把D划分为较小的分区，最好的情况是每个分区都是纯的，即落在一个给定分区的所有元组都是相同的类。最好的分裂准则就是令到每个分区尽量的纯。
属性选择度量给学习集中的每个属性提供了评定。具有最好度量得分的属性被选为分裂属性。
8、决策树的剪枝的两种常用方法是什么？
先剪枝：通过设定一定的阀值来停止树的生长例如，在构建树模型时，使用信息增益、基尼指数来度量划分的优劣。可以预先设定一个阀值，当划分一个结点的元组到时低于预设的阀值时，停止改子集的划分
后剪枝：等树完全生成后再通过删除结点去修剪决策树。由于先剪枝中，选择合适的阀值存在一定的困难，所以后剪枝更加常用
9、python中使用决策分类算法常需要借助哪些包？
主要是python的sklearn库
import numpy as np from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import precision_recall_curve from sklearn.metrics import classification_report from sklearn.naive_bayes import BernoulliNB from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cross_validation import train_test_split import matplotlib.pyplot as plt import pandas as pd
二、内容在总结中
决策树--空间分割
week13
)
)
