机器学习---逻辑回归算法

1、逻辑回归

逻辑回归又叫logistic回归分析，是一种广义的线性回归分析模型。线性回归要求因变量必须是连续性的数据变量，逻辑回归要求因变量必须是分类变量，可以是二分类或者多分类(多分类都可以归结到二分类问题)，逻辑回归的输出是0~1之间的概率。比如要分析年龄，性别，身高，饮食习惯对于体重的影响，如果体重是实际的重量，那么就要使用线性回归。如果将体重分类，分成了高，中，低三类，就要使用逻辑回归进行分类。

逻辑回归公式： $f(z)=\frac{1}{1+e^{-z}}$

其中，e是自然对数,无限不循环小数， $e\approx 2.718281828459...$

逻辑回归公式又叫逻辑函数（Logistic function）或者S形函数（Sigmoid function）。逻辑回归公式的图像如下：

即当z=0时， $f(z)=0.5$ ，当 $z \to +\infty$ 时， $f(z)$ 趋近于1，当 $z \to -\infty$ 时， $f(z)$ 趋近于0。逻辑回归的输出 $f(z)$ 就是位于0~1之间的概率，假设现在判断病人是否生病，得到的z=2对应的

$f(z)$ =0.7我们可以归结为生病，如果z=-2对应的 $f(z)$ =0.1我们就可以认为不生病。当z=0时，

$f(z)$ =0.5是决策的边界。

假设 $z=w_{0}+w_{1}x_{1}+w_{2}x_{2}$ ， $w_{0}$ ， $w_{1}$ ， $w_{2}$ 都大于零，那么当z=0时， $f(z)$ =0.5。也就是

$w_{0}+w_{1}x_{1}+w_{2}x_{2}=0$ 时， $f(z)$ =0.5，当z=0时使用图像来表达两个自变量的关系为：

图中A、B、C、D、E点都表示有 $x_{1}$ ， $x_{2}$ 两个维度的数据，现要使用逻辑回归对五个点分成两类：I和II类，A点和B点都在直线上，对应的z值是0，那么逻辑回归结果 $f(z)$ =0.5，将A,B两点划分为I类和II类都可以，假设我们规定当z>=0属于I类，z<0属于II类，那么A,B属于I类。C点位于直线的上方，对应的z值要大于零，反映到S形函数上对应的 $f(z)$ >0.5属于I类，同理，E也属于I类，D点属于II类。图中E点的z值远大于C点的z值，反映到S形函数中，E点属于I类的概率比C点属于I类的概率要大的多。训练逻辑回归模型，在这里就是训练出一条直线将两个类别的点隔开。如果维度是3,那么训练逻辑回归模型就是训练一个平面将两个类别的点隔开。如果维度大于3,那么训练逻辑回归模型就是训练一个超平面将两个类别的点隔开。