参考：线性回归 & 逻辑回归

问题

1、线性回归（Linear Regression）和逻辑回归（Logistic Regression）有什么联系？

2、逻辑回归的“逻辑”、“回归是什么意思”？

回答1

线性回归假设因变量和自变量之间是线性关系，一条直线。

线性回归常用的参数估计是最小二乘法，期望找到一条直线，使样本点和直线的欧氏距离之和最小。

逻辑回归是广义线性回归中的一种以对数几率函数为联系函数的特例，使用的参数估计方法是极大似然法，通过最大化预测值属于实际值的概率来最小化预测值和实际值之间的“距离”。

线性回归和逻辑回归都是广义线性回归的特例，根据联系函数的不同，以不同的方式映射，如对数、指数。

线性回归没有联系函数或不起作用，逻辑回归的联系函数是对数几率函数，属于Sigmoid函数。

线性回归只能用于回归问题，逻辑回归用于分类问题（可由二分类推广至多分类）。

对于回归问题，最常用的度量标准就是均方差，均方差是指预测值和实际值之间的平均方差，平均方差越小，模型性能越优。

回答2

Logistic并非逻辑的意思，其语义来自Logarithm：对数。更好的翻译应该是“对数几率回归”。

对数几率回归的“回归”并非针对可以应用的问题，而是来自其父级：广义线性回归模型。对数几率回归之所以用于离散的分类而不是连续的回归，是因为它将本来连续的输出，通过对数几率函数，映射到了非线性的{0，1}空间上，所以它可以有效地解决二分类问题（甚至可推广至多分类）。

regression的前缀是恢复（recover）、重复（repeat）的意思，gress的意思是行走。

类似于均值回归，回归是一个过程，这个过程是为了找到最佳描述因变量和自变量关系的模型。

想象这样一个场景，一堆看似无规律的数据在你的图像上肆无忌惮的乱走，我们要做的是找出其中的规律模型，把他们行走的趋势和轨迹“重新组合起来”。