线性回归解决连续值的回归预测；而逻辑回归解决离散值的分类预测；

算法推导

逻辑回归可以看作是两部分，以0、1分类问题说明；

• 线性回归部分

  • 对于一个样本$x_i$，有n个特征$x_i^{(1)}$、$x_i^{(2)}$…$x_i^{(n)}$，每个特征有对应的权重${\theta }_{(j)}$，则该样本所有特征的线性加权求和为:$$h_{\theta }(x_i)=\sum _j^n{\theta }_j{x}_i^{(j)}+{\theta }_0{x}_i^{(0)}=>{\theta }^T{x}_i;其中x_i^{(0)}=1$$
    $$\theta 为权重列向量，x_i为第i个样本的列向量$$

• 逻辑函数部分

  • 回归拟合的值$h_{\theta }(x_i)$ 是一个连续值，需要转为$[0,1]$之间的概率；
  • 逻辑函数$$f(x)=\frac{1}{1+e^{-x}}$$ 将$h_{\theta }(x_i)$ 连续值经过该逻辑函数映射到0-1之间

• 由以上两部分，可以得到逻辑回归的预测函数：$$y_{pred}(x_i)=\frac{1}{1+e^{-{\theta }^T{x}_i}}$$ 这里的预测值在$0-1$之间，可以表示样本$x_i$属于某类别的概率；

• 概率的似然函数$$f=\prod _{i=1}^m{y}_{pred}^{y_{true}}(1-y_{pred}{)}^{(1-y_{true})}$$ 尽量让属于某类的概率最大，即极大似然估计求解；两边取对数，并乘以-1，得到损失函数：$$L=-\sum _{i=1}^m(y_{true}log(y_{pred})+(1-y_{true})log(1-y_{pred}))$$求该损失函数的最小值。

• 梯度下降法，优化损失函数，得到权重更新公式：$${\theta }_j={\theta }_j-\alpha \sum _{i=1}^m(y_{pred}(x_i)-y_{true}(x_i))x_i^j$$