逻辑回归

二分类情况

对于二分类问题，在线性可分的情况下，试图构建一个判别式$W^{\prime }{X}^{\prime }+b$，为了便于操作将判别式增广为$WX$。
$$W{x}_i=\{\begin{array}{l}>0,x_i\in w_1,Y=1\\ <0,x_i\in w_2,Y=0\end{array}$$
为了将其表示为概率的方式我们对概率建模，将其缩放为$[0,1]$的范围上，所以我们利用sigmoid函数$\frac{1}{1+e^{-x}}$。

由此我们设分类为$w_1$的概率为
$$P(Y=1|x)=\frac{1}{1+e^{-Wx}}$$
设：
$$\begin{gathered} P(Y=1|x_i)=P(x_i) \\ P(Y=0|x_i)=1-P(x_i) \end{gathered}$$
由此构建似然函数：
$$L(W)=\prod [P(x_i){]}^{y_i}[1-P(x_i){]}^{(1-y_i)}$$

对似然函数取对数：
$$\begin{array}{rl}In(L(W))& =\ln (\prod [P(x_i){]}^{y_i}[1-P(x_i){]}^{(1-y_i)})\\ & =\sum (\ln ([P(x_i){]}^{y_i})+\ln ([1-P(x_i){]}^{(1-y_i)}))\\ & =\sum (y_i\ln ([P(x_i)])+(1-y_i)\ln ([1-P(x_i)]))\\ & =\sum [y_i\cdot W{x}_i-\ln (1+e^{W{x}_i})]\end{array}$$
为了最大化似然，即最小化似然的负数

使似然除以样本总数n（减少梯度爆炸出现的概率），再乘以-1（将求最大值问题转化为求最小值问题
$$J(W)=-\frac{1}{N}\sum (\ln ([P(x_i){]}^{y_i})+\ln ([1-P(x_i){]}^{(1-y_i)}))$$
采用梯度下降的方法：
$$\frac{\partial J(W)}{\partial W}=-\frac{1}{N}\sum (y_i-P(x_i))x_i$$
更新$W$:
$$W^{k+1}=W^k-\alpha \frac{\partial J(W)}{\partial W},k为迭代次数,\alpha 为学习率$$
当$||W^{k+1}-W^k||$小于阈值时或者当$k$达到最大迭代次数时停止迭代。

逻辑回归是在线性回归的基础上加了一个 Sigmoid 函数（非线形）映射，使得逻辑回归称为了一个优秀的分类算法。本质上来说，两者都属于广义线性模型，但他们两个要解决的问题不一样，逻辑回归解决的是分类问题，输出的是离散值，线性回归解决的是回归问题，输出的连续值。

多分类问题

为了实现多分类，我们引入一个softmax函数：$\text{softmax}(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$来代替Sigmoid函数，同构建模型：$Y=W{X}_i$，其中$Y$为一个列向量，第$i$个数表示第$i$个类别的概率。

其中修改损失函数:
J ( W ) = − 1 n [ ∑ i = 1 n ∑ j = 1 k 1 { j ( i ) = j } ⋅ log ⁡ ( e W x i ∑ l = 1 k e W x i ) ] J(W)=-\frac{1}{n}\left[\sum_{i=1}^n\sum_{j=1}^k 1_{\{j^{(i)}=j\}}\cdot\log (\frac{e^{Wx_i}}{\sum_{l=1}^k e^{Wx_i}})\right] J(W)=−n1​[i=1∑n​j=1∑k​1{j(i)=j}​⋅log(∑l=1k​eWxi​eWxi​​)]
其中 1 { j ( i ) = j } 1_{\{j^{(i)}=j\}} 1{j(i)=j}​表示第$i$类分类正确时为1，否则为0，$k$为类别数。