本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第3章 线性模型

线性模型

线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本特征的线性组合来进行预测的模型，给定一个$D$维样本$\mathbf{x}=[x_1,...,x_D{]}^T$，其线性组合函数为

在分类问题中，由于输出目标$y$是一些离散的标签，而$f(\mathbf{x};\mathbf{\omega })$的值域为实数，因此无法直接用$f(\mathbf{x};\mathbf{\omega })$来进行预测，需要引入一个非线性的决策函数$g(\cdot )$来预测输出目标

线性判别函数和决策边界

从公式(3.3)可知，一个线性分类模型或线性分类器，是由一个或多个线性的判别函数$f(\mathbf{x};\mathbf{\omega })={\mathbf{\omega }}^{T}x+b$和非线性的决策函数$g(\cdot )$组成，我们首先考虑二分类的情况，然后再扩展到多分类的情况。

二分类

二分类问题的类别标签$y$只有两种取值，通常可以设为$+1,-1$或$0,1$。在二分类问题中，常用正例和负例来分别表示属于类别+1和-1的样本。
在二分类问题中，我们只需要一个线性判别函数$f(\mathbf{x};\mathbf{\omega })={\mathbf{\omega }}^{T}x+b$。特征空间$R^D$中所有满足$f(\mathbf{x};\mathbf{\omega })=0$的点组成一个分割超平面，称为决策边界或决策平面。决策边界将特征空间一分为二，划分成两个区域，每个区域对应一个类别。
所谓“线性分类模型”就是指其决策边界是线性超平面。在特征空间中，决策平面与权重向量$\mathbf{\omega }$正交，特征空间中每个样本点到决策平面的有向距离为

图3.2给出了一个二分类问题的线性决策边界示例，其中样本特征向量$\mathbf{x}=[x1,x2]$,权重向量$\mathbf{\omega }=[\omega 1,\omega 2]$。

多分类

这里解释一下这幅图：
（a）如果有C个类别，那么有C个二分类器，每个二分类器有两种类别（是这个类、不是这个类），以中间区域为例，$f_1$显示其不属于类别1，同理，也不属于类别2、3，所以它是无法判断类别的区域。
（b）如果有C个类别，就需要$C(C-1)/2$个二分类器，每个分类器有两种类别（是这个类，是那个类），比如说$\omega 2$和$\omega 3$就训练出了一个分类器$f_{2}3$，划分第二类或者第三类，而中间部分根据分类器投票结果得到，由于投票可能出现平票的情况，如图就是类别1、2、3各一票，因此也无法判断类别。
（c）C个分类器，但是在难以确定类别的区域，使用argmax来决策，确定为分数最高的类别。

Logistic回归

参数学习

Softmax回归

参数学习

感知器

参数学习

这里需要解释更新权重的过程：每次分错一个样本$(\mathbf{x},y)$时，即$y{\mathbf{\omega }}^T\mathbf{x}<0$，用$\hat{\mathbf{\omega }}=\mathbf{\omega }+y\mathbf{x}$来更新权重，这样的话，当再次分这个样本的时候，$y\hat{\mathbf{\omega }}\mathbf{x}=y(\mathbf{\omega }+y\mathbf{x}{)}^T\mathbf{x}=y{\mathbf{\omega }}^T\mathbf{x}+y^2{\mathbf{x}}^T\mathbf{x}=y{\mathbf{\omega }}^T\mathbf{x}+{\mathbf{x}}^T\mathbf{x}>=y{\mathbf{\omega }}^T\mathbf{x}$，所以这个值会变大，最终会大于0，也就是分类正确，所以这个更新权重的方式是合理的。
这种更新参数方式和Logistic回归区别在于，后者是更新的预测和真实值的差异，所以Logistic似乎更加合理。感知器只有犯错才更新，Logistic不管是否犯错，只要与真实分布有差异，就会更新参数。

感知器的收敛性

参数平均感知器

扩展到多分类

广义感知器的收敛性

支持向量机

**支持向量机就是要找到一个超平面，让最短距离（间隔）最大，即数据集中所有样本到分割超平面的最短距离最大。**图中的两条虚线就是支持向量，上面的那个点到超平面的距离就是间隔，这就是最短距离，决策边界是由支持向量决定的。

参数学习

核函数

软间隔

支持向量原始定义必须让样本在特征空间线性可分，对于不满足线性可分约束的样本，需要引入松弛变量

损失函数对比

这里给出解释，这个图给出了平方损失、Hinge损失、交叉熵损失、感知器损失和0-1损失在二分类上的对比，横坐标$yf(\mathbf{x},\mathbf{\omega })$小于0代表分类错误，大于0是分类正确，可以看到，平方损失$L_{s}quared=(y-f(\mathbf{x};\mathbf{\omega }){)}^2=1-2yf(\mathbf{x};\mathbf{\omega })+(yf(\mathbf{x};\mathbf{\omega }){)}^2=(1-yf(\mathbf{x};\mathbf{\omega }){)}^2$在1左边是下降趋势，是合理的，但在1右边，命名已经分类正确并且离决策边界越来越远，但是损失函数反而上升，说明平方损失不适合二分类问题。Logistic回归的交叉熵损失求出来是公式3.104的形式，可以看出随着分类越正确，损失降低，但是即时已经划分正确了，它还是会有一部分损失，会进行参数更新。感知器损失是专门为二分类服务的，只有分错的情况才会有损失，软间隔支持向量机的损失函数相当于感知器损失函数向右平移一个单位。一个好的损失函数应该随着$yf(\mathbf{x},\mathbf{\omega })$的增大而减少。

总结和深入阅读

习题

证明：设决策平面是$f(\mathbf{x},\mathbf{\omega })={\mathbf{\omega }}^T\mathbf{x}+b=0$，对于$\forall x_1,x_2\in {\mathbf{\omega }}^T\mathbf{x}+b=0$，有${\mathbf{\omega }}^T{\mathbf{x}}_1+b=\mathbf{\omega }{\mathbf{x}}_2+b=0$，那么有$\mathbf{\omega }({\mathbf{x}}_1-{\mathbf{x}}_2)=0$，说明$\mathbf{\omega }$和向量${\mathbf{x}}_1-{\mathbf{x}}_2$垂直，所以权重向量$\mathbf{\omega }$与决策平面正交。

证明：点到平面的距离公式$d=\frac{|Ax+By+Cz+D|}{\sqrt{A^2+B^2+C^2}}$，${\mathbf{\omega }}^T\mathbf{x}=[A,B,C]\mathbf{x}$，所以$d=\frac{|f(\mathbf{x};\mathbf{\omega })|}{||\mathbf{\omega }||}$。

证明：只需证${\mathbf{\omega }}_c^T(\rho {\mathbf{x}}_1+(1-\rho ){\mathbf{x}}_2)>{\mathbf{\omega }}_{\tilde{c}}^T(\rho {\mathbf{x}}_1+(1-\rho ){\mathbf{x}}_2)$，因为点${\mathbf{x}}_1$和${\mathbf{x}}_2$被分为类别$c$，那么有${\mathbf{\omega }}_c^T{\mathbf{x}}_1>{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_1$和${\mathbf{\omega }}_c^T{\mathbf{x}}_2>{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_2$，这样有$\rho ({\mathbf{\omega }}_c^T{\mathbf{x}}_1-{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_1)>0,(1-\rho )({\mathbf{\omega }}_c^T{\mathbf{x}}_2-{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_2)>0$，因此有$\rho ({\mathbf{\omega }}_c^T{\mathbf{x}}_1-{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_1)+(1-\rho )({\mathbf{\omega }}_c^T{\mathbf{x}}_2-{\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_2)>0$，即$\rho {\mathbf{\omega }}_c^T{\mathbf{x}}_1+(1-\rho ){\mathbf{\omega }}_c^T{\mathbf{x}}_2>\rho {\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_1+(1-\rho ){\mathbf{\omega }}_{\tilde{c}}^T{\mathbf{x}}_2$，即${\mathbf{\omega }}_c^T(\rho {\mathbf{x}}_1+(1-\rho ){\mathbf{x}}_2)>{\mathbf{\omega }}_{\tilde{c}}^T(\rho {\mathbf{x}}_1+(1-\rho ){\mathbf{x}}_2)$。得证。

（1）这个其实就是“一对其余”方式的改进，一对其余是判别函数$f_c$将属于类别$c$和不属于类别$c$划分，这题的题意是将属于类别$c$和属于除了$c$的其他类别划分，因此每一个样本都能根据判别函数划分开，并不存在同时不属于所有类别的情况，一定是可分的。
（2）这个就是一对一方式，会出现同时属于多个类别且投票票数相等的情况，这类区域的样本是不能划分类别的，因此该数据集不一定是线性可分的。

平方损失可以用于分类问题，但并不适合用于分类问题，由之前的损失函数对比图可以看出来，对于分类正确的情况，平方损失会增加，而且平方损失在Logistic回归的情况是非凸函数，容易收敛到局部最优。Logistic回归的激活函数一般是Sigmoid函数，当用平方损失时，有$L=\frac{1}{2}(\hat{y}-y{)}^2$，对权重的导数为$\frac{\partial L}{\partial \mathbf{\omega }}=(\hat{y}-y){\sigma }^{\prime }\mathbf{x}$，那么进行权重更新的公式就为$\mathbf{\omega }=\mathbf{\omega }-\mu \frac{\partial L}{\partial \mathbf{\omega }}=\mathbf{\omega }-\mu (\hat{y}-y){\sigma }^{\prime }\mathbf{x}$。而Sigmoid函数在横坐标大的时候导数小，这样和参数更新的目标是相反的，在损失大的时候，参数更新反而慢，损失小的时候，梯度反而大。

公式3.39为$R(W)=-\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}{)}^{T}log{\hat{y}}^{(n)}$，加入正则化后：$R(W)=-\frac{1}{N}{\sum }_{n=1}^N(y^{(n)}{)}^{T}log{\hat{y}}^{(n)}+\lambda W^{T}W$，对权重的导数为：$\frac{\partial R(W)}{\partial W}=-\frac{1}{N}{\sum }_{n=1}^N({\hat{y}}^{(n)}-y^{(n)})x^{(n)}+2\lambda W$，更新参数的时候为$W=W+\alpha \frac{1}{N}{\sum }_{n=1}^N({\hat{y}}^{(n)}-y^{(n)})x^{(n)}-2\lambda W$。可以看出，加入正则化项之后，在更新参数时每次需要减去$2\lambda W$，使得参数不会太大，便不会造成溢出之类的错误发生，同时也会抑制过拟合。



设预测错误的样本有$K$个，并且设选取到这些样本时的迭代次数为$t_k$，那么根据算法3.2的步骤，可以计算出：$\mathbf{\omega }=y_1{\mathbf{x}}_1+y_2{\mathbf{x}}_2+...+y_k{\mathbf{x}}_k$，$u=t_1{y}_1{\mathbf{x}}_1+t_2{y}_2{\mathbf{x}}_2+...+t_k{y}_k{\mathbf{x}}_k$，因此，$\overline{\omega }=\omega -\frac{1}{T}u=y_1{\mathbf{x}}_1+y_2{\mathbf{x}}_2+...+y_k{\mathbf{x}}_k-\frac{1}{T}(t_1{y}_1{\mathbf{x}}_1+t_2{y}_2{\mathbf{x}}_2+...+t_k{y}_k{\mathbf{y}}_k)=\frac{T-t_1}{T}{\mathbf{y}}_1{\mathbf{x}}_1+\frac{T-t_2}{T}{y}_2{\mathbf{x}}_2+...+\frac{T-t_k}{T}{y}_k{\mathbf{x}}_k$。
而根据公式3.77，$\mathbf{\omega }={\sum }_{t=1}^T{\omega }_t$，${\omega }_t={\sum }_{i=1}^{k<=t}{x}_i{y}_i\overline{\omega }=\frac{1}{T}\omega$。$\mathbf{\omega }=({\mathbf{x}}_1{y}_1+...+{\mathbf{x}}_1{y}_1)+({\mathbf{x}}_1{y}_1+{\mathbf{x}}_2{y}_2+...+{\mathbf{x}}_1{y}_1+{\mathbf{x}}_2{y}_2)+...+({\sum }_{i=1}^k{\mathbf{x}}_i{y}_i+...+{\sum }_{i=1}^k{\mathbf{x}}_i{y}_i)$。式中，当第二个预测错误的样本被选取时才开始加${\mathbf{x}}_2{y}_2$，也就是说到达$t_2$时刻时才开始加，其中${\mathbf{x}}_i{y}_i$类似，到达$t_i$时刻时开始加，因此${\mathbf{x}}_i{y}_i$共相加了$T-t_i$次
所以$\mathbf{\omega }=(T-t_i){\mathbf{x}}_1{y}_1+(T-t_2){\mathbf{x}}_2{y}_2+...+(T-t_k){\mathbf{x}}_k{y}_k$，$\overline{\omega }=\frac{1}{T}\omega$，得证。

这里不证明了，记住这个结论。
后续的习题之后有需要的时候再做。