解密SVM系列（二）：SVM的理论基础(转载)

解密SVM系列（二）：SVM的理论基础     原文博主讲解地太好了  收藏下

解密SVM系列（三）：SMO算法原理与实战求解

支持向量机通俗导论（理解SVM的三层境界）

上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。

一个简单的二分类问题如下图： 
 
我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每一个样本的输出值与目标值得误差不断的调整权值W和b来求得最终的解的。当然这种求解最优的方式只是其中的一种方式。那么SVM的求优方式是怎样的呢？

这里我们把问题反过来看，假设我们知道了结果，就是上面这样的分类线对应的权值W和b。那么我们会看到，在这两个类里面，是不是总能找到离这个线最近的点，向下面这样： 
 
然后定义一下离这个线最近的点到这个分界面（线）的距离分别为d1,d2。那么SVM找最优权值的策略就是，先找到最边上的点，再找到这两个距离之和D，然后求解D的最大值，想想如果按照这个策略是不是可以实现最优分类，是的。好了还是假设找到了这样一个分界面WTX+b=0,那么做离它最近的两类点且平行于分类面，如上面的虚线所示。好了再假设我们有这两个虚线，那么真实的分界面我们认为正好是这两个分界面的中间线，这样d1就等于d2了。因为真实的分界面为WTX+b=0，那么就把两个虚线分别设置为WTX+b=1和WTX+b=−1可以看到虚线相对于真实面只是上下移动了1个单位距离，可能会说你怎么知道正好是一个距离？确实不知道，就假设上下是k个距离吧，那么假设上虚线现在为WTX+b=k，两边同时除k可以吧，这样上虚线还是可以变成WT1X+b1=1,同理下虚线也可以这样，然后他们的中线就是WT1X+b1=0吧，可以看到从k到1，权值无非从w变化到w1,b变到b1,我在让w=w1,b=b1，不是又回到了起点吗，也就是说，这个中间无非是一个倍数关系。所以我们只需要先确定使得上下等于1的距离，再去找这一组权值，这一组权值会自动变化到一定倍数使得距离为1的。

好了再看看D=d1+d2怎么求吧，假设分界面WTX+b=0，再假设X是两维的，那么分界面再细写出来就是：w1x1+w2x2+b=0。上分界线：w1x1+w2x2+b=1，这是什么，两条一次函数（y=kx+b）的曲线是不是，那么初中就学过两直线的距离吧，d=|c2−c1|w21+w22−−−−−−−√=1||W||

这里W=(w1,w2)，是个向量，||W||为向量的距离，那么||W||2=WTW。下界面同理。这样D=d1+d2=2||W||=2WTW−−−−−√等效2WTW,要使D最大，就要使分母最小，这样优化问题就变为min(12WTW),乘一个系数0.5没影响，但是在后面却有用。

我们知道，如果一个一次函数分界面为WTX+b=0，那么线上方的x可以使得WTX+b>0,下方的x可以使得WTX+b<0吧，那么对于上界面以上的点就有WTX+b>1，下界面以下的点就有WTX+b<−1。我们现在再假设上界面以上的点的分类标签为1，下界面以下的点的分类标签为-1。那么这两个不等式再分别乘以他们的标签会怎么样？是不是可以统一为yi(WTxi+b)≥1了（这也是为什么SVM在使用之前为什么要把两类标签设置为+1，-1，而不是0,1等等之类的了）。好了假设分界面一旦确定，是不是所有点都得满足这个关系。那么最终的带约束的优化问题转化为： 

min12WTWs.t.yi(Wxi+b)≥1

把约束条件换成小于号的形式：

s.t.1−yi(Wxi+b)≤0

注意的是这可不是一个约束条件，而是对所有的每个样本xi都有一个这样的约束条件。 
转换到这种形式以后是不是很像上节说到的KKT条件下的优化问题了，就是这个。但是有一个问题，我们说上节的KKT是在凸函数下使用的，那么这里的目标函数是不是呢？答案是的，想想WT∗W，函数乘出来应该很单一，不能有很多极点，当然也也可以数学证明是的。

 

好了那样的话就可以引入拉格朗日乘子法了，优化的目标变为： 

L(w,b,α)=12wTw+α1h1(x)+...+αnhn(x)=12wTw−α1[y1(wx1+b)−1]−...−αn[yn(wxn+b)−1]=12wTw−∑i=1Nαiyi(wxi+b)+∑i=1Nαi

然后要求这个目标函数最优解，求导吧， 

∂L∂w=w−∑i=1Nαiyixi=0⇒w=∑i=1Nαiyixi∂L∂b=−∑i=1Nαiyi=0⇒∑i=1Nαiyi=0

这两个公式非常重要，简直是核心公式。 
求导得到这个应该很简单吧，那我问你为什么WTW对w求导是w呢？如果你知道，那么你很厉害了，反正开始我是一直没转过来。其实说起来也很简单，如果光去看看为什么求导以后，转置就没了，不太好想明白，设想一下假设现在是二维样本点，也就是最终的W=(w1,w2)，那么WTW=w1∗w1+w2∗w2那么对w1求导就是2w1,对w2就是2w2,这样写在一起就是对w求导得到(2w1,2w2)=2w了，然后乘前面一个1/2（这也就是为什么要加一个1/2），就变成w了。

 

好了得到上面的两个公式，再带回L中把去w和b消掉，你又可能发现，w确实可以消，因为有等式关系，那b怎么办？上述对b求导的结果竟然不含有b，上天在开玩笑吗？其实没有，虽然没有b，但是有那个求和为0呀，带进去你会惊人的发现，b还真的可以消掉，就是因为了那个等式。简单带下： 

W(α)=L(w,b,α)=12(∑i=1Nαiyixi)T(∑j=1Nαjyjxj)−∑i=1Nαiyi((∑i=1Nαiyixi)xi+b)+∑i=1Nαi=12(∑i,j=1Nαiyiαjyjxi∗xj)−∑i,j=1Nαiyiαjyjxi∗xj+b∑i=1Nαiyi+∑i=1Nαi=−12(∑i,