1、SVM另一种推法

我们不管分类平面，直接去假设Margin的两个边界：
Plus-plane ={x:w⋅x+b=+1}Minus-plane ={x:w⋅x+b=−1}\begin{aligned} & \text { Plus-plane }=\{\boldsymbol{x}: \boldsymbol{w} \cdot \boldsymbol{x}+b=+1\} \\ & \text { Minus-plane }=\{\boldsymbol{x}: \boldsymbol{w} \cdot \boldsymbol{x}+b=-1\} \end{aligned} ​ Plus-plane ={x:w⋅x+b=+1} Minus-plane ={x:w⋅x+b=−1}​
这个时候Margin就是这两个平面之间的距离了

回忆一下：
Given 2 parallel lines with equations
$$ax+by+c_1=0$$
and
$$ax+by+c_2=0$$
the distance between them is given by:
$$d=\frac{\left|c_2-c_1\right|}{\sqrt{a^2+b^2}}$$

于是就有：

maximize $\frac{2}{\Vert \mathbf{w}\Vert }$
such that
For $y_i=+1,{\mathbf{w}}^T{\mathbf{x}}_i+b\ge 1$
For $y_i=-1,{\mathbf{w}}^T{\mathbf{x}}_i+b\le -1$

进一步的，有
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\mathrm{argmin}}\sum _{i=1}^d{w}_i^2\\ & \text{ subject to }\forall {\mathbf{x}}_i\in D:y_i\left({\mathbf{x}}_i\cdot \mathbf{w}+b\right)\ge 1\end{array}$$

模型是一样的

2、二次规划（Quadratic Programming）

二次规划问题是这样的
$$\text{ Find }\underset{\mathbf{u}}{\mathrm{argmax}}c+{\mathbf{d}}^T\mathbf{u}+\frac{{\mathbf{u}}^{T}R\mathbf{u}}{2}$$
若干个不等式约束
$$\begin{array}{c}{a}_{11}{u}_1+a_{12}{u}_2+\dots +a_{1m}{u}_m\le b_1\\ a_{21}{u}_1+a_{22}{u}_2+\dots +a_{2m}{u}_m\le b_2\\ :\\ a_{n1}{u}_1+a_{n2}{u}_2+\dots +a_{nm}{u}_m\le b_n\end{array}$$
若干个等式约束
$$\begin{array}{c}{a}_{(n+1)1}{u}_1+a_{(n+1)2}{u}_2+\dots +a_{(n+1)m}{u}_m=b_{(n+1)}\\ a_{(n+2)1}{u}_1+a_{(n+2)2}{u}_2+\dots +a_{(n+2)m}{u}_m=b_{(n+2)}\\ :\\ a_{(n+e)1}{u}_1+a_{(n+e)2}{u}_2+\dots +a_{(n+e)m}{u}_m=b_{(n+e)}\end{array}$$
而我们线性SVM要求解的问题是
{w⃗∗,b∗}=min⁡w⃗,b∑iwi2subject to yi(w⃗⋅x⃗i+b)≥1for all training data (x⃗i,yi)\begin{aligned} & \left\{\vec{w}^*, b^*\right\}=\min _{\vec{w}, b} \sum_i w_i^2 \\ & \text { subject to } y_i\left(\vec{w} \cdot \vec{x}_i+b\right) \geq 1 \text { for all training data }\left(\vec{x}_i, y_i\right) \end{aligned} ​{w∗,b∗}=w,bmin​i∑​wi2​ subject to yi​(w⋅xi​+b)≥1 for all training data (xi​,yi​)​
其实本质上就是一个QP问题
{w⃗∗,b∗}=argmax⁡w⃗,b{0+0→⋅w⃗−w⃗TInw⃗}\left\{\vec{w}^*, b^*\right\}=\underset{\vec{w}, b}{\operatorname{argmax}}\left\{0+\overrightarrow{0} \cdot \vec{w}-\vec{w}^T \mathbf{I}_{\mathbf{n}} \vec{w}\right\} {w∗,b∗}=w,bargmax​{0+0⋅w−wTIn​w}
$$\begin{array}{rl}& y_1\left(\vec{w}\cdot {\vec{x}}_1+b\right)\ge 1\\ & y_2\left(\vec{w}\cdot {\vec{x}}_2+b\right)\ge 1\\ & \dots \\ & y_N\left(\vec{w}\cdot {\vec{x}}_N+b\right)\ge 1\end{array}$$

3、Soft Margin SVM

咱们的Hard Margin SVM要求样本必须是线性可分的（看它的约束条件），那么问题来了，要是样本线性不可分呢？

那么咱们就希望Margin大的同时，让分类的损失尽量小一点，于是问题就变为

Minimize
$\mathbf{w}\cdot \mathbf{w}+C$ (#train errors)

这样问题就来了。首先这不再是一个QP问题，QP问题的求解方法很成熟；其次这边有一个超参数C，这个参数又叫tradeoff parameter。C越大说明你更希望分类误差小一点，C越小说明你更希望Margin大一点，所以这边C的取值就是一门学问了。

我们将误差建模为分类错误点到分类平面的距离
{w⃗∗,b∗}=min⁡w⃗,b∑i=1dwi2+c∑j=1Nεjy1(w⃗⋅x⃗1+b)≥1−ε1y2(w⃗⋅x⃗2+b)≥1−ε2…yN(w⃗⋅x⃗N+b)≥1−εN\begin{aligned} & \left\{\vec{w}^*, b^*\right\}=\min _{\vec{w}, b} \sum_{i=1}^{\mathrm{d}} w_i^2+c \sum_{j=1}^N \varepsilon_j \\ & y_1\left(\vec{w} \cdot \vec{x}_1+b\right) \geq 1-\varepsilon_1 \\ & y_2\left(\vec{w} \cdot \vec{x}_2+b\right) \geq 1-\varepsilon_2 \\ & \ldots \\ & y_N\left(\vec{w} \cdot \vec{x}_N+b\right) \geq 1-\varepsilon_N \end{aligned} ​{w∗,b∗}=w,bmin​i=1∑d​wi2​+cj=1∑N​εj​y1​(w⋅x1​+b)≥1−ε1​y2​(w⋅x2​+b)≥1−ε2​…yN​(w⋅xN​+b)≥1−εN​​

如果${\epsilon }_i<0?$，这是我们不想看到的，因为当样本分类正确时，我们希望损失是$0$。
{w⃗∗,b∗}=min⁡w⃗,b∑i=1dwi2+c∑j=1Nεjy1(w⃗⋅x⃗1+b)≥1−ε1,ε1>=0y2(w⃗⋅x⃗2+b)≥1−ε2,ε2>=0…yN(w⃗⋅x⃗N+b)≥1−εN,εN>=0\begin{aligned} & \left\{\vec{w}^*, b^*\right\}=\min _{\vec{w}, b} \sum_{i=1}^{\mathrm{d}} w_i^2+c \sum_{j=1}^N \varepsilon_j \\ & y_1\left(\vec{w} \cdot \vec{x}_1+b\right) \geq 1-\varepsilon_1 ,\varepsilon_1>=0\\ & y_2\left(\vec{w} \cdot \vec{x}_2+b\right) \geq 1-\varepsilon_2 ,\varepsilon_2>=0\\ & \ldots \\ & y_N\left(\vec{w} \cdot \vec{x}_N+b\right) \geq 1-\varepsilon_N,\varepsilon_N>=0 \end{aligned} ​{w∗,b∗}=w,bmin​i=1∑d​wi2​+cj=1∑N​εj​y1​(w⋅x1​+b)≥1−ε1​,ε1​>=0y2​(w⋅x2​+b)≥1−ε2​,ε2​>=0…yN​(w⋅xN​+b)≥1−εN​,εN​>=0​

想象一下，一个样本点错得很离谱，离分界面无穷大，那么其对应的损失也是无限大，所以我们说，SVM对噪声是很敏感的

SVM的损失函数是Hinge loss
$$\mathrm{hinge}(x)=\max (1-x,0)$$