1 线性可分的数据集

1.1 超平面

SVM的思想是找到最大间隔的分隔超平面。

在两个分类中，找到能够一条线，以最好地区分这两个分类。这样如果有了新的点，这条线也能很好地做出分类。
这样的线在高维样本中的时候就叫做超平面。

1.2 几何间隔与函数间隔

图中绿线h1效果不好，h2效果还行，h3效果最好。怎么区分效果好不好？
如果超平面$w.x+b=0$已经存在，那么样本点距离超平面的距离能够表示预测的确信程度。$|w.x+b|$能够相对地表示点x距离超平面的距离。而$w.x+b$的符号与标记y的符号是否一致表示分类是否正确。那么就可以用$y(w.x+b)$表示分类的正确性和确信程度，这就是函数间隔。

函数间隔：超平面(w,b)关于样本点($x_i$,$y_i$)样本点的函数间隔为：$\widehat{r_i}=y_i(w.x_i+b)$
超平面(w,b)关于数据集T的函数间隔，为所有样本点的函数间隔的最小值：$\hat{r}=mi{n}_{i=1,2...N}\widehat{r_i}$

函数间隔的问题是如果成比例的改变w和b，例如改为2w+2b，超平面不变，函数间隔却变成了原来的两倍。如果规范化之后就会使得间隔是确定的。这时候函数间隔就变成了几何间隔。
几何间隔：对于给定数据集T和超平面(w,b)，w是超平面的法向量，样本点($x_i$,$y_i$)的几何间隔为：$r_i=y_i\frac{w.x+b}{||w||}$

超平面(w,b)关于数据集T的几何间隔，为所有样本点的几何间隔的最小值：$r=mi{n}_{i=1,2...N}{r}_i$

1.3 目标函数

目标函数：最大化几何间隔r：$maxr=max\frac{\hat{r}}{||w||}$
s.t. $y_i(w.x_i+b)>=\hat{r},i=1,2,3...N$
令$\hat{r}=1$（这里等于1，没有特别的含义，只是好计算，不影响结果），那么目标函数变为:$max\frac{1}{||w||}$，$min||w||$，$min\frac{1}{2}||w|{|}^2$，
s.t. $y_i(w.x_i+b)>=\hat{r},i=1,2,3...N$

用拉格朗日乘子法：
$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-{\sum }_{i=1}^N{\alpha }_i{y}_i(w.x_i+b)+{\sum }_{i=1}^N{\alpha }_i$

分别对w、b、求导得到：$w={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i$，${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

这样代入上面的式子得到：$L(w,b,\alpha )=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i.x_j)+{\sum }_{i=1}^N{\alpha }_i$

1.4 支持向量

在线性可分情况下，训练数据集中的样本点中距离分离超平面最近的样本点称为支持向量。

2 线性近似可分

训练样本中有一些点不满足函数间隔>=1的约束。
解决方法：是对每一个样本引入一个松弛变量${ϵ}_i>=0$使得函数间隔大于等于1。约束条件变为:$y_i(w.x_i+b)>=1-{ϵ}_i$
目标函数：min $\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{ϵ}_i$
s.t. $y_i(w.x_i+b)>1-{ϵ}_i,i=1,2,3...N$
${ϵ}_i>=0,i=1,2,3...N$

拉格朗日函数变为：$L(w,b,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{ϵ}_i-{\sum }_{i=1}^N{\alpha }_i(y_i(w.x_i+b)-1+{ϵ}_i)+{\sum }_{i=1}^N{\mu }_i{ϵ}_i$

经过求导替换得到：$minL(w,b,\alpha ,\mu ,ϵ)=-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i.x_j)+{\sum }_{i=1}^N{\alpha }_i$

3 非线性支持向量机与核函数

对于线性不可分的问题通过一个变换，将低纬度的非线性问题变换为高纬度的线性问题。通过变换后的线性问题求解原来的非线性问题。
核函数定义：设X是输入空间，H为特征空间，如果存在一个从X到H的映射，$\varphi (X):X->H$，使得对所有的$x,z\in X$，函数K(x,z)满足条件：$K(x,z)=\varphi (x)\varphi (z)$，则称K(x,z)为核函数，$\varphi (x)$为映射函数。
核函数技巧的核心是，只需要定义核函数，而不是定义映射函数。因为通常直接计算K(x,z)更容易，而计算$\varphi (x)\varphi (z)$不容易，计算量还很大。

所以目标函数变为：$L(w,b,\alpha ,\mu ,ϵ)=\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i.x_j)-{\sum }_{i=1}^N{\alpha }_i$

常用核函数为高斯核函数、多项式核函数。

三个类型讨论到后面使用SMO解决问题。