SVM - 径向基函数核 Radial Basis Function Kernel,简称RBF核或者高斯核
flyfish
径向基函数核(Radial Basis Function Kernel,简称RBF核),也称为高斯核,是一种常用的核函数,用于支持向量机(SVM)和其他机器学习算法。它是基于数据点之间的距离来计算相似性的一种非线性核函数。
RBF核的数学表达式为:
K ( x , x ′ ) = exp ( − γ ∥ x − x ′ ∥ 2 ) K(x, x') = \exp\left(-\gamma \|x - x'\|^2\right) K(x,x′)=exp(−γ∥x−x′∥2)
其中:
-
K ( x , x ′ ) K(x, x') K(x,x′) 是两个数据点 x x x 和 x ′ x' x′ 之间的核函数值。
-
γ \gamma γ 是一个可调参数,控制RBF核的宽度。
-
∥ x − x ′ ∥ \|x - x'\| ∥x−x′∥ 是两个数据点之间的欧氏距离。
RBF核的主要特性:
-
非线性变换 :RBF核可以将输入空间非线性地映射到高维特征空间,使得在原始空间中不可线性分离的数据在高维空间中可线性分离。
-
局部性 :RBF核在原始空间中的距离较近的点在高维特征空间中也会距离较近,即RBF核具有局部敏感性。
-
参数可调 :参数 γ \gamma γ 控制RBF核的宽度,较大的 γ \gamma γ 值使得核函数对距离更敏感,较小的 γ \gamma γ 值使得核函数对距离不太敏感。
生成100个二维数据点,并使用C=0.1和C=10的两个不同SVM模型进行训练。C较小时(C=0.1),模型的决策边界更宽松,对错误分类点有更高的容忍度;而C较大时(C=10),决策边界更严格,模型更严格地要求正确分类,容易过拟合
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_circles# 生成非线性可分的二维数据点
X, y = make_circles(n_samples=100, factor=0.3, noise=0.1)# 创建两个SVM模型,分别使用不同的C值和RBF核
C_values = [0.1, 10]
models = [svm.SVC(kernel='rbf', C=C, gamma='auto') for C in C_values]# 训练模型
for model in models:model.fit(X, y)# 创建绘图
fig, axes = plt.subplots(1, 2, figsize=(12, 5))for ax, model, C in zip(axes, models, C_values):ax.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')ax.set_title(f'SVM with RBF Kernel and C={C}')# 绘制决策边界和支持向量xlim = ax.get_xlim()ylim = ax.get_ylim()xx = np.linspace(xlim[0], xlim[1], 500)yy = np.linspace(ylim[0], ylim[1], 500)YY, XX = np.meshgrid(yy, xx)xy = np.vstack([XX.ravel(), YY.ravel()]).TZ = model.decision_function(xy).reshape(XX.shape)ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5,linestyles=['--', '-', '--'])ax.scatter(model.support_vectors_[:, 0], model.support_vectors_[:, 1], s=100,linewidth=1, facecolors='none', edgecolors='k')plt.show()
使用了make_moons函数生成非线性可分的二维数据点(两个半月形),并使用RBF核的SVM模型进行分类。RBF核的SVM模型能够处理复杂的非线性分类问题,并且决策边界是非线性的。
import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm
from sklearn.datasets import make_moons# 生成非线性可分的二维数据点(两个半月形)
X, y = make_moons(n_samples=100, noise=0.1, random_state=42)# 创建并训练SVM模型,使用RBF核
model = svm.SVC(kernel='rbf', C=1, gamma=1)
model.fit(X, y)# 创建绘图
plt.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')
plt.title('SVM with RBF Kernel')# 绘制决策边界和支持向量
xlim = plt.gca().get_xlim()
ylim = plt.gca().get_ylim()
xx = np.linspace(xlim[0], xlim[1], 500)
yy = np.linspace(ylim[0], ylim[1], 500)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = model.decision_function(xy).reshape(XX.shape)plt.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], alpha=0.5, linestyles=['--', '-', '--'])
plt.scatter(model.support_vectors_[:, 0], model.support_vectors_[:, 1], s=100, linewidth=1, facecolors='none', edgecolors='k')
plt.show()
二维数据点映射到三维空间
原始的二维平面中是不可线性分离的。使用RBF核将其映射到三维空间,从而使数据变得可线性分离。即RBF核可以将输入空间非线性地映射到高维特征空间,使得在原始空间中不可线性分离的数据在高维空间中可线性分离。
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.datasets import make_circles
from sklearn.svm import SVC# 生成非线性可分的二维数据点
X, y = make_circles(n_samples=100, factor=0.3, noise=0.1, random_state=0)# 定义RBF核函数
def rbf_kernel(X, Y, gamma=1.0):K = np.exp(-gamma * np.sum((X[:, np.newaxis] - Y[np.newaxis, :])**2, axis=2))return K# 将二维数据点映射到三维空间
gamma = 0.5
X_rbf = rbf_kernel(X, X, gamma=gamma)# 使用RBF核的SVM进行训练
model = SVC(kernel='rbf', C=1, gamma=gamma)
model.fit(X, y)# 绘制原始二维数据点
fig = plt.figure(figsize=(12, 6))
ax = fig.add_subplot(121)
ax.scatter(X[:, 0], X[:, 1], c=y, cmap='coolwarm')
ax.set_title('Original 2D Data')# 绘制映射到三维空间的数据点
ax = fig.add_subplot(122, projection='3d')
ax.scatter(X_rbf[:, 0], X_rbf[:, 1], X_rbf[:, 2], c=y, cmap='coolwarm')
ax.set_title('Mapped to 3D Space using RBF Kernel')plt.show()
svm.SVC说明
svm.SVC
是scikit-learn中的支持向量分类器函数,其中包含许多参数,每个参数在模型的训练和预测过程中都有其特定的作用。以下是一些常用参数及其含义:
-
C (default=1.0) : 正则化参数。它控制权衡分类正确率与决策函数的复杂度。较小的C值会使模型更宽松,对错误分类更容忍;较大的C值会使模型更严格,可能导致过拟合。
-
kernel (default=‘rbf’) : 核函数类型,用于指定在训练算法中使用的核函数。支持的核函数有:
-
'linear'
: 线性核 -
'poly'
: 多项式核 -
'rbf'
: 径向基函数核(高斯核) -
'sigmoid'
: Sigmoid核 -
'precomputed'
: 预计算核
可以通过传递自定义的核函数来定义自己的核。
-
degree (default=3) : 多项式核函数的维度。如果使用多项式核函数(
kernel='poly'
),则该参数指定多项式的维度。 -
gamma (default=‘scale’) : 核函数系数。用于‘rbf’、‘poly’和‘sigmoid’核。参数的值可以是:
-
'scale'
: 默认值,使用1 / (n_features * X.var())
-
'auto'
: 使用1 / n_features
-
具体的浮点数值
-
coef0 (default=0.0) : 核函数中的独立项。对于‘poly’和‘sigmoid’核函数有用。
-
probability (default=False) : 是否启用概率估计。如果启用,训练时间会更长一些。
-
shrinking (default=True) : 是否使用启发式方法加速训练过程。
-
tol (default=1e-3) : 停止标准的精度。训练算法的停止标准。
-
cache_size (default=200) : 指定内存缓存大小(以MB为单位),用于存储训练过程中计算的核矩阵。
-
class_weight (default=None) : 给定各类样本的权重,形式为字典{class_label: weight}。用于处理类别不平衡问题。
-
verbose (default=False) : 启用详细输出。在实际运行时,通常不会开启这个选项。
-
max_iter (default=-1) : 限制最大迭代次数。设置为-1时,表示没有限制。
-
decision_function_shape (default=‘ovr’) : 决策函数的形状,支持‘ovr’(一对多)和‘ovo’(一对一)。默认使用‘ovr’。
-
break_ties (default=False) : 在决策边界上对平票情况进行处理(仅适用于‘ovr’)。启用时会增加计算开销。
-
random_state (default=None) : 随机数生成器的种子。