高斯核函数(深入浅出)

目录

    • 定义及数学形式
    • 主要特点
    • 应用示例
    • 小结

高斯核函数(Gaussian Kernel),又称径向基核(Radial Basis Function Kernel,RBF Kernel),是机器学习与模式识别中最常用的核函数之一。它通过在高维空间衡量样本间的“相似度”,使得一些线性不可分问题在映射到更高维度后变得可分,从而广泛应用于支持向量机(SVM)、核岭回归、高斯过程等算法中。


定义及数学形式

对于任意两个样本 x \mathbf{x} x y \mathbf{y} y,高斯核函数定义为:

k ( x , y ) = exp ⁡ ( − ∥ x − y ∥ 2 2 σ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\frac{\|\mathbf{x} - \mathbf{y}\|^2}{2\sigma^2}\right) k(x,y)=exp(2σ2xy2)

有时也会写作:

k ( x , y ) = exp ⁡ ( − γ ∥ x − y ∥ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\gamma \|\mathbf{x} - \mathbf{y}\|^2\right) k(x,y)=exp(γxy2)

其中:

  • ∥ x − y ∥ \|\mathbf{x} - \mathbf{y}\| xy 表示 x \mathbf{x} x y \mathbf{y} y 的欧几里得距离;
  • σ \sigma σ 用于控制核函数的宽度,也可用参数 γ = 1 2 σ 2 \gamma = \frac{1}{2\sigma^2} γ=2σ21 代替;
  • x = y \mathbf{x} = \mathbf{y} x=y 时,核函数取值为 1;两点距离越大,核函数值衰减越快。

主要特点

  1. 非线性映射
    高斯核可以看作是将样本映射到无穷维的特征空间,从而捕捉到更加丰富的特征关系;在原始空间中线性不可分的问题,可能在映射后的高维空间中被线性分割。

  2. 平滑且连续
    高斯核呈现出光滑、连续、无界的性质,容易处理大多数实际应用的噪声与不确定性。

  3. 调参简洁
    高斯核往往只需要关注一个主要超参数 σ \sigma σ(或 γ \gamma γ),通过调节它的大小,即可控制核所“感知”的局部与全局范围:

    • σ \sigma σ 小( γ \gamma γ 大)会使核函数值衰减更快,模型关注更多的局部信息;
    • σ \sigma σ 大( γ \gamma γ 小)会使核函数值衰减更慢,模型更加平滑,但有时也会导致过度平滑。
  4. 应用广泛
    在支持向量机(SVM)等核方法中,高斯核通常表现出优于其他核函数的稳定效果。在许多实际场景(如图像识别、文本分类、生物信息学等),高斯核都是默认且常用的选择。


应用示例

以下以支持向量机为例,展示高斯核的应用流程:

  1. 数据准备
    准备训练数据集 { ( x i , y i ) } i = 1 n \{(\mathbf{x}_i, y_i)\}_{i=1}^n {(xi,yi)}i=1n。其中 x i ∈ R d \mathbf{x}_i \in \mathbb{R}^d xiRd y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi{+1,1}

  2. 选择高斯核
    在训练 SVM 时,指定核函数为高斯核:
    k ( x i , x j ) = exp ⁡ ( − γ ∥ x i − x j ∥ 2 ) k(\mathbf{x}_i, \mathbf{x}_j) = \exp\left(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2\right) k(xi,xj)=exp(γxixj2)

  3. 超参数调优
    使用交叉验证等方法,对 γ \gamma γ(以及 SVM 中的 C 参数)进行调参,以在训练集和验证集上取得最优表现。

  4. 训练与预测
    通过核技巧(Kernel Trick)在对偶空间中求解最优决策边界。之后针对新样本 x new \mathbf{x}_{\text{new}} xnew,即可计算:
    f ( x new ) = ∑ i = 1 n α i y i exp ⁡ ( − γ ∥ x i − x new ∥ 2 ) + b f(\mathbf{x}_{\text{new}}) = \sum_{i=1}^n \alpha_i y_i \exp\left(-\gamma \|\mathbf{x}_i - \mathbf{x}_{\text{new}}\|^2\right) + b f(xnew)=i=1nαiyiexp(γxixnew2)+b
    f ( x new ) > 0 f(\mathbf{x}_{\text{new}}) > 0 f(xnew)>0,预测为 + 1 +1 +1;反之为 − 1 -1 1


小结

高斯核函数通过指数衰减的方式度量样本间的相似度,实现了对样本的非线性映射,常被用作机器学习中的默认核函数之一。它在处理各种高维和复杂分布数据时都有稳定而优异的表现,尤其适用于支持向量机、核岭回归及高斯过程等方法。通过合理选择 σ \sigma σ(或 γ \gamma γ),高斯核能在“过拟合”与“欠拟合”之间找到平衡,帮助模型取得更好的泛化能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/65436.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MaixBit k210学习记录

开发背景:Window系统主机,在主机上安装了虚拟机(VirtualBoxUbuntu23.04) 目标实现:在虚拟机(Ubuntu)中,实现对Maix bit(k210)开发板的开发 虚拟机的安装参考…

WordPress TutorLMS插件 SQL注入漏洞复现(CVE-2024-10400)(附脚本)

0x01 产品描述: ‌Tutor LMS‌是一个功能强大的

ExpDemo-JavaFX打造属于你自己的图形化漏洞利用工具

声明!本文章所有的工具分享仅仅只是供大家学习交流为主,切勿用于非法用途,如有任何触犯法律的行为,均与本人及团队无关!!! 目录标题 前言编写属于你的图像化漏洞利用工具项目结构编写EXP部署 部…

串口通信标准RS232、RS422、RS485有什么区别和不同

目录 第一个区别:硬件管脚接口定义不同: 第二个区别、工作方式不同 第三个区别、通信方式不同 第四个区别,逻辑特性不同 第五个区别、抗干扰性、传输距离和传输速率也不同 RS-232与RS-485对比 RS-422与RS-485对比 今天给大家分享的是&…

python中的列表及操作

1、列表类型的定义 列表是序列类型的一种扩展,创建后可以随意被修改 使用方括号[]或list()创建,元素间用逗号,分隔 列表中各元素类型可以不同,无长度限制 定义示例: ls [88, cat, dog]2、列表的操作函数和方法 函…

银河麒麟操作系统安装达梦数据库(超详细)

目录 引言1. 前期准备1.1 安装麒麟系统1.2 下载达梦数据库安装包(DM8)1.3 上传安装包到麒麟系统1.4 挂载安装包(iso)文件1.5 配置安装用户和组1.6 创建安装路径及修改权限1.7 设置临时安装目录 2. 安装达梦数据库(DM8&…

Linux-frp_0.61.1内网穿透的配置和使用

下载frp frp官网 https://gofrp.org/zh-cn/docs/setup/ frp安装包下载地址 https://github.com/fatedier/frp/releases?page1 下载之后在服务器上 解压 tar -zxvf frp_0.61.1_linux_amd64.tar.gztar:一个用于压缩和解压缩的工具。-z:表示使用 gzi…

【操作系统】如何创建一个守护进程

守护进程(Daemon)是一类在后台运行的特殊进程,它们通常不与任何终端或用户直接交互,而是执行特定的系统任务或等待系统或网络事件的发生。守护进程是操作系统中不可或缺的一部分,它们负责执行各种后台任务,…

Unity开发AR之Vuforia-MultiTarget笔记

前言 在增强现实(AR)技术蓬勃发展的今天,越来越多的开发者开始探索如何将AR应用于各种场景中。Vuforia作为一个领先的AR开发平台,为开发者提供了强大的工具和功能,使得创建AR体验变得更加简单和直观。本文将为您介绍Vuforia的基本概念、特点,以及如何配置和使用MultiTar…

python|利用ffmpeg按顺序合并指定目录内的ts文件

前言: 有的时候我们利用爬虫爬取到的ts文件很多,但ts文件只是视频片段,并且这些视频片段是需要按照一定的顺序合并的,通常ts文件合并输出格式为mp4格式 因此,本文介绍利用python,调用ffmpeg来批量的按自己…

【Python】 基于Python实现日志聚合与分析工具:利用Logstash与Fluentd构建高效分布式日志系统

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门! 解锁Python编程的无限可能:《奇妙的Python》带你漫游代码世界 在分布式系统中,日志数据的生成速度和数量呈指数级增长,传统的日志管理方式已无法满足现代企业对实时性、可扩展性和高效性的需求。本文深…

04.HTTPS的实现原理-HTTPS的混合加密流程

04.HTTPS的实现原理-HTTPS的混合加密流程 简介1. 非对称加密与对称加密2. 非对称加密的工作流程3. 对称加密的工作流程4. HTTPS的加密流程总结 简介 主要讲述了HTTPS的加密流程,包括非对称加密和对称加密两个阶段。首先,客户端向服务器发送请求&#xf…

【从零开始入门unity游戏开发之——C#篇34】C#匿名函数(delegate )和Lambda表达式

文章目录 一、匿名函数(delegate )1、什么是匿名函数?2、匿名函数的基本语法2.1 语法2.2 **没有参数的匿名函数:**2.3 **有参数的匿名函数:**2.4 **有返回值的匿名函数:** 3、匿名函数的使用示例3.1 作为参…

IDEA开发Java应用的初始化设置

一、插件安装 如下图所示: 1、Alibaba Java Coding Guidelines 2.1.1 阿里开发者规范,可以帮忙本地自动扫描出不符合开发者规范的代码,甚至是代码漏洞提示。 右击项目,选择《编码规约扫描》,可以进行本地代码规范扫…

vue2/3,Spring Boot以及生产环境跨域解决方案

vue2和vue3跨域解决方案 Vue 2 (基于 Webpack) 的跨域解决方案 1. 创建或编辑 vue.config.js 文件 Vue CLI为Webpack项目提供了简单的代理配置方式。你可以通过创建或编辑项目的根目录下的 vue.config.js 文件来设置开发服务器的代理规则: // vue.config.js mod…

java相关学习文档或网站整理

1. mybatis MyBatis 3 | Introduction – mybatis 中文版: MyBatis 3 | 简介 – mybatis github版: Releases mybatis/mybatis-3 2. maven仓库 https://mvnrepository.com/

代码模拟打字机(python)

回车符\r打印稿纸,time.sleep模拟停顿效果,一顿一顿的打字机效果就此呈现。 (笔记模板由python脚本于2024年12月27日 19:34:37创建,本篇笔记适合有基础编程能力的coder翻阅) 【学习的细节是欢悦的历程】 Python 官网:https://www.…

让 AMD GPU 在大语言模型推理中崭露头角:机遇与挑战

在当今科技飞速发展的时代,大语言模型(LLM)的兴起彻底改变了人工智能领域的格局。从智能客服到文本生成,从知识问答到代码编写辅助,大语言模型的应用无处不在,深刻影响着我们的生活和工作。然而&#xff0c…

LLMs之o3:《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读

LLMs之o3:《Deliberative Alignment: Reasoning Enables Safer Language Models》翻译与解读 导读:2024年12月,这篇论文提出了一种名为“审慎式对齐 (Deliberative Alignment)”的新方法,旨在提高大型语言模型 (LLM) 的安全性。论…

音视频入门基础:MPEG2-TS专题(24)——FFmpeg源码中,显示TS流每个packet的pts、dts的实现

音视频入门基础:MPEG2-TS专题系列文章: 音视频入门基础:MPEG2-TS专题(1)——MPEG2-TS官方文档下载 音视频入门基础:MPEG2-TS专题(2)——使用FFmpeg命令生成ts文件 音视频入门基础…