DataWhale-吃瓜教程学习笔记(四)

学习视频:第3章-二分类线性判别分析_哔哩哔哩_bilibili
西瓜书对应章节: 3.4


文章目录

  • - 算法原理
  • - 损失函数推导
        • -- 异类样本中心尽可能远
        • -- 同类样本方差尽可能小
        • -- 综合
    • 知识点补充 - 二范数
        • 二范数(2-norm)详解
          • 定义
          • 几何意义
          • 性质
          • 应用
          • 示例
    • 求解 w
      • 知识点补充 - 广义瑞利商
        • 定义
        • 解释
        • 应用
      • 优化广义瑞利商


- 算法原理

image.png

- 损失函数推导

---- 投影后 ------

– 异类样本中心尽可能远

image.png

– 同类样本方差尽可能小

image.png

– 综合

image.png

分母为 同类样本之间的关系,分子为异类样本之间的关系,使分子尽量小(同类样本方差尽可能小),分母尽量大(异类样本中心尽量远),则有 M a x Max Max J J J


知识点补充 - 二范数

二范数(2-norm)详解
定义

对于一个n维欧几里得空间中的向量 x = [ x 1 , x 2 , … , x n ] T \mathbf{x} = [x_1, x_2, \ldots, x_n]^\text{T} x=[x1,x2,,xn]T,其二范数定义为:
∥ x ∥ 2 = x 1 2 + x 2 2 + ⋯ + x n 2 = x T x \|\mathbf{x}\|_2 = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2} = \sqrt{\mathbf{x}^\text{T} \mathbf{x}} x2=x12+x22++xn2 =xTx

几何意义

在二维或三维空间中,二范数表示向量末端到原点的欧几里得距离。例如,在二维空间中,向量 x = [ x 1 , x 2 ] T \mathbf{x} = [x_1, x_2]^\text{T} x=[x1,x2]T 的二范数表示为:
∥ x ∥ 2 = x 1 2 + x 2 2 \|\mathbf{x}\|_2 = \sqrt{x_1^2 + x_2^2} x2=x12+x22
这正是勾股定理的直接应用,表示向量 x \mathbf{x} x 在平面上的长度。

性质
  1. 非负性:对于所有向量 x , ∥ x ∥ 2 ≥ 0 ,且 ∥ x ∥ 2 = 0 当且仅当 x = 0 \mathbf{x},\|\mathbf{x}\|_2 \geq 0,且 \|\mathbf{x}\|_2 = 0 当且仅当 \mathbf{x} = \mathbf{0} xx20,且x2=0当且仅当x=0
  2. 齐次性:对于所有向量 x \mathbf{x} x 和所有标量 c c c ∥ c x ∥ 2 = ∣ c ∣ ∥ x ∥ 2 \|c\mathbf{x}\|_2 = |c|\|\mathbf{x}\|_2 cx2=c∣∥x2
  3. 三角不等式:对于所有向量 x \mathbf{x} x y \mathbf{y} y ∥ x + y ∥ 2 ≤ ∥ x ∥ 2 + ∥ y ∥ 2 \|\mathbf{x} + \mathbf{y}\|_2 \leq \|\mathbf{x}\|_2 + \|\mathbf{y}\|_2 x+y2x2+y2
应用

二范数在数值分析、机器学习、信号处理等领域有广泛应用。例如,在机器学习中,二范数常用于正则化项,以防止模型过拟合;在信号处理中,二范数用于衡量信号的能量。

示例

考虑向量 x = [ 3 , 4 ] T \mathbf{x} = [3, 4]^\text{T} x=[3,4]T,其二范数为:
∥ x ∥ 2 = 3 2 + 4 2 = 9 + 16 = 25 = 5 \|\mathbf{x}\|_2 = \sqrt{3^2 + 4^2} = \sqrt{9 + 16} = \sqrt{25} = 5 x2=32+42 =9+16 =25 =5
这表示向量 (\mathbf{x}) 在二维空间中的长度为5。


image.png


求解 w

  • 利用 拉格朗日乘子法 对该式子进行转化
    image.png

image.png

image.png

知识点补充 - 广义瑞利商

广义瑞利商(Generalized Rayleigh Quotient)是一种在数学和工程中广泛使用的概念,特别是在信号处理、模式识别和最优化问题中。它是经典瑞利商的推广,用于衡量向量在不同矩阵(通常是对称正定矩阵)下的分布情况。

定义

广义瑞利商的形式如下:

R ( w ) = w ⊤ A w w ⊤ B w R(\mathbf{w}) = \frac{\mathbf{w}^\top \mathbf{A} \mathbf{w}}{\mathbf{w}^\top \mathbf{B} \mathbf{w}} R(w)=wBwwAw

其中, A \mathbf{A} A B \mathbf{B} B 是对称矩阵, B \mathbf{B} B 通常是正定的, w \mathbf{w} w 是一个非零向量。

解释
  • A \mathbf{A} A 通常表示待优化的问题中涉及的矩阵,例如散布矩阵或相关矩阵。
  • B \mathbf{B} B 通常表示一个约束矩阵,比如在模式识别中的类内散布矩阵或协方差矩阵。
  • w \mathbf{w} w 是我们要寻找的向量,使得广义瑞利商 R ( w ) R(\mathbf{w}) R(w) 达到最大或最小。
应用
  1. 线性判别分析 (LDA)
    在模式识别中,LDA 通过最大化类间散布矩阵 S \mathbf{S} S与类内散布矩阵 S w \mathbf{S}_w Sw的广义瑞利商来找到最优的投影方向:
    R ( w ) = w ⊤ S b w w ⊤ S w w R(\mathbf{w}) = \frac{\mathbf{w}^\top \mathbf{S}_b \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_w \mathbf{w}} R(w)=wSwwwSbw

  2. 特征值问题
    广义瑞利商的极值问题可以转化为广义特征值问题,解决矩阵 A w = λ B w \mathbf{A}\mathbf{w} = \lambda \mathbf{B}\mathbf{w} Aw=λBw 中的特征值 λ \lambda λ 和特征向量 w \mathbf{w} w

  3. 振动分析
    在结构工程和机械工程中,用于分析系统在不同状态下的振动模式。

优化广义瑞利商

求解广义瑞利商最大化或最小化的问题通常涉及求解广义特征值问题:
A w = λ B w \mathbf{A} \mathbf{w} = \lambda \mathbf{B} \mathbf{w} Aw=λBw
其中, λ \lambda λ 是广义瑞利商的极值。

通过解这个特征值问题,可以得到使广义瑞利商达到极值的 w \mathbf{w} w 和对应的特征值 λ \lambda λ


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/36957.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vue3中省市区联动在同一个el-form-item中咋么设置rules验证都不为空的效果

在开发中出现如下情况&#xff0c;在同一个el-form-item设置了省市区三级联动的效果 <el-form-item label"地区" prop"extraProperties.Province"><el-row :gutter"20"><el-col :span"12"><el-select v-model&qu…

OpenHarmony开发实战:HDF驱动开发流程

概述 HDF&#xff08;Hardware Driver Foundation&#xff09;驱动框架&#xff0c;为驱动开发者提供驱动框架能力&#xff0c;包括驱动加载、驱动服务管理、驱动消息机制和配置管理。并以组件化驱动模型作为核心设计思路&#xff0c;让驱动开发和部署更加规范&#xff0c;旨在…

Unity3D Excel表格数据处理模块详解

一、引言 在Unity3D开发中&#xff0c;我们经常需要处理大量的数据&#xff0c;这些数据可能是游戏配置、角色属性、道具信息等。Excel表格作为一种常见的数据存储方式&#xff0c;具有结构清晰、易于编辑的特点&#xff0c;因此被广泛应用于游戏开发中。本文将详细介绍如何在…

四川赤橙宏海商务信息咨询有限公司抖音开店靠谱吗?

在数字化浪潮席卷全球的今天&#xff0c;电商行业正以前所未有的速度发展。而在这个大潮中&#xff0c;四川赤橙宏海商务信息咨询有限公司凭借其专业的团队和前瞻性的战略眼光&#xff0c;专注于抖音电商服务&#xff0c;为广大商家提供了一站式解决方案&#xff0c;成为了行业…

面经-常用框架

1.Spring 1.1什么是Spring框架&#xff1f; Spring 是⼀种轻量级开发框架&#xff0c;旨在提⾼开发⼈员的开发效率以及系统的可维护性。 Spring 的 6 个特征:核⼼技术&#xff0c;测试&#xff0c;数据访问&#xff0c;Web⽀持&#xff0c;集成&#xff0c;语⾔ 1.2列举⼀些重…

Ubuntu20.04安装LibTorch并完成高斯溅射环境搭建

0. 简介 最近受到优刻得的使用邀请&#xff0c;正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU&#xff0c;按时收费每卡2.6元&#xff0c;月卡只需要1.7元每小时&#xff0c;并附带200G的免费…

接口自动化测试-项目实战

什么是接口自动化测试&#xff1a;使用工具或代码代替人对接口进行测试 测试项目结构&#xff08;python包&#xff09; 1、接口api包 2、script:业务脚本 3、data:数据 4、config.py :配置文件 5、reporter:报告 错误问题&#xff1a; 1、未打印任何东西。添加pip ins…

走马灯封装

走马灯功能需求&#xff1a; 支持定时切换&#xff1b;支持左右按钮切换&#xff08;根据鼠标是否在切换组件内展示和隐藏左右切换按钮&#xff09;&#xff1b;支持底部标识切换&#xff1b; 走马灯 完整代码如下&#xff1a; /*** class 走马灯*/import react, { Compone…

C语言 指针——缓冲区溢出与缓冲区溢出攻击

目录 缓冲区溢出攻击 缓冲区溢出攻击实例 字符串的安全输入方法​编辑 防止缓冲区溢出的两个要点 缓冲区溢出攻击 网络黑客常针对系统和程序自身存在的漏洞&#xff0c;编写相应的攻击程序  对缓冲区溢出漏洞的攻击 —— 最常见  几乎占到了网络攻击次数的一半以上…

Android (已解决)Gradle 编译失败 Unsupported class file major version 61

文章目录 一、报错原因二、解决方法 一、报错原因 新版本的 Android Studio 默认使用的是 Java 17 LTS&#xff0c;而这个历史项目的 Gradle 版本很低&#xff0c;不支持高版本的 Java。 具体原因&#xff1a;Java 17 (major version 61) 编译的 class 文件&#xff0c;如果在…

逆向学习汇编篇:指令的操作

本节课在线学习视频&#xff08;网盘地址&#xff0c;保存后即可免费观看&#xff09;&#xff1a; ​​https://pan.quark.cn/s/660c759dea95​​ 在逆向工程中&#xff0c;深入理解汇编语言的指令操作是至关重要的。汇编指令是计算机硬件与软件之间的桥梁&#xff0c;它们直…

DevEco Studio有时会多出来.js和.map文件,导致项目不能运行

1、问题 在使用DevEco的时候有时候会出现啥都没干&#xff0c;但是在项目的目录下会自动生成和文件同名的.js和.js.map文件&#xff0c;至于为什么会生成目前我也不知道&#xff0c;如果想要更深了解可以到论坛讨论&#xff1a;华为开发者论坛。生成.js和.js.map文件优…

Terraform基础概念一

Terraform基础概念一 1.Infrastructure-as-Code(IaC)概念1.1 IaC优势1.2 IaC工具1.3 IaC的两种方式 2.Terraform基础概念2.1 Terraform工作原理2.2 Terraform 工作流 3.总结 1.Infrastructure-as-Code(IaC)概念 基础设施即代码&#xff08;Infrastructure-as-Code&#xff0c;…

SVN 的忽略(Ignore)和递归(Recursively)以及忽略部分

SVN中忽略大家经常用到&#xff0c;但总是似懂非懂&#xff0c;下面就详细展开说明一下忽略如何设置。 两个忽略 通常设置忽略都是文件夹和里面的文件都忽略&#xff0c;通常只需要鼠标右键点击忽略就可以了&#xff0c;如图&#xff1a; 第一个忽略用的最多&#xff0c;就是…

关于GPIO的上拉、下拉,无上下拉

1.GPIO_PULLUP&#xff08;上拉&#xff09; 作用和原理 作用&#xff1a;上拉模式会在GPIO引脚和电源电压&#xff08;Vcc&#xff09;之间连接一个内部上拉电阻。原理&#xff1a;当引脚配置为输入模式时&#xff0c;如果引脚没有连接到其他外部电路&#xff0c;内部上拉电…

排序算法(C语言版)

前言 排序作为生产环境中常见的需求之一&#xff0c;对整个产品有举足轻重的影响&#xff0c;可以说使用一个合适的排序算法是业务逻辑中比较重要的一部分。今天我们就来介绍常见的排序算法以及实现 排序 所谓排序无非就是按照特定的规则对一组数据就行顺序化。 常见的排序有…

Spring项目报错解读与全部报错详解

你好,我是Qiuner. 为帮助别人少走弯路和记录自己编程学习过程而写博客 这是我的 github https://github.com/Qiuner ⭐️ ​ gitee https://gitee.com/Qiuner &#x1f339; 如果本篇文章帮到了你 不妨点个赞吧~ 我会很高兴的 &#x1f604; (^ ~ ^) 想看更多 那就点个关注吧 我…

图像大模型中的注意力和因果掩码

AIM — 图像领域中 LLM 的对应物。尽管 iGPT 已经存在 2 年多了&#xff0c;但自回归尚未得到充分探索。在本文中&#xff0c;作者表明&#xff0c;当使用 AIM 对网络进行预训练时&#xff0c;一组图像数据集上的下游任务的平均准确率会随着数据和参数的增加而线性增加。 要运…

uniApp获取实时定位

通过你获取的key放到项目manifest.json里面&#xff0c;对应填写你所需要的key值&#xff0c;还有高德用户名 用户名&#xff1a; key值的位置&#xff1a; 代码&#xff1a; html: <view class"intList pdNone"><view class"label">详细地…

[Cocos Creator] v3.8开发知识点记录(持续更新)

问题&#xff1a;从 cc 里找不到宏定义 CC_PREVIEW 等。 解决方案&#xff1a;找不到就自己定义&#xff0c;将 declare const CC_PREVIEW; 添加到需要的ts文件里。参考&#xff1a;creator3d 找不到宏定义如 CC_EDITOR&#xff0c;CC_PREVIEW&#xff0c;CC_JSB - Creator 3.x…