DataWhale-吃瓜教程学习笔记(四)

学习视频:第3章-二分类线性判别分析_哔哩哔哩_bilibili
西瓜书对应章节: 3.4


文章目录

  • - 算法原理
  • - 损失函数推导
        • -- 异类样本中心尽可能远
        • -- 同类样本方差尽可能小
        • -- 综合
    • 知识点补充 - 二范数
        • 二范数(2-norm)详解
          • 定义
          • 几何意义
          • 性质
          • 应用
          • 示例
    • 求解 w
      • 知识点补充 - 广义瑞利商
        • 定义
        • 解释
        • 应用
      • 优化广义瑞利商


- 算法原理

image.png

- 损失函数推导

---- 投影后 ------

– 异类样本中心尽可能远

image.png

– 同类样本方差尽可能小

image.png

– 综合

image.png

分母为 同类样本之间的关系,分子为异类样本之间的关系,使分子尽量小(同类样本方差尽可能小),分母尽量大(异类样本中心尽量远),则有 M a x Max Max J J J


知识点补充 - 二范数

二范数(2-norm)详解
定义

对于一个n维欧几里得空间中的向量 x = [ x 1 , x 2 , … , x n ] T \mathbf{x} = [x_1, x_2, \ldots, x_n]^\text{T} x=[x1,x2,,xn]T,其二范数定义为:
∥ x ∥ 2 = x 1 2 + x 2 2 + ⋯ + x n 2 = x T x \|\mathbf{x}\|_2 = \sqrt{x_1^2 + x_2^2 + \cdots + x_n^2} = \sqrt{\mathbf{x}^\text{T} \mathbf{x}} x2=x12+x22++xn2 =xTx

几何意义

在二维或三维空间中,二范数表示向量末端到原点的欧几里得距离。例如,在二维空间中,向量 x = [ x 1 , x 2 ] T \mathbf{x} = [x_1, x_2]^\text{T} x=[x1,x2]T 的二范数表示为:
∥ x ∥ 2 = x 1 2 + x 2 2 \|\mathbf{x}\|_2 = \sqrt{x_1^2 + x_2^2} x2=x12+x22
这正是勾股定理的直接应用,表示向量 x \mathbf{x} x 在平面上的长度。

性质
  1. 非负性:对于所有向量 x , ∥ x ∥ 2 ≥ 0 ,且 ∥ x ∥ 2 = 0 当且仅当 x = 0 \mathbf{x},\|\mathbf{x}\|_2 \geq 0,且 \|\mathbf{x}\|_2 = 0 当且仅当 \mathbf{x} = \mathbf{0} xx20,且x2=0当且仅当x=0
  2. 齐次性:对于所有向量 x \mathbf{x} x 和所有标量 c c c ∥ c x ∥ 2 = ∣ c ∣ ∥ x ∥ 2 \|c\mathbf{x}\|_2 = |c|\|\mathbf{x}\|_2 cx2=c∣∥x2
  3. 三角不等式:对于所有向量 x \mathbf{x} x y \mathbf{y} y ∥ x + y ∥ 2 ≤ ∥ x ∥ 2 + ∥ y ∥ 2 \|\mathbf{x} + \mathbf{y}\|_2 \leq \|\mathbf{x}\|_2 + \|\mathbf{y}\|_2 x+y2x2+y2
应用

二范数在数值分析、机器学习、信号处理等领域有广泛应用。例如,在机器学习中,二范数常用于正则化项,以防止模型过拟合;在信号处理中,二范数用于衡量信号的能量。

示例

考虑向量 x = [ 3 , 4 ] T \mathbf{x} = [3, 4]^\text{T} x=[3,4]T,其二范数为:
∥ x ∥ 2 = 3 2 + 4 2 = 9 + 16 = 25 = 5 \|\mathbf{x}\|_2 = \sqrt{3^2 + 4^2} = \sqrt{9 + 16} = \sqrt{25} = 5 x2=32+42 =9+16 =25 =5
这表示向量 (\mathbf{x}) 在二维空间中的长度为5。


image.png


求解 w

  • 利用 拉格朗日乘子法 对该式子进行转化
    image.png

image.png

image.png

知识点补充 - 广义瑞利商

广义瑞利商(Generalized Rayleigh Quotient)是一种在数学和工程中广泛使用的概念,特别是在信号处理、模式识别和最优化问题中。它是经典瑞利商的推广,用于衡量向量在不同矩阵(通常是对称正定矩阵)下的分布情况。

定义

广义瑞利商的形式如下:

R ( w ) = w ⊤ A w w ⊤ B w R(\mathbf{w}) = \frac{\mathbf{w}^\top \mathbf{A} \mathbf{w}}{\mathbf{w}^\top \mathbf{B} \mathbf{w}} R(w)=wBwwAw

其中, A \mathbf{A} A B \mathbf{B} B 是对称矩阵, B \mathbf{B} B 通常是正定的, w \mathbf{w} w 是一个非零向量。

解释
  • A \mathbf{A} A 通常表示待优化的问题中涉及的矩阵,例如散布矩阵或相关矩阵。
  • B \mathbf{B} B 通常表示一个约束矩阵,比如在模式识别中的类内散布矩阵或协方差矩阵。
  • w \mathbf{w} w 是我们要寻找的向量,使得广义瑞利商 R ( w ) R(\mathbf{w}) R(w) 达到最大或最小。
应用
  1. 线性判别分析 (LDA)
    在模式识别中,LDA 通过最大化类间散布矩阵 S \mathbf{S} S与类内散布矩阵 S w \mathbf{S}_w Sw的广义瑞利商来找到最优的投影方向:
    R ( w ) = w ⊤ S b w w ⊤ S w w R(\mathbf{w}) = \frac{\mathbf{w}^\top \mathbf{S}_b \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_w \mathbf{w}} R(w)=wSwwwSbw

  2. 特征值问题
    广义瑞利商的极值问题可以转化为广义特征值问题,解决矩阵 A w = λ B w \mathbf{A}\mathbf{w} = \lambda \mathbf{B}\mathbf{w} Aw=λBw 中的特征值 λ \lambda λ 和特征向量 w \mathbf{w} w

  3. 振动分析
    在结构工程和机械工程中,用于分析系统在不同状态下的振动模式。

优化广义瑞利商

求解广义瑞利商最大化或最小化的问题通常涉及求解广义特征值问题:
A w = λ B w \mathbf{A} \mathbf{w} = \lambda \mathbf{B} \mathbf{w} Aw=λBw
其中, λ \lambda λ 是广义瑞利商的极值。

通过解这个特征值问题,可以得到使广义瑞利商达到极值的 w \mathbf{w} w 和对应的特征值 λ \lambda λ


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/36957.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

OpenHarmony开发实战:HDF驱动开发流程

概述 HDF(Hardware Driver Foundation)驱动框架,为驱动开发者提供驱动框架能力,包括驱动加载、驱动服务管理、驱动消息机制和配置管理。并以组件化驱动模型作为核心设计思路,让驱动开发和部署更加规范,旨在…

四川赤橙宏海商务信息咨询有限公司抖音开店靠谱吗?

在数字化浪潮席卷全球的今天,电商行业正以前所未有的速度发展。而在这个大潮中,四川赤橙宏海商务信息咨询有限公司凭借其专业的团队和前瞻性的战略眼光,专注于抖音电商服务,为广大商家提供了一站式解决方案,成为了行业…

Ubuntu20.04安装LibTorch并完成高斯溅射环境搭建

0. 简介 最近受到优刻得的使用邀请,正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G的免费…

接口自动化测试-项目实战

什么是接口自动化测试:使用工具或代码代替人对接口进行测试 测试项目结构(python包) 1、接口api包 2、script:业务脚本 3、data:数据 4、config.py :配置文件 5、reporter:报告 错误问题: 1、未打印任何东西。添加pip ins…

C语言 指针——缓冲区溢出与缓冲区溢出攻击

目录 缓冲区溢出攻击 缓冲区溢出攻击实例 字符串的安全输入方法​编辑 防止缓冲区溢出的两个要点 缓冲区溢出攻击 网络黑客常针对系统和程序自身存在的漏洞,编写相应的攻击程序  对缓冲区溢出漏洞的攻击 —— 最常见  几乎占到了网络攻击次数的一半以上…

Android (已解决)Gradle 编译失败 Unsupported class file major version 61

文章目录 一、报错原因二、解决方法 一、报错原因 新版本的 Android Studio 默认使用的是 Java 17 LTS,而这个历史项目的 Gradle 版本很低,不支持高版本的 Java。 具体原因:Java 17 (major version 61) 编译的 class 文件,如果在…

DevEco Studio有时会多出来.js和.map文件,导致项目不能运行

1、问题 在使用DevEco的时候有时候会出现啥都没干,但是在项目的目录下会自动生成和文件同名的.js和.js.map文件,至于为什么会生成目前我也不知道,如果想要更深了解可以到论坛讨论:华为开发者论坛。生成.js和.js.map文件优…

Terraform基础概念一

Terraform基础概念一 1.Infrastructure-as-Code(IaC)概念1.1 IaC优势1.2 IaC工具1.3 IaC的两种方式 2.Terraform基础概念2.1 Terraform工作原理2.2 Terraform 工作流 3.总结 1.Infrastructure-as-Code(IaC)概念 基础设施即代码(Infrastructure-as-Code,…

SVN 的忽略(Ignore)和递归(Recursively)以及忽略部分

SVN中忽略大家经常用到,但总是似懂非懂,下面就详细展开说明一下忽略如何设置。 两个忽略 通常设置忽略都是文件夹和里面的文件都忽略,通常只需要鼠标右键点击忽略就可以了,如图: 第一个忽略用的最多,就是…

排序算法(C语言版)

前言 排序作为生产环境中常见的需求之一,对整个产品有举足轻重的影响,可以说使用一个合适的排序算法是业务逻辑中比较重要的一部分。今天我们就来介绍常见的排序算法以及实现 排序 所谓排序无非就是按照特定的规则对一组数据就行顺序化。 常见的排序有…

Spring项目报错解读与全部报错详解

你好,我是Qiuner. 为帮助别人少走弯路和记录自己编程学习过程而写博客 这是我的 github https://github.com/Qiuner ⭐️ ​ gitee https://gitee.com/Qiuner 🌹 如果本篇文章帮到了你 不妨点个赞吧~ 我会很高兴的 😄 (^ ~ ^) 想看更多 那就点个关注吧 我…

图像大模型中的注意力和因果掩码

AIM — 图像领域中 LLM 的对应物。尽管 iGPT 已经存在 2 年多了,但自回归尚未得到充分探索。在本文中,作者表明,当使用 AIM 对网络进行预训练时,一组图像数据集上的下游任务的平均准确率会随着数据和参数的增加而线性增加。 要运…

uniApp获取实时定位

通过你获取的key放到项目manifest.json里面&#xff0c;对应填写你所需要的key值&#xff0c;还有高德用户名 用户名&#xff1a; key值的位置&#xff1a; 代码&#xff1a; html: <view class"intList pdNone"><view class"label">详细地…

爬虫:爬取知乎热榜一级评论及回答2024不包含翻页

一、先上结果&#xff08;注:本文仅为兴趣爱好探究&#xff0c;请勿进行商业利用或非法研究&#xff0c;负责后果自负&#xff0c;与作者无关&#xff09; 1、爬标题及其具体内容 2、抓标题下的对应回答 3、爬取对应一级评论 二、上流程 1、获取cookies&#xff08;相信哥哥姐姐…

静心冥想训练入门|流静

在喧嚣的都市中&#xff0c;我们时常被琐事所困&#xff0c;心灵难以得到片刻的宁静。然而&#xff0c;静心冥想训练如同一扇通往内心宁静的门户&#xff0c;引领我们踏上一段静谧的旅程。 静心冥想&#xff0c;并非遥不可及的高深技艺&#xff0c;而是每个人都能掌握的心灵修炼…

优思学院|「按计划推动型」与「需求拉动型」的生产模式

针对生产架构做对比分类的用语&#xff0c;主要有按计划推进型与需求拉动型。 「按计划推动型」与「需求拉动型」两者乃是生产架构上常使用、成对比的两个用语。不过&#xff0c;有时不只用来指单纯的生产现场架构&#xff0c;也有人把它应用在更广泛的生产架构设计上。 按计划…

【yolov8系列】ubuntu上yolov8的开启训练的简单记录

前言 yolov8的广泛使用&#xff0c;拉取yolov8源码工程&#xff0c;然后配置环境后直接运行&#xff0c;初步验证自己数据的检测效果&#xff0c;在数据集准备OK的情况下 需要信手拈来&#xff0c;以保证开发过程的高效进行。 本篇博客更注意为了方便自己使用时参考。顺便也记录…

每日一题——力扣144. 二叉树的前序遍历(举一反三+思想解读+逐步优化)五千字好文

一个认为一切根源都是“自己不够强”的INTJ 个人主页&#xff1a;用哲学编程-CSDN博客专栏&#xff1a;每日一题——举一反三Python编程学习Python内置函数 Python-3.12.0文档解读 目录 我的写法&#xff1a; 代码结构 时间复杂度 空间复杂度 总结 我要更强 代码说明 …

C语言力扣刷题7——删除排序链表中的重复元素 II——[快慢双指针法]

力扣刷题7——删除排序链表中的重复元素 II——[快慢双指针法] 一、博客声明二、题目描述三、解题思路1、思路说明 四、解题代码&#xff08;附注释&#xff09; 一、博客声明 找工作逃不过刷题&#xff0c;为了更好的督促自己学习以及理解力扣大佬们的解题思路&#xff0c;开辟…

好书安利 | LangChain入门指南:构建高可复用、可扩展的LLM应用程序(送PDF)轻松入门LangChain

《LangChain入门指南》 LangChain作为大模型集成框架鼎鼎大名&#xff0c;这本《LangChain入门指南》是一本很及时的书&#xff0c;值得推荐&#xff5e; 01 为什么需要LangChain 首先想象一个开发者在构建一个LLM应用时的常见场景。 当你开始构建一个新项目时&#xff0c;…