【机器学习】主成分分析(PCA):数据降维的艺术


鑫宝Code

🌈个人主页: 鑫宝Code
🔥热门专栏: 闲话杂谈| 炫酷HTML | JavaScript基础
💫个人格言: "如无必要,勿增实体"


文章目录

  • 主成分分析(PCA):数据降维的艺术
    • 引言
    • PCA的基本概念
    • PCA的步骤
      • 数据预处理
      • 协方差矩阵
      • 特征值分解
      • 主成分的选择
      • 数据投影
    • PCA的应用场景
      • 1. 数据可视化
      • 2. 数据压缩
      • 3. 异常检测
      • 4. 特征提取
    • PCA的优缺点
      • 优点
      • 缺点
    • 结论

主成分分析(PCA):数据降维的艺术

在这里插入图片描述

引言

在数据科学和机器学习领域,处理高维数据是一项挑战。随着维度的增加,数据的复杂性和计算成本也随之上升,这便是所谓的“维度灾难”。主成分分析(Principal Component Analysis,PCA)作为一种经典的数据降维技术,通过寻找数据中的主要变化方向,将高维数据投影到低维空间,从而在保留数据主要信息的同时,简化数据结构,提升算法效率。本文将深入探讨PCA的工作原理、步骤、应用场景以及优缺点,旨在为读者提供一份全面的PCA指南。

PCA的基本概念

PCA的核心思想是通过变换坐标轴,将数据投影到一个新的坐标系上,使得第一轴(称为第一主成分)上的数据方差最大,第二轴(第二主成分)上的数据方差次之,且与第一轴正交,以此类推。这个新的坐标系是由原数据集的协方差矩阵的特征向量构成的,特征向量的方向对应着数据变化最大的方向。

PCA的步骤

数据预处理

假设我们有数据集 X \mathbf{X} X, n n n m m m列,每一行代表一个样本,每一列代表一个特征。PCA的第一步是对数据进行预处理,主要是中心化数据,即减去每一列(特征)的平均值,使数据集的每一列均值为0。

X c = X − μ \mathbf{X_c} = \mathbf{X} - \mu Xc=Xμ

其中, μ \mu μ X \mathbf{X} X的列均值向量。

协方差矩阵

在这里插入图片描述

接下来,计算数据集的协方差矩阵 C \mathbf{C} C,它描述了数据中各特征之间的线性关系。

C = 1 n − 1 X c T X c \mathbf{C} = \frac{1}{n-1}\mathbf{X_c}^T\mathbf{X_c} C=n11XcTXc

协方差矩阵是 m × m m \times m m×m的对称矩阵,其中 C i j \mathbf{C}_{ij} Cij表示第 i i i个特征和第 j j j个特征之间的协方差。

特征值分解

协方差矩阵 C \mathbf{C} C的特征值和特征向量非常重要,因为特征向量指向数据的主要变化方向,而特征值表示在该方向上的方差大小。

v \mathbf{v} v C \mathbf{C} C的一个特征向量, λ \lambda λ为其对应的特征值,满足:

C v = λ v \mathbf{Cv} = \lambda\mathbf{v} Cv=λv

主成分的选择

PCA通过选择协方差矩阵的前(k)个最大特征值对应的特征向量作为主成分。这些特征向量构成矩阵 P \mathbf{P} P,其中每一列都是一个特征向量。

P = [ v 1 , v 2 , . . . , v k ] \mathbf{P} = [\mathbf{v}_1, \mathbf{v}_2, ..., \mathbf{v}_k] P=[v1,v2,...,vk]

其中, v i \mathbf{v}_i vi C \mathbf{C} C的第 ( i ) (i) (i)个最大特征值对应的特征向量。

数据投影

最后,将原始数据集 X c \mathbf{X_c} Xc投影到由前 k k k个主成分构成的新空间中,得到降维后的数据集 Y \mathbf{Y} Y

Y = X c P \mathbf{Y} = \mathbf{X_c}\mathbf{P} Y=XcP

这样, Y \mathbf{Y} Y就是一个 n × k n \times k n×k的矩阵,每一行代表一个样本在降维后空间中的表示。

PCA的应用场景

1. 数据可视化

PCA常用于高维数据的可视化,通过将数据降至二维或三维,便于直观地观察数据的分布和结构。
在这里插入图片描述

2. 数据压缩

在图像和信号处理中,PCA可用于数据压缩,去除冗余信息,减少存储和传输成本。

3. 异常检测

通过PCA降维后,异常值往往在低维空间中更为突出,因此PCA也被用于异常检测。

4. 特征提取

PCA可以用于提取数据中的关键特征,为后续的机器学习模型提供更有意义的输入。

PCA的优缺点

优点

  1. 简单易懂:PCA的概念直观,易于理解和实现。
  2. 降维效果好:能够有效减少数据维度,同时保留大部分数据信息。
  3. 去噪:PCA在降维的过程中,可以去除数据中的噪声。

缺点

  1. 信息损失:尽管PCA能够保留数据的主要变化方向,但在降维过程中不可避免地会丢失一些信息。
  2. 非线性数据:PCA基于线性变换,对于非线性数据结构可能无法很好地捕捉。
  3. 解释性:降维后的主成分可能难以直接与原始特征对应,降低了模型的解释性。

结论

PCA作为一项基础而强大的数据降维技术,在数据科学和机器学习中扮演着重要角色。通过PCA,我们不仅可以有效处理高维数据,还能够在数据可视化、压缩、异常检测等多个方面发挥重要作用。然而,PCA并非万能,其在处理非线性数据和解释性方面存在局限性,因此在实际应用中,应根据数据特性和具体需求,合理选择和应用PCA。随着数据科学的不断发展,PCA也将与其他降维技术一起,持续为数据科学家们提供有力的分析工具。

End

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/43026.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

技术成神之路:设计模式(四)工厂方法模式

1.定义 工厂方法模式(Factory Method Pattern)是一种创建型设计模式,它提供了一种创建对象的接口,而不是通过具体类来实例化对象。工厂方法模式的主要作用是让子类决定实例化哪一个类,从而实现对象创建的延迟到具体子类…

2024年6月国产数据库大事记-墨天轮

本文为墨天轮社区整理的2024年6月国产数据库大事件和重要产品发布消息。 目录 2024年6月国产数据库大事记 TOP102024年6月国产数据库大事记(时间线)产品/版本发布兼容认证代表厂商大事记厂商活动相关资料 2024年6月国产数据库大事记 TOP10 2024年6月国…

最优雅的PHP框架 Laravel

Laravel 之所以被称为最优雅的 PHP 框架,是因为它在设计和功能上做了很多独特的创新,极大地提高了开发效率和代码的可维护性。以下是 Laravel 受欢迎的主要原因: 良好的文档和社区支持 Laravel 有详尽的官方文档,涵盖了框架的所有功能和用法。此外,Laravel 社区非常活跃…

【Python】已解决:SyntaxError invalid syntax

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决:SyntaxError invalid syntax 一、分析问题背景 在Python编程中,SyntaxError: invalid syntax是一个常见的错误,它通常表示代码中存在语法…

.net开发:NPOI生成excel文件到磁盘

源码实测可用 使用.net工具包NPOI,生成excel文件到本地磁盘。 实际项目中可以指定路径到服务器,把生成的文件存放到服务器指定目录。 controller层 [HttpPost("ExportExcel")]public void ExportExcel(){_TestService.ExportToExcel();} serv…

redis中的事务和mysql中的事务有什么区别?

Redis和MySQL的事务在概念和特性上存在一些显著的区别: 1. 原子性(Atomicity): - MySQL:事务具有原子性,即事务中的所有操作要么全部成功,要么全部失败,如果中途出现错误,整个事…

Linux内核 -- 虚拟化之virtqueue结构

Linux Kernel中的Virtqueue Virtqueue是Linux Kernel中用于实现Virtio设备的一个关键数据结构。Virtio是一种虚拟I/O设备标准,旨在简化虚拟化环境中虚拟设备与虚拟机之间的通信。Virtqueue则是实现这种通信的核心机制。以下是Virtqueue的一些关键点: V…

主流I/O模型总结(Linux Windows)

I/O复用模型(EPOLL) 模型思想:向内核注册需要监听的文件描述符,操作系统负责保存监视对象文件描述符,当有事件发生时,epoll_wait仅返回有事件发生的文件描述符数组 优点: 1.无需编写以监视状态为目的的针对所有文件描述符的循环语…

案例|水上水下一体化测量,为九寨沟精准把脉

​ 九寨沟,被誉为“人间仙境”,其湖群以独特的地理位置和优美的自然景观吸引着世界各地的游客,更是九寨沟生态系统中不可或缺的重要组成部分。因此,精准地掌握湖群的地形数据、水体分布及变化情况,能够揭示水下生态系…

【数据结构与算法基础】算法复杂度

欢迎光顾我的homepage 前言 算法就是定义良好的计算过程,它取一个活一组的值输入,并产生出一个或一组值作为输出。简单来说,算法就是一系列的计算步骤,用来将输入数据转化成输出结果。 一、算法效率 如何去衡量一个算法的好坏&am…

[C++]——同步异步日志系统(3)

同步异步日志系统 一、日志系统框架设计1.1模块划分1.1.1 日志等级模块1.1.2 日志消息模块1.1.3 日志消息格式化模块1.1.4 日志落地模块(日志落地的方向是工厂模式)1.1.5 日志器模块(日志器的生成是建造者模式)1.1.6 异步线程模块…

Android12上实现双以太网卡共存同时访问外网

具体实现如下: 修改main 表优先级到9999, 作用:eth0 eth1 访问 不去teardown 低分数网线 diff --git a/service/src/com/android/server/ConnectivityService.java b/service/src/com/android/server/ConnectivityService.java index 418e…

Ubuntu 22.04 设置swap交换空间

经常爆内存,导致很多应用没有办法一直正常运行,可以通过设置swap来缓解一下,虽然和内存的速度无法媲美,但是能一定程度缓解一下问题。 一、查看当前分区 查看当前系统的swap大小 free -m 二、关闭现有的swap分区 将/etc/fstab…

CUDA Kernel调试与优化--背景知识扫盲(LLM生成)

CUDA Kernel调试与优化–背景知识扫盲(LLM生成) 对于使用CUDA进行调试与性能优化,官方提供了丰富的参考资料和工具。以下是一些关键资源,可以帮助你更好地调试和优化CUDA代码: 官方文档和指南 CUDA Toolkit Documentation URL: CUDA Toolk…

强化学习总结(有具体代码实现)

文章目录 第一部分 强化学习基础第1章 强化学习概述1.1 强化学习概念1.2 强化学习的环境1.3 强化学习的目标1.4 强化学习的数据 第2章 多臂老虎机问题(MAB问题)2.1 问题描述2.1.1 问题定义2.1.2 形式化描述2.1.3 累积懊悔2.1.4 估计期望奖励 2.2 解决方法…

CSS 【详解】CSS 函数(含 calc,min,max,clamp,cubic-bezier,env,steps 等)

函数描述CSS 版本attr()返回选择元素的属性值。2calc()允许计算 CSS 的属性值,比如动态计算长度值。3cubic-bezier()定义了一个贝塞尔曲线(Cubic Bezier)。3hsl()使用色相、饱和度、亮度来定义颜色。3hsla()使用色相、饱和度、亮度、透明度来定义颜色。3linear-grad…

Bert 变种, T5模型

NLP-预训练模型-2019-NLU:DistilBERT【 BERT模型压缩】【模型大小减小了40%(66M),推断速度提升了60%,但性能只降低了约3%】_distillbert-CSDN博客 https://zhuanlan.zhihu.com/p/673535548 大语言模型系列-T5_t5模型…

【机器学习】必会数学知识:一文掌握数据科学核心数学知识点(上),值得收藏~

核心数学知识点 1、引言2、数据科学必会数学知识2.1 线性代数2.2 微积分2.3 概率论2.4 数理统计2.5 随机过程2.6 数据分布2.7 贝叶斯统计2.8 线性回归2.9 逻辑回归2.10 矩阵分解2.11 主成分分析(PCA)2.12 奇异值分解(SVD) 3、总结…

【Git 入门】初始化配置与新建仓库

文章目录 前言配置git新建仓库仓库的概念创建仓库命令总结前言 在现代软件开发中,版本控制系统已经成为了不可或缺的工具。其中,Git 是最为广泛使用的版本控制系统之一。Git 不仅可以帮助我们管理和跟踪代码的变化,还可以方便地与他人协作。本文将介绍 Git 的基础知识,包括…

【人工智能大语言模型技术发展研究报告 2024】

文末‍有福利! 人工智能作为引领新一轮科技产业革命的战略性技术和新质生产力重要驱动力,正在引发经济、社会、文化等领域的变革和重塑,2023 年以来,以 ChatGPT、GPT-4 为代表的大模型技术的出台,因其强大的内容生成及…