聊聊基于Alink库的主成分分析(PCA)

概述

主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维和特征提取技术，用于将高维数据转换为低维的特征空间。其目标是通过线性变换将原始特征转化为一组新的互相无关的变量，这些新变量称为主成分，它们按照方差递减的顺序排列，以保留尽可能多的原始数据信息。
主成分分析的基本思想可以总结如下：

  1. 寻找新的特征空间：PCA通过线性变换，寻找一组新的特征空间，使得新的特征具有以下性质：
    • 主成分具有最大的方差，尽可能保留原始数据的信息。
    • 不同主成分之间彼此无关，即它们是正交的（互相垂直）。
  2. 降低数据维度：保留方差较大的主成分，舍弃方差较小的主成分，从而实现数据降维。

主成分分析的步骤如下：

  • 中心化数据：将原始数据进行中心化，使得数据的均值为零。
  • 计算协方差矩阵：计算特征之间的协方差矩阵，描述了特征之间的线性关系。
  • 计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
  • 选择主成分：按照特征值的大小选择保留的主成分数量，通常选择方差较大的前几个主成分。
  • 得到新的特征空间：将原始特征投影到选定的主成分上，得到新的特征空间。

主成分分析的应用包括降维、去除数据噪声、数据可视化、特征选择等。通过保留最重要的特征，可以在减少数据维度的同时保持对数据的关键信息进行捕获。
在实际使用中，有时会将各个变量进行标准化，此时的协方差矩阵就相当于原始数据的相关系数矩阵。所以Alink的主成分分析组件提供了两种计算选择，参数CalculationType可以设置为相关系数矩阵（CORR）或者协方差矩阵（COV），默认为相关系数矩阵，即对标准化后的数据计算其主成分。

Alink库中的实现与应用

示例

以美国50个州的7种犯罪率为例，做主成分分析。这7种犯罪分别是：“murder”, “rape”, “robbery”, “assault”, “burglary”, “larceny”, “auto”。从这7个变量出发来评价各州的治安和犯罪情况是很难的，而使用主成分分析可以把这些变量概括为2-3个综合变量（即主成分），便于更简便的分析这些数据。

/*** 主成分分析* 1.基于默认的计算方式(CORR)，计算主成分* 2.设置K为4，将原先的7个维度降低到4个维度* 3.输出向量列，使用VectorToColumnsBatchOp组组件将向量列转为4个数据列，名称分别为"prin1, prin2, prin3, prin4"* */
static void c_1() throws Exception {MemSourceBatchOp source = new MemSourceBatchOp(CRIME_ROWS_DATA, CRIME_COL_NAMES);source.lazyPrint(10, "Origin data");BatchOperator <?> pca_result = new PCA().setK(4).setSelectedCols("murder", "rape", "robbery", "assault", "burglary", "larceny", "auto").setPredictionCol(VECTOR_COL_NAME).enableLazyPrintModelInfo().fit(source).transform(source).link(new VectorToColumnsBatchOp().setVectorCol(VECTOR_COL_NAME).setSchemaStr("prin1 double, prin2 double, prin3 double, prin4 double").setReservedCols("state")).lazyPrint(10, "state with principle components");pca_result.select("state, prin1").orderBy("prin1", 100, false).lazyPrint(-1, "Order by prin1");pca_result.select("state, prin2").orderBy("prin2", 100, false).lazyPrint(-1, "Order by prin2");BatchOperator.execute();}

当然还可以先将数据标准化后再做主成分分析。如下

/*** 主成分分析* 1. 先将数据标准化* 2. 设置计算方式为协方差计算，设置K为4，将原先的7个维度降低到4个维度* 3.输出向量列，使用VectorToColumnsBatchOp组组件将向量列转为4个数据列，名称分别为"prin1, prin2, prin3, prin4"* */
static void c_2() throws Exception {MemSourceBatchOp source = new MemSourceBatchOp(CRIME_ROWS_DATA, CRIME_COL_NAMES);Pipeline std_pca = new Pipeline().add(new StandardScaler().setSelectedCols("murder", "rape", "robbery", "assault", "burglary", "larceny", "auto")).add(new PCA().setCalculationType(CalculationType.COV).setK(4).setSelectedCols("murder", "rape", "robbery", "assault", "burglary", "larceny", "auto").setPredictionCol(VECTOR_COL_NAME).enableLazyPrintModelInfo());std_pca.fit(source).transform(source).link(new VectorToColumnsBatchOp().setVectorCol(VECTOR_COL_NAME).setSchemaStr("prin1 double, prin2 double, prin3 double, prin4 double").setReservedCols("state")).lazyPrint(10, "state with principle components");BatchOperator.execute();}
应用
在聚类方面的应用

主要通过降维来减少特征的维度，从而在聚类过程中降低数据的复杂度和计算成本，同时提高聚类的效果。主要实现过程如下：

  1. 使用 PCA 对数据进行降维，得到新的特征空间。设置降维后的维度，通常选择较小的维度以减少特征数。
  2. 在降维后的特征空间上应用聚类算法，比如 K-means、DBSCAN 等。
  3. 使用适当的聚类评估指标，如轮廓系数等，来评估聚类的效果。

示例代码如下：

/*** 聚类+主成分分析* 1. 将数据降维，只使用5%的维度数据* 2. K-Means聚类：分别将原始数据与主成分分析后的数据做聚类操作* */
static void c_3() throws Exception {AkSourceBatchOp source = new AkSourceBatchOp().setFilePath(DATA_DIR + SPARSE_TRAIN_FILE);source.link(new PcaTrainBatchOp().setK(39).setCalculationType(CalculationType.COV).setVectorCol(VECTOR_COL_NAME).lazyPrintModelInfo()).link(new AkSinkBatchOp().setFilePath(DATA_DIR + PCA_MODEL_FILE).setOverwriteSink(true));BatchOperator.execute();BatchOperator <?> pca_result = new PcaPredictBatchOp().setVectorCol(VECTOR_COL_NAME).setPredictionCol(VECTOR_COL_NAME).linkFrom(new AkSourceBatchOp().setFilePath(DATA_DIR + PCA_MODEL_FILE),source);Stopwatch sw = new Stopwatch();KMeans kmeans = new KMeans().setK(10).setVectorCol(VECTOR_COL_NAME).setPredictionCol(PREDICTION_COL_NAME);sw.reset();sw.start();kmeans.fit(source).transform(source).link(new EvalClusterBatchOp().setVectorCol(VECTOR_COL_NAME).setPredictionCol(PREDICTION_COL_NAME).setLabelCol(LABEL_COL_NAME).lazyPrintMetrics("KMeans"));BatchOperator.execute();sw.stop();System.out.println(sw.getElapsedTimeSpan());sw.reset();sw.start();kmeans.fit(pca_result).transform(pca_result).link(new EvalClusterBatchOp().setVectorCol(VECTOR_COL_NAME).setPredictionCol(PREDICTION_COL_NAME).setLabelCol(LABEL_COL_NAME).lazyPrintMetrics("KMeans + PCA"));BatchOperator.execute();sw.stop();System.out.println(sw.getElapsedTimeSpan());}

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

五、面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。
在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/51548.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

TinyMCE一些问题

TinyMCE一些问题

1.element 在el-dialog中使用tinymce导致富文本弹窗在el-dialog后面的问题 原因是富文本的弹窗层级太低了 在APP.vue中添加样式即可解决 /* 富文本菜单 */ .tox-tinymce-aux {z-index: 9999 !important; }2.element 在el-dialog中点击富文本的功能栏报错 由于 aria-hidden 属…
阅读更多...
Midjourney、Sora和硅谷机密-《分析模式》漫谈15

Midjourney、Sora和硅谷机密-《分析模式》漫谈15

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 “Analysis Patterns”的Preface&#xff08;前言&#xff09;有这么一句&#xff1a; Kent Beck, Ward Cunningham, and Jim Coplein encouraged me to get involved with the commu…
阅读更多...
虚假的互联网信息？不妨从IT的角度理解【景观社会】

虚假的互联网信息？不妨从IT的角度理解【景观社会】

博主前言&#xff1a;“我思故我在”&#xff0c;笛卡尔的这一哲学命题&#xff0c;大抵上次还比较熟络的时光还是高中亦或复习考研政治的岁月里。这是一个光怪陆离的社会——或者说网络社会&#xff0c;形形色色的消息充斥在脑海之时&#xff0c;你是否还能认识真正的自己&…
阅读更多...
YOLOV8-源码解读-SPP-SPPF

YOLOV8-源码解读-SPP-SPPF

先给出YOLOV8中一键三连卷积模块 def autopad(k, pNone, d1): # kernel, padding, dilation"""Pad to same shape outputs."""if d > 1:k d * (k - 1) 1 if isinstance(k, int) else [d * (x - 1) 1 for x in k] # actual kernel-sizeif…
阅读更多...
全国区块链职业技能大赛样题第9套智能合约+数据库表设计

全国区块链职业技能大赛样题第9套智能合约+数据库表设计

后端源码地址：https://blog.csdn.net/Qhx20040819/article/details/140746050 前端源码地址：https://blog.csdn.net/Qhx20040819/article/details/140746216 智能合约+数据库表设计：https://blog.csdn.net/Qhx20040819/article/details/140746646 nice.sql /* Navicat MySQ…
阅读更多...
分布式事务解决方案(一) 2PC、3PC、TCC、Sega

分布式事务解决方案(一) 2PC、3PC、TCC、Sega

目录 1.绪论 2.2PC 2.1 基本原理 2.1.1 组成 2.1.2 步骤 1.prepare阶段 2.commit阶段 2.2 2PC 存在的问题 2.2.1 阻塞问题 2.2.2 单点故障问题 1. 事务协调器宕机 2.部分数据不一致问题 2.资源管理器宕机 3. 事务协调器和资源管理管理器同时宕机 2.2 实现 2.2.1…
阅读更多...
怎么将几个pdf合成为一个pdf？pdf合成为一个的常用方法

怎么将几个pdf合成为一个pdf？pdf合成为一个的常用方法

在现代的职场和学术环境中&#xff0c;如何将多个独立的PDF文档合并成一个统一的文件已经成为提高工作效率、优化文档管理和促进信息共享的重要手段。PDF格式以其卓越的跨平台兼容性、强大的数据保护能力以及清晰易读的版面设计&#xff0c;在全球范围内得到了广泛的应用和认可…
阅读更多...
2-45 基于matlab的递归最小二乘法（RLS）对声音信号去噪

2-45 基于matlab的递归最小二乘法（RLS）对声音信号去噪

基于matlab的递归最小二乘法&#xff08;RLS&#xff09;对声音信号去噪,并对消噪前后的信号进行FFT分析&#xff0c;对比消噪前后的效果。可替换自己的声音信号进行分析。程序已调通&#xff0c;可直接运行。 2-45 递归最小二乘法&#xff08;RLS&#xff09; FFT分析 - 小红书…
阅读更多...
系统移植（七）u-boot移植 ④ trusted版本

系统移植（七）u-boot移植 ④ trusted版本

文章目录 一、U-boot源码适配&#xff08;一&#xff09;执行make stm32mp15_trusted_defconfig命令进行配置&#xff0c;生成.config文件&#xff08;二&#xff09;执行make menuconfig命令&#xff0c;对u-boot源码进行重新配置1. 对u-boot源码进行配置&#xff0c;移除pmic…
阅读更多...
wire和reg的区别

wire和reg的区别

在 Verilog 中&#xff0c;wire 和 reg 是两种不同的数据类型&#xff0c;用于表示信号或变量。它们在 Verilog 中的使用场景和行为有一些区别&#xff1a; ### wire&#xff1a; - wire 类型用于连接组合逻辑电路中的信号&#xff0c;表示电路中的连线或信号传输线。 - wire …
阅读更多...
【C++进阶学习】第十弹——哈希的原理与实现——链地址法的原理与讲解

【C++进阶学习】第十弹——哈希的原理与实现——链地址法的原理与讲解

开放地址法&#xff1a;【C进阶学习】第九弹——哈希的原理与实现——开放寻址法的讲解-CSDN博客 前言&#xff1a; 哈希的整体思想就是建立映射关系&#xff0c;前面的开放地址法的讲解中&#xff0c;也对哈希的原理做了详细的讲解&#xff0c;今天就来讲解一下实现哈希的另一…
阅读更多...
Java NIO （一）

Java NIO （一）

因工作需要我接触到了netty框架&#xff0c;这让我想起之前为夺高薪而在CSDN购买的Netty课程。如今看来&#xff0c;这套课程买的很值。这套课程中关于NIO的讲解&#xff0c;让我对Tomcat产生了浓厚的兴趣&#xff0c;于是我阅读了Tomcat中关于服务端和客户端之间连接部分的源码…
阅读更多...
题解|2024暑期牛客多校04

题解|2024暑期牛客多校04

【原文链接】 比赛链接&#xff1a;2024牛客暑期多校训练营4 A.LCT 题目大意 给定一棵有根树&#xff0c;问按顺序给定的前 i i i 条边组成的森林中&#xff0c;以 c i c_i ci​ 为根的树的深度。 解题思路 按步骤生成森林的过程&#xff0c;与并查集合并的过程一致。 …
阅读更多...
Matlab freqz 代码简单实现

Matlab freqz 代码简单实现

相关代码打开matlab源码也可以看到&#xff0c;这里做了简单实现&#xff0c;与源码并不完全一样。 实现代码 [h2 w2] freqzfir(data); [h1 w1] freqz(data); h2h2; h12 [h1, h2];[h4 w4] freqziir(b,a, 2001,true); [h3 w3] freqz(b,a, w4, whole); h4 h4; h34 h…
阅读更多...
libtorch + cuda12.5 cmake配置

libtorch + cuda12.5 cmake配置

cmake_minimum_required(VERSION 3.28) project(OpenCV)set(CMAKE_CXX_STANDARD 17)find_package(Torch REQUIRED) find_package(libcudacxx REQUIRED)add_executable(Torch main.cpp) target_link_libraries(Torch ${TORCH_LIBRARIES})
阅读更多...
如何快速获取全网精准客流？揭秘不为人知的5大运营策略！

如何快速获取全网精准客流？揭秘不为人知的5大运营策略！

有同行所在的地方&#xff0c;就一定拥有咱们需要的客户。客户看的是结果&#xff0c;搜索的是问题&#xff0c;寻找的是答案。 如果没有付费流量&#xff0c;单纯靠搞免费流量&#xff0c;很多大厂的运营也会变得一文不值。一个牛逼的运营&#xff0c;不仅是会做付费流量&…
阅读更多...
函数返回类型后置

函数返回类型后置

C11标准中的函数返回类型后置语法&#xff0c;可以让返回复杂类型的函数声明更加清晰易读。 auto foo()->int {return 42; } 以上代码中的函数声明等同于int foo()&#xff0c;只不过采用了函数返回类型后置的方法&#xff0c;其中auto是一个占位符&#xff0c;函数名后-&…
阅读更多...
YOLOv8 目标跟踪、车速检测、车流量统计

YOLOv8 目标跟踪、车速检测、车流量统计

原文：YOLOv8 目标跟踪、车速检测、车流量统计 - 知乎 (zhihu.com) 一、目标跟踪 YOLOv8_ ByteTrack目标跟踪、模型部署_yolov8-track-CSDN博客 二、车速检测、车流量统计 YOLO 车辆测速-CSDN博客 import cv2 import pandas as pd import numpy as np from ultralytics im…
阅读更多...
100、Python 关于时间日期的一些操作

100、Python 关于时间日期的一些操作

在Python中&#xff0c;我们用于处理时间和日期相关的类型最常用的模块是datetime模块。该模块提供了很多与时间日期相关的类&#xff0c;对我们处理时间日期变得很方便。 以下是一些常见的关于时间日期的操作。 一、datetime类 1、获取当前日期和时间&#xff08;年、月、日…
阅读更多...
leetcode10 -- 正则表达式匹配

leetcode10 -- 正则表达式匹配

题目描述&#xff1a; 给你一个字符串 s 和一个字符规律 p&#xff0c;请你来实现一个支持 . 和 * 的正则表达式匹配。 . 匹配任意单个字符* 匹配零个或多个前面的那一个元素 所谓匹配&#xff0c;是要涵盖 整个 字符串 s的&#xff0c;而不是部分字符串。 示例 1&#xff1…
阅读更多...
最新文章

Copyright @ 2022~2023