线性代数|机器学习-P18快速下降奇异值

文章目录

  • 1. 为什么要低秩矩阵

1. 为什么要低秩矩阵

我们的世界里面有很多数据,如果我们原封不动的发送数据,那么会导致数据量的增大,我们希望对数据进行压缩后再打包压缩,这样的话我们能够在带宽一定的情况下发送更多的数据,举例,假设我们有一个矩阵X,我们可以经过SVD奇异值分解得到如下:

  • 假设矩阵 n × n n\times n n×n 矩阵的秩为k
    X = σ 1 u 1 v 1 T + σ 2 u 2 v 2 T + ⋯ + σ k u k v k T + σ k + 1 u k + 1 v k + 1 T + ⋯ + σ n u n v n T \begin{equation} X=\sigma_1u_1v_1^T+\sigma_2u_2v_2^T+\cdots+\sigma_ku_kv_k^T+\sigma_{k+1}u_{k+1}v_{k+1}^T+\cdots+\sigma_nu_nv_n^T\end{equation} X=σ1u1v1T+σ2u2v2T++σkukvkT+σk+1uk+1vk+1T++σnunvnT
  • 我们知道矩阵X的奇异值关系如下:
    σ 1 ≥ σ 2 ≥ ⋯ ≥ σ k ≥ σ k + 1 ≥ ⋯ ≥ σ n \begin{equation} \sigma_1\ge\sigma_2\ge\cdots\ge\sigma_k\ge\sigma_{k+1}\ge\cdots\ge\sigma_{n} \end{equation} σ1σ2σkσk+1σn
  • 如果矩阵X的秩为k,那么可得:
    σ k + 1 = ⋯ = σ n = 0 \begin{equation} \sigma_{k+1}=\cdots=\sigma_{n}=0 \end{equation} σk+1==σn=0
  • 在没有低秩压缩的情况下,我们发送数据大小 S 1 S_1 S1为,直接长=n宽=n相乘
    S 1 = n ∗ n = n 2 \begin{equation} S_1=n*n=n^2 \end{equation} S1=nn=n2
  • SVD奇异值分解后可得:
    X = σ 1 u 1 v 1 T + σ 2 u 2 v 2 T + ⋯ + σ k u k v k T \begin{equation} X=\sigma_1u_1v_1^T+\sigma_2u_2v_2^T+\cdots+\sigma_ku_kv_k^T \end{equation} X=σ1u1v1T+σ2u2v2T++σkukvkT
  • 在低秩压缩的后下,我们发送数据大小 S 2 S_2 S2为,其中每个
    S 2 = ( n + n ) ∗ k = 2 n k \begin{equation} S_2=(n+n)*k=2nk \end{equation} S2=(n+n)k=2nk
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/859772.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

通过ETLCloud实现SQL Server数据同步至Oracle

SQL Server与Oracle作为全球两大主流的关系型数据库管理系统(RDBMS),在企业级应用中扮演着至关重要的角色。它们各自凭借独特的技术优势、强大的数据处理能力以及高度的可扩展性,支撑着从中小型企业到大型跨国公司的各类复杂业务需…

区块链学习03-空投篇

Hybrid 是与 以太坊 兼容的第 2 层区块链,集成了混合专家 (MoE) 框架,支持以即插即用的方式轻松创建和货币化 AI 代理。该平台旨在提高区块链应用程序中数据的完整性和可用性,支持跨各个行业开发和部署 AI 驱动的解决方案。 Hybrid 正在为其…

服务器重启后jenkins任务内容不见了,并且新建任务也不见了

服务器centos7.4 背景:服务器异常重启后,jenkins上面的任务只剩下一些前端项目,后端的任务都不展示了,jenkins版本是Jenkins 2.346.3 解决方案:根据显示,jenkins很多的插件引用失败,显示需要升…

ModuleNotFoundError: No module named ‘h5py‘

到 ModuleNotFoundError: No module named h5py 错误表明 Python 环境中没有安装 h5py 模块。h5py 是一个用于处理 HDF5 二进制数据格式的 Python 接口,广泛用于大规模存储和操纵数据。 解决方案:安装 h5py 要解决这个问题,你需要在你的 Py…

报错:ERROR_ No matching distribution found for gitpython_=3.1.30

版本不匹配 当前安装环境:python3.8 pytorch2.1.2 预估pytorch版本太高 重新安装环境:python3.9 pytorch1.9.1 问题得到解决 python和pytorch对应版本参考

mvn配置中repository和mirror的区别

文章目录 前言一、 repository二、 mirror三、 具体区别四、 使用场景总结 前言 平时在配置mvn仓库地址的时候,总是会百度一下,有时候文章让用repository配置,有时候用mirror,配置起来都能用,于是就不怎么在意他们的区…

EcmaScript6全新语法特性-----EcmaScript6(1)

age : 20,language : "Eng"}// 对象也可以用结构表达式来获取对应的值const { name,age,language} person;// 这样可以将我们获取的值name变成abc这个变量// const { name:abc,age,language} person;// 字符串拓展let str "Hello,vue";// 判断是否以xxx…

.idea文件夹里面iml文件有啥用

.idea文件夹和其中的.iml文件对于IntelliJ IDEA项目非常重要,它们共同构成了IDEA对项目理解的基础。让我们详细了解一下这两者的作用: .idea文件夹 .idea文件夹包含了IntelliJ IDEA项目的所有配置信息,包括但不限于: 编译器设置…

中考加油 医路护航有青海东大肛肠医院

中考临近,考生的健康成了家长最为关心的问题。科学饮食不但可以促进广大考生的身体在炎热季节中正常代谢,而且能够很好地提高他们的学习效率,改善他们迎考状态, 助力考生调整状态迎接考试,西宁市城西区青海东大肛肠医…

No module named ‘tvtk.custom.light‘

pip list numpy是2.0.0 mayavi报错: File "tvtk_classes/tvtk_helper.py", line 22, in get_module ModuleNotFoundError: No module named tvtk.custom.light 解决方法: pip install numpy1.26 mayavi 4.8.2 vtk 9.3.0

七人团购新体验:解锁数字时代购物新篇章

在数字化浪潮的推动下,购物体验正迈向新的里程碑。其中,七人团购模式以其独特的魅力和创新性,为消费者带来了前所未有的实惠与便利。现在,让我们一同探索这一新兴购物模式的运作机制与潜在价值,特别是针对一款标价599元…

宝塔面板一键迁移项目站点教程

此插件仅用于将当前机器数据迁移出去,数据接收机器无需安装此插件。 注意事项: 当前教程仅适用《宝塔一键迁移API版本》插件,版本号 >3.0。 推荐迁移面板版本 > 6.9.5,低版本迁移可能存在部分数据无法迁移成功。 面板版…

cube studio开源一站式机器学习平台:k3s部署cube-studio

全栈工程师开发手册 (作者:栾鹏) 一站式云原生机器学习平台 前言 开源地址:https://github.com/tencentmusic/cube-studio cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户&…

解决Element-ui的el-table固定列后出现的表格错位问题

问题情况大致是这样的: 查看官网 解决办法:

RubyMine 2024 mac/win版:智慧编程,从心出发

JetBrains RubyMine 2024 是一款专为Ruby和Rails开发者打造的高效集成开发环境(IDE)。它凭借其卓越的性能和丰富的功能,帮助开发者在Ruby和Rails的开发过程中提升效率,减少错误。 RubyMine 2024 mac/win版获取 RubyMine 2024 提供了强大的代码编辑功能&…

科东软件@你逛华南工博会,展会亮点给你整理好了

随着工业AI、5G、边缘计算等前沿技术的迅速发展,未来工业正朝着大规模智能生产和柔性生产的方向稳步迈进。东土科技紧跟产业发展潮流,结合自身在工业底层控制技术、网络技术等方面的深厚积累,积极创新。 亮点带你看 鸿道操作系统&#xff0…

VMware Workstation安装Windows Server2019系统详细操作步骤

虚拟机版本 VMware Workstation 16 Prp 16.2.5 build-20904516 实现操作 创建虚拟机 创建新的虚拟机 自定义->下一步 默认即可,下一步 稍后安装操作系统->下一步 按照图下所示选择好系统->下一步 设置好虚拟机名称和位置->下一步 默认即可&#xff0…

5个wordpress成品站主题

Sora索啦高端制造业wordpress主题 红色高端制造业wordpress主题,适合外贸企业出海建独立站的wordpress模板。 https://www.jianzhanpress.com/?p5885 Polar钋啦wordpress外贸主题 制造业wordpress网站模板,适合生产制造企业官方网站使用的wordpress外…

mock-前端数据模拟

简介 数据模拟不是开发流程中的必要一环 Json-server 简介: json-server 是一个简单的 Node.js 服务端应用程序,这个工具的主要作用是提供一个模拟的后端服务,可以在前端开发过程中独立于后端进行简单工作。 使用: 1、 安装…

作为一个AI语言模型,我没有个人期待或情感。

更高的准确性和理解能力:未来的模型可能会在理解上下文、推理能力和生成准确回答方面表现得更加出色。 更好的多语言支持:改进后的模型可能会在处理和生成多种语言的文本方面表现得更好,使其在全球范围内的应用更加广泛和有效。 增强的对话…