【机器学习】必会降维算法之：奇异值分解（SVD）

奇异值分解（SVD）

1、引言
2、奇异值分解（SVD）
- 2.1 定义
- 2.2 应用场景
- 2.3 核心原理
- 2.4 算法公式
- 2.5 代码示例
3、总结

1、引言

一转眼，
小屌丝：鱼哥，就要到每年最开心的节日了：六一儿童节。
小鱼：你有啥想法？
小屌丝：想法没有，玩的地方倒是想
小鱼：拉倒吧，我可不去
小屌丝：确定？
小鱼：看情况。
小屌丝：嘿嘿，难得过节日，我们也得放松一下
小鱼：正有此意。
在这里插入图片描述

2、奇异值分解（SVD）

2.1 定义

奇异值分解（SVD）是线性代数中一种重要的矩阵分解方法，它将任意矩阵分解为三个矩阵的乘积形式，即A = UΣV^T，其中

A是待分解的矩阵，
U和V是酉矩阵（正交矩阵在复数域的推广），
Σ是半正定的对角矩阵，
对角线上的元素称为奇异值。

SVD是特征值分解在任意矩阵上的推广，对于非方阵或非对称矩阵也能进行有效分解。

2.2 应用场景

SVD 有着众多应用场景，以下是一些典型的应用：

数据降维：在PCA中使用SVD来降维，以便可视化和减少特征维度。
推荐系统：在协同过滤中，SVD用于分解用户-物品评分矩阵，识别潜在的用户偏好。
图像压缩：通过分解图像矩阵，保留重要奇异值来实现图像压缩。
噪声去除：通过保留主要的奇异值，再构建原始数据以达到去噪效果。

2.3 核心原理

SVD 的核心原理在于矩阵分解，通过将原始矩阵分解为奇异值和奇异向量的乘积，能够提取出矩阵的关键特征。

特别地，奇异值表示矩阵在不同方向上的投影强度，保留主要的奇异值可以保留大部分重要信息，去除不重要的奇异值能够减少噪声和数据冗余。

2.4 算法公式

对于一个 $\times n )$ 矩阵 $\mathbf{A} )$ ，奇异值分解的具体数学表示如下：

$\mathbf{A} = \mathbf{U} \mathbf{\Sigma} \mathbf{V}^T ]$

其中，

A：待分解的m×n矩阵
U：m×m阶酉矩阵，其列向量是AA^T的特征向量
Σ：m×n阶对角矩阵，对角线上的元素是A的奇异值，通常按降序排列
V^{T：n×n阶酉矩阵V的共轭转置，其列向量是A}TA的特征向量。

2.5 代码示例

# -*- coding:utf-8 -*-
# @Time   : 2024-05-30
# @Author : Carl_DJimport numpy as np
import matplotlib.pyplot as plt# 生成一个随机矩阵
np.random.seed(0)
A = np.random.randn(6, 5)# 进行奇异值分解
U, Sigma, VT = np.linalg.svd(A, full_matrices=False)# 重构矩阵
Sigma_matrix = np.diag(Sigma)
A_reconstructed = np.dot(U, np.dot(Sigma_matrix, VT))# 显示原始矩阵和重构矩阵
print("原始矩阵 A:")
print(A)print("\n重构矩阵 A_reconstructed:")
print(A_reconstructed)# 确认重构矩阵与原始矩阵近似相等
assert np.allclose(A, A_reconstructed)# 绘制奇异值
plt.plot(Sigma, 'ro-', linewidth=2)
plt.title('奇异值')
plt.xlabel('索引')
plt.ylabel('值')
plt.show()

代码解析：

首先、生成了一个 6x5 的随机矩阵 ( A )。
其次、使用NumPy的 np.linalg.svd 函数计算矩阵的奇异值分解，得到 $\mathbf{U} )$ ， $\mathbf{\Sigma} )$ 和 $\mathbf{V}^T )$ 。
第三、重构矩阵 ( A ) 并确认其与原始矩阵近似相等。
最后、绘制奇异值，以便可视化奇异值的分布情况。