【Python/Pytorch - 网络模型】-- 高阶SVD算法

在这里插入图片描述

文章目录

文章目录

00 写在前面
01 基于Python版本的高阶SVD算代码
02 HOSVD 的步骤

00 写在前面

高阶奇异值分解（Higher-Order SVD，HOSVD）是一种将传统的奇异值分解（SVD）扩展到高阶张量的方法。它能够将一个高阶张量分解成一个核心张量和一组正交矩阵，类似于将矩阵分解成奇异值矩阵和两个正交矩阵。HOSVD 在多维数据分析、压缩和降维等领域有广泛应用。

01 基于Python版本的高阶SVD算代码

import numpy as np
import tensorly as tl
from tensorly.decomposition import tucker# Create a random 3rd-order tensor
tensor = np.random.rand(3, 4, 5)# Perform HOSVD (Tucker decomposition)
core, factors = tucker(tensor, ranks=[3, 4, 5])print("Core tensor shape:", core.shape)
print("Factor matrices shapes:", [factor.shape for factor in factors])# Reconstruct the tensor
reconstructed_tensor = tl.tucker_to_tensor((core, factors))# Verify reconstruction accuracy
print("Original tensor shape:", tensor.shape)
print("Reconstructed tensor shape:", reconstructed_tensor.shape)
print("Reconstruction error:", np.linalg.norm(tensor - reconstructed_tensor))

高阶奇异值分解 (HOSVD) 介绍

基本概念

HOSVD 的基本思想是将一个 N 维张量 $\mathcal{X}$ 分解为一个核心张量 $\mathcal{S}$ 和一组因子矩阵 $U^{(1)}, U^{(2)}, \ldots, U^{(N)}$ 的乘积，这些因子矩阵是正交的。具体来说，对于一个三阶张量 $\mathcal{X}$ ，HOSVD 可以表示为：

$\mathcal{X} = \mathcal{S} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)}$

其中：

$\mathcal{X}$ 是原始张量。
$\mathcal{S}$ 是核心张量。
$U^{(i)}$ 是正交矩阵，表示第 $i$ 维的因子矩阵。
$\times_i$ 表示在第 $i$ 维上的张量-矩阵乘积。

02 HOSVD 的步骤

构造模式矩阵：
- 对于每一个模式（维度），将张量展平为矩阵，称为模式矩阵。例如，对于一个三阶张量 $\mathcal{X}$ ，我们可以得到三个模式矩阵 $X_{(1)}, X_{(2)}, X_{(3)}$ 。
计算奇异值分解：
- 对每个模式矩阵进行奇异值分解（SVD），得到奇异值矩阵和左右奇异矩阵。对于模式矩阵 $X_{(i)}$ ，可以得到 $X_{(i)} = U^{(i)} \Sigma^{(i)} (V^{(i)})^T$ 。
构造因子矩阵：
- 从每个模式矩阵的 SVD 结果中提取左奇异矩阵 $U^{(i)}$ 作为对应维度的因子矩阵。
计算核心张量：
- 使用张量-矩阵乘积计算核心张量 $\mathcal{S}$ ，即 $\mathcal{S} = \mathcal{X} \times_1 (U^{(1)})^T \times_2 (U^{(2)})^T \times_3 (U^{(3)})^T$ 。