House holder reflections and Givens rotations

Householder反射和Givens旋转是两种常见的线性代数方法，用于将一个矩阵分解为正交矩阵(Q)和上三角矩阵®，即QR分解。它们在数值线性代数中非常重要，特别是在求解线性方程组和特征值问题中。以下是这两种方法的原理及它们与QR分解的关系：

Householder反射 (Householder Reflection)

Householder反射是一种利用反射将一个向量转换为另一个向量的方法。具体来说，Householder反射可以用于将一个向量变成一个特定方向的向量，比如将一个向量变成与标准基向量平行的向量。这种方法的主要特点是，它可以在很少的运算步骤中完成这一操作，因此在数值计算中非常高效。

原理：

给定一个向量 $x$ ，我们希望将其转换为与标准基向量 $e_1$ 平行的向量。为此，我们构造一个Householder矩阵 $H$ 。
Householder矩阵 $H$ 的形式为：
$\frac{vv^T}{v^Tv}$
其中， $v$ 是一个特定构造的向量，使得 $H x$ 与 $e_1$ 平行。

步骤：

选择 $\text{sign}(x_1) \|x\|_2 e_1$ ，其中 $x\|_2$ 是 $x$ 的2-范数， $\text{sign}(x_1)$ 是 $x_1$ 的符号。
计算 $H$ 并使用 $H$ 对原矩阵 $A$ 进行反射，得到一个新的矩阵 $A^{'}$ ，其中v对应的列被转换为与标准基向量平行，即列中对应行的元素不为0，其余元素均为0。

通过多次应用Householder反射，我们可以将矩阵 $A$ 转换为一个上三角矩阵 $R$ ，同时累积这些反射矩阵以形成正交矩阵 $Q$ 。

Givens旋转 (Givens Rotation)

Givens旋转是一种通过旋转将一个向量的某个分量置零的方法。这种方法非常适合用于稀疏矩阵，因为它可以有选择地仅对矩阵的某些元素进行操作。

原理：

Givens旋转通过构造一个旋转矩阵 $G$ 来对两个元素进行旋转，使得其中一个元素变为零。
Givens旋转矩阵 $G(i,j,\theta)$ 的形式为：
$\begin{bmatrix} 1 & & & & & \\ & \ddots & & & & \\ & & c & & s & \\ & & & 1 & & \\ & & -s & & c & \\ & & & & & \ddots \\ & & & & & & 1 \\ \end{bmatrix}$
其中， $\cos(\theta)$ 和 $\sin(\theta)$ 。

步骤：

选择 $\theta$ 使得 $\frac{a}{\sqrt{a^2 + b^2}}$ 和 $\frac{b}{\sqrt{a^2 + b^2}}$ ，其中 $a$ 和 $b$ 是矩阵中要被操作的两个元素。
通过旋转矩阵 $G$ 对矩阵进行操作，将其中一个元素置零。

eg:
$\begin{bmatrix} c & s\\ -s & c \end{bmatrix}, v=\begin{bmatrix} a\\b\end{bmatrix}$
则可得：
$Gv=\begin{bmatrix} cos\theta *a+sin\theta *b\\-sin\theta *a+cos\theta *b\end{bmatrix} =\begin{bmatrix} a+b\\0\end{bmatrix}$

通过多次应用Givens旋转，可以将矩阵 $A$ 转换为上三角矩阵 $R$ ，同时累积这些旋转矩阵以形成正交矩阵 $Q$ 。

Householder反射和Givens旋转与QR分解的关系

这两种方法都可以用于QR分解，但它们有各自的优缺点：

Householder反射通常在处理密集矩阵时更有效，因为它每次操作可以消去一个向量中的多个元素，从而减少总的运算次数。
Givens旋转在处理稀疏矩阵时更有效，因为它可以有选择地仅对矩阵的某些元素进行操作，从而保持矩阵的稀疏性。

总体来说，QR分解的目标是通过一系列的正交变换（Householder反射或Givens旋转）将原矩阵 $A$ 分解为一个正交矩阵 $Q$ 和一个上三角矩阵 $R$ ：
$A = QR$
其中， $Q$ 是一个正交矩阵， $R$ 是一个上三角矩阵。Householder反射和Givens旋转提供了实现这一目标的两种不同方法。