MKL学习——线性代数概念相关

前言

回顾一下BLAS Level 1 2 3中的运算都有什么类型

BLAS Level 1

在BLAS Level 1中，进行的是向量-向量的操作。其中相关概念有
- 向量类型: 实数域，复数域，共轭
- 运算操作: 元素求和，向量相加，向量拷贝，点乘，二范数(欧几里得范数)，向量绕点旋转，Givens旋转，改进Givens旋转，计算Givens旋转参数，标量与向量的乘积，向量交换，查找最大最小值，复数域向量的绝对值
BLAS Level 2

在BLAS Level 2中，进行的是矩阵-向量的操作。其中相关概念有
- 矩阵类型: 一般带状矩阵，一般矩阵，Hermitian带状矩阵，Hermitian矩阵，Hermitian压缩矩阵，对称带状矩阵，对称压缩矩阵，对称矩阵，三角带状矩阵，三角压缩矩阵，三角矩阵
- 运算操作: 矩阵-向量乘积，一阶更新，二阶更新，解线性方程组
BLAS Level 3

在BLAS Level 3中，进行的是矩阵-矩阵的操作。其中相关概念有
- 矩阵类型:一般矩阵，Hermitian矩阵，对称矩阵，三角矩阵
- 运算操作: 矩阵乘法，k阶更新，2k阶更新，解方程

向量矩阵类型学习

向量

实数域

$x = [1, 2, 3.1, 4]$ $x=[1\ ,\ 2\ ,\ 3.1\ ,\ 4]$
元素为实数的就叫实数域上的向量
复数域

$x = [- i, - 2 i, - 3 i, - 4 i] x = [4 - i, 3 - 2 i, 2 - 3 i, 1 - 4 i]$ $x=[-i , -2i,-3i,-4i]\\x=[4-i \ ,\ 3-2i\ ,\ 2-3i\ ,\ 1-4i]$
元素为复数的就叫复数域上的向量，第一个向量的实部为0，第二个向量的实部非0
共轭向量

当两个复数的实部相等，虚部互为相反数时，这两个复数叫做互为共轭复数，实数的共轭复数就是本身

矩阵

一般矩阵

$A = ⎡ ⎣ ⎢ a 11 a 21 a 31 a 12 a 22 a 32 a 13 a 23 a 33 ⎤ ⎦ ⎥$ $A=\begin{bmatrix}a_{11}&a_{12}&a_{13}\\a_{21}&a_{22}&a_{23}\\a_{31}&a_{32}&a_{33}\end{bmatrix}$
带状矩阵

如果矩阵 $A=a_{ij}$ 是一个 $n*n$ 的矩阵，假设在对角边界带状区域之外的所有元素都是0，其中边界范围由常数 $k_1$ 和 $k_2$ 决定，那么就有

$当 j < (i - k 1) 或者 j > (i + k 2) 的时候有 a i j = 0$ $当j<(i-k_1)或者j>(i+k_2)的时候有a_{ij}=0$
这里面的 $k_1$ 称为下带宽(lower bandwidth)， $k_2$ 称为上带宽(upper bandwidth)
$A = ⎡ ⎣ ⎢ a 11 00 a 12 a 22 0 0 a 23 a 33 ⎤ ⎦ ⎥$ $A=\begin{bmatrix}a_{11}&a_{12}&0\\0&a_{22}&a_{23}\\0&0&a_{33}\end{bmatrix}$
三角带状矩阵

当带状矩阵的 $k_1=k_2=1$ 的时候，就是三角带状矩阵了

$A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ B 11 B 21 0 ⋮ ⋮ 0 B 12 B 22 B 32 ⋱ ⋱ \dots 0 B 23 B 33 B 43 ⋱ \dots \dots ⋱ B 34 B 44 B 54 0 \dots ⋱ ⋱ B 45 B 55 B 65 0 ⋮ ⋮ 0 B 56 B 66 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥$ $A=\begin{bmatrix}B_{11}&B_{12}&0&\cdots&\cdots&0\\B_{21}&B_{22}&B_{23}&\ddots&\ddots&\vdots\\0&B_{32}&B_{33}&B_{34}&\ddots&\vdots\\\vdots&\ddots&B_{43}&B_{44}&B_{45}&0\\\vdots&\ddots&\ddots&B_{54}&B_{55}&B_{56}\\0&\cdots&\cdots&0&B_{65}&B_{66}\end{bmatrix}$
Hermitian矩阵

Hermitian矩阵(也称为self-adjoint矩阵)，是一个复数方阵，与它自己的共轭转置是相等的；也就是说第i行第j列的元素等于它的共轭转置矩阵的第j行第i列，对于所有的索引i,j都有

$a i j = a j i ¯ ¯ ¯ ¯ A = A H ¯ ¯ ¯ ¯ ¯$ $a_{ij}=\overline{a_{ji}}\\A=\overline{A^H}$
一个实例就是
$A = ⎡ ⎣ ⎢ 2 2 - i 4 2 + i 3 - i 4 i 1 ⎤ ⎦ ⎥$ $A=\begin{bmatrix}2&2+i&4\\2-i&3&i\\4&-i&1\end{bmatrix}$
三角矩阵

$A = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ a 11 a 21 a 31 ⋮ a n 1 a 22 a 32 ⋮ a n 2 ⋱ ⋱ \dots ⋱ a n, n - 1 0 a n, n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥$ $A=\begin{bmatrix}a_{11}& & & & 0\\a_{21}&a_{22}& & &\\a_{31}&a_{32}&\ddots& &\\\vdots&\vdots&\ddots&\ddots& \\a_{n1}&a_{n2}&\cdots&a_{n,n-1}&a_{n,n}\end{bmatrix}$
称为下三角矩阵(lower triangular matrix)或者左三角矩阵(left triangular matrix)。同理还有上三角矩阵就不说了。
对称矩阵

对称矩阵就是一个转置等于它自身的一个方阵

$A = A T$ $A=A^T$
例如
$A = ⎡ ⎣ ⎢ 173 74 - 5 3 - 5 6 ⎤ ⎦ ⎥$ $A=\begin{bmatrix}1&7&3\\7&4&-5\\3&-5&6&\end{bmatrix}$
压缩存储

在Cblas中提供了很多压缩存储，但是目前还没分析透彻，有兴趣可以看看英文文档，其中提供了各种转换压缩存储的主程序。主要包含的压缩存储有:
- 带状压缩存储
- 按列存储时候Hermitian矩阵的上三角带状存储；按行存储时候Hermitian矩阵的下三角带状存储
- 对称矩阵的上三角压缩存储；对称矩阵的下三角压缩存储
- 按列存储时候上三角带状矩阵或者下三角带状矩阵的压缩存储；按行存储的时候上三角带状矩阵或者下三角带状矩阵的压缩存储

向量矩阵操作学习

向量-向量

Givens旋转

直接从维基百科上搬过来：

== 矩阵表示 ==
吉文斯旋转表示为如下形式的[[矩阵]]

$G (i, j, θ) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 1 ⋮ 0 ⋮ 0 ⋮ 0 \dots ⋱ \dots \dots \dots 0 ⋮ c ⋮ s ⋮ 0 \dots \dots ⋱ \dots \dots 0 ⋮ - s ⋮ c ⋮ 0 \dots \dots \dots ⋱ \dots 0 ⋮ 0 ⋮ 0 ⋮ 1 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥$ $G(i, j, \theta) = \begin{bmatrix} 1 & \cdots & 0 & \cdots & 0 & \cdots & 0 \\\vdots & \ddots & \vdots & & \vdots & & \vdots \\0 & \cdots & c & \cdots & -s & \cdots & 0 \\\vdots & & \vdots & \ddots & \vdots & & \vdots \\0 & \cdots & s & \cdots & c & \cdots & 0 \\\vdots & & \vdots & & \vdots & \ddots & \vdots \\0 & \cdots & 0 & \cdots & 0 & \cdots & 1\end{bmatrix}$
这里的 c= cos(θ) 和 s = sin(θ) 出现在第 ”i” 行和第 ”j” 行与第 ”i” 列和第 ”j” 列的交叉点上。就是说，吉文斯旋转矩阵的所有非零元定义如下：
$g k k g i i g j j g i j g j i = 1 for k \neq i, j = c = c = - s = s$ $\begin{align}g_{k\, k} &{}= 1 \qquad \text{for} k \neq i,j \\g_{i\, i} &{}= c \\g_{j\, j} &{}= c \\g_{i\, j} &{}= -s \\g_{j\, i} &{}= s\end{align}$

乘积 $G(i, j, θ)*x$ 表示向量 $x$ 在 $(i,j)$ 平面中的逆时针旋转 θ 弧度。

Givens 旋转在数值线性代数中主要的用途是在向量或矩阵中介入零。例如，这种效果可用于计算矩阵的 QR分解。超过Householder变换的一个好处是它们可以轻易的并行化，另一个好处是对于非常稀疏的矩阵计算量更小。

== 稳定计算 ==
当一个吉文斯旋转矩阵 $G(i,j,θ)$ 从左侧乘另一个矩阵 $A$ 的时候， $GA$ 只作用于 $A$ 的第 $i$ 和 $j$ 行。所以我们集中于下列问题。给出 $a$ 和 $b$ ，找到 $c = cos(θ)$ 和 $s= sin (θ)$ 使得

$[c s - s c] [a b] = [r 0]$ $\begin{bmatrix} c & -s \\s & c \end{bmatrix} \begin{bmatrix}a \\ b \end{bmatrix}= \begin{bmatrix}r \\ 0 \end{bmatrix}$
明确计算出 θ 是没有必要的。我们转而直接获取 ”c”, ”s” 和 ”r”。一个明显的解是
$r c s = a 2 + b 2 - - - - - - \sqrt = a / r = - b / r$ $\begin{align}r &= \sqrt{a^2 + b^2} \\c &= a / r \\s &=-b / r\end{align}$

矩阵-向量

Hermitian矩阵或者其压缩存储形式
- 一阶更新
A:=α∗x∗conjg(x′)+A

其中 $x$ 是一个 $n$ 维向量
- 二阶更新
A:=α∗x∗conjg(y′)+conjg(α)∗y∗conjg(x′)+A

其中 $x,y$ 都是 $n$ 向量
对称矩阵或者其压缩存储形式
- 一阶更新
a:=α∗x∗x′+A

其中 $x$ 为 $n$ 维矩阵
- 二阶更新
  $A : = α * x * y' + α * y * x' + A$ $A:= \alpha*x*y'+ \alpha*y*x' + A$
  其中 $x,y$ 都是 $n$ 维矩阵

矩阵-矩阵

Hermitian矩阵
- k阶更新
  
  $C : = α * A * A H + β * C$ $C := \alpha*A*A^H + \beta*C$
  其中 $A$ 是 $n*k$ 维矩阵， $C$ 是 $n*n$ 的Hermitian矩阵
- 2k阶更新
  
  $C : = α * A * B H + c o n j g (α) * B * A H + β * C,$ $C := \alpha*A*B^H + conjg(\alpha)*B*A^H + \beta*C,$
  其中 $A,B$ 都是 $n*k$ 的矩阵， $C$ 是 $n*n$ 的Hermitian矩阵
对称矩阵
- k阶更新
C:=α∗A∗A′+β∗C

其中 $A$ 是 $n*k$ 的矩阵， $C$ 是 $n*n$ 的矩阵
- 2k阶更新
  $C : = α * A * B' + α * B * A' + β * C$ $C := \alpha*A*B' + \alpha*B*A' + \beta*C$
  其中 $A,B$ 都是 $n*k$ 的矩阵， $C$ 是 $n*n$ 的矩阵