开坑,刚看完书,已经有些窒息了
先把坑挖了,再慢慢填,避免自己划水跳过
我爱线代,线代爱我,阿弥陀佛
为什么要学奇异值分解?
因为书本倒数第二章专门提到的,想必一定很重要,于是我上网查了一下奇异值分解的应用
wow 。。。很有用,增加了学习的动力
奇异值分解的应用
在机器学习中,奇异值分解,可以删除一些没什么作用的特征。
具体是如何删除的呢?需要先了解一下,奇异值分解的数学原理
不会吧。。。我难道要用markdown语法来写矩阵的推导过程吗。。。
太痛苦了吧
首先,奇异值是什么?分解又从何谈起?
- 奇异值分解的本质,其实是矩阵分解的延伸
什么是矩阵分解?矩阵分解又有什么意义呢?
- 矩阵分解,是将一个矩阵分解为多个形式简单的矩阵,可以更好地理解矩阵本身的作用
-
感觉像一句废话,举个栗子吧…oh不,举个up主:矩阵分解及正交矩阵
- 其实就是用矩阵的伸缩、旋转变换功能来举例
向量
向量一般是竖着写的
向量的代数表示
向量一般用于表示一个多元齐次方程的系数
- a 1 x 1 + a 1 x 1 + a 1 x 1 = 0 a_1x_1+a_1x_1+a_1x_1=0 a1x1+a1x1+a1x1=0
那么这个多元齐次方程的系数,可以用向量 A → A^→ A→表示
A = [ a 1 a 2 a 3 ] \begin{bmatrix} a_1\\ a_2\\ a_3\\ \end{bmatrix} a1a2a3
向量的几何表示
向量的维数:
-
一维向量表示直线上的方向向量
-
二维向量表示平面上的方向向量,如 [ 3 2 ] \begin{bmatrix} 3\\ 2\\ \end{bmatrix} [32]
-
三维向量表示空间上的方向向量 [ 0 1 1 ] \begin{bmatrix} 0\\ 1\\ 1\\ \end{bmatrix} 011
哭了,用上matplotlib吧
向量的乘法
向量乘法,一般指的是点乘,即
A = [ a 1 a 2 a 3 ] \begin{bmatrix} a_1\\ a_2\\ a_3\\ \end{bmatrix} a1a2a3 ,B = [ b 1 b 2 b 3 ] \begin{bmatrix} b_1\\ b_2\\ b_3\\ \end{bmatrix} b1b2b3 ,则 A B = a 1 ∗ b 1 + a 2 ∗ b 2 + a 3 ∗ b 3 AB = a_1*b_1+ a_2*b_2+ a_3*b_3 AB=a1∗b1+a2∗b2+a3∗b3
向量点乘的代数意义
待思考!!!!!
向量点乘的几何意义
向量与矩阵的关系
矩阵的乘法
矩阵乘法的功能:伸缩
矩阵乘法功能:旋转
矩阵乘法功能:伸缩+旋转
首先,任何矩阵,都可以进行奇异值分解
M = U Σ V T , 其中, U 和 V 都是对称矩阵, Σ 是正交对角阵 M = UΣV^T,其中,U和V都是对称矩阵,Σ是正交对角阵 M=UΣVT,其中,U和V都是对称矩阵,Σ是正交对角阵