tf 如何进行svd_Tensorflow快餐教程(6) - 矩阵分解

摘要: 特征分解,奇异值分解,Moore-Penrose广义逆

矩阵分解

特征向量和特征值

我们在《线性代数》课学过方阵的特征向量和特征值。

定义:设A∈Fn×n是n阶方阵。如果存在非零向量X∈Fn×1使AX=λX对某个常数λ∈F成立,则称λ是A的特征值(eigenvalue),X是属于特征值λ的特征向量。

设σ是数域F上向量空间V上的线性变换,如果某个非零向量u∈V被σ映射到自己的常数倍σ(u)=λu,则称常数λ∈F是σ的特征值,向量u是属于特征值λ的特征向量。

又找λ又找A确实不是一件容易事。好在,我们可以把这事儿交给Tensorflow去解决。我们可以用tf.self_adjoint_eigvals来求特征值,相当于MATLAB的eig函数,只不过名字长了点。

例:

>>> A1 = tf.constant([[3,2,1],[0,-1,-2],[0,0,3]],dtype=tf.float64)

>>> sess.run(A1)

array([[ 3., 2., 1.],

[ 0., -1., -2.],

[ 0., 0., 3.]])

>>> sess.run(tf.self_adjoint_eigvals(A1))

array([-1., 3., 3.])

附:MATLAB例:

> A1 = [3,2,1;0,-1,-2;0,0,3]

A1 =

3 2 1

0 -1 -2

0 0 3

> eig(A1)

ans =

3

-1

3

也就是说,A1矩阵有3个特征值-1,3,3。

特征分解

我们把用self_adjoint_eigvals求出来的向量转换成对角矩阵:

>>> sess.run(tf.diag(tf.self_adjoint_eigvals(A1)))

array([[-1., 0., 0.],

[ 0., 3., 0.],

[ 0., 0., 3.]])

同样,我们把每个特征向量组成一个矩阵,假设为V.

这样,我们可以得到一个公式:A=Vdiag(λ)V−1

按照上面公式方法对矩阵A所做的操作叫做A的特征分解(eigen decomposition)

不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下,特征分解存在,但是值是复数而不是实数。幸运的是,机器学习中遇到的方阵基本都可以分解成A=QΛQT,其中Q是特征向量构成的正交矩阵,Λ是对角矩阵。

奇异值分解

对于多数方阵,我们可以进行特征值分解。如果对于非方阵该怎么办呢?答案是我们有类似的奇异向量(Singular vector)和奇异值(singular value). 通过奇异向量和奇异值,我们可以把非方阵进行奇异值分解(singular value decomposition),简称svd.

SVD将矩阵分解为三个矩阵的乘积:A=UDVT。其中,U和V都定义为正交矩阵。D是对角矩阵,虽然不一定是方阵。

如果A是一个mn的矩阵,那么U是一个mm的矩阵,V是一个nn的矩阵,D与A一样是mn的矩阵。

我们可以通过tf.svd函数来做奇异值分解,例:

>>> As =tf.constant( [[1,2,3],[4,5,6]], dtype=tf.float64)

>>> sess.run(As)

array([[1., 2., 3.],

[4., 5., 6.]])

>>> sess.run(tf.svd(As, full_matrices=True))

(array([9.508032 , 0.77286964]), array([[-0.3863177 , -0.92236578],

[-0.92236578, 0.3863177 ]]), array([[-0.42866713, 0.80596391, 0.40824829],

[-0.56630692, 0.11238241, -0.81649658],

[-0.7039467 , -0.58119908, 0.40824829]]))

As矩阵是23的矩阵。所以U是22的,而V是3*3的。第1个值是奇异值,[9.508032 , 0.77286964],它是D的对角线上值,其它位置为0.

D的完整值为:

array([[9.508032 , 0. , 0. ],

[0. , 0.77286964, 0. ]])

三个矩阵的完整值为:

#U

array([[-0.3863177 , -0.92236578],

[-0.92236578, 0.3863177 ]])

#D

array([[9.508032 , 0. , 0. ],

[0. , 0.77286964, 0. ]])

#V

array([[-0.42866713, 0.80596391, 0.40824829],

[-0.56630692, 0.11238241, -0.81649658],

[-0.7039467 , -0.58119908, 0.40824829]])

我们来验算一下这个奇异值分解是不是正确的,别忘了V是要转置的:

>>> sess.run(U @ D @ tf.transpose(V))

array([[0.99999997, 1.99999999, 2.99999997],

[3.99999997, 5.00000001, 5.99999996]])

虽然是有点浮点计算误差,但是结果还确实是我们分解前的那个。关于计算误差的问题,在机器学习中也自然是重要问题,后面会讨论。

Moore-Penrose广义逆

铺垫了这么多,其实我们是在为解线性方程组奋斗。我们在第一节Tensorflow的线性回归例子,还有神经网络的例子都看到,求解线性方程组是重要的运算。

形如Ax=b的线性方程组,如果A有逆矩阵就好办了,两边分别右乘A逆就可以解出方程组。

但是问题是,机器学习中有很多方程是欠定的(underdetermined)。

这时候我们就需要一种类似于逆矩阵的工具 - Moore-Penrose广义逆(pseudoinverse)。

Moore-Penrose广义逆定义如下:

A+=limα→0(ATA+αI)−1AT

这个定义在计算时是没法使用的,我们使用另一个公式来算

A+=VD+UT

这个公式一看太熟悉了,就是刚才我们学习的奇异值分解嘛。

其中D+,D的广义逆的计算方法是所有非0值取倒数,然后矩阵转置。

对于一个AX=B方程组的最小二乘法解,一般来讲不是唯一的。通常把它们中2-范数最小的一个称为极小最小二乘解,也叫最佳逼近解。

可以证明,AX=B必有唯一的极小最小二乘解,这个解就是X=A+B

广义逆简史

首先复习一下逆阵的概念,如果一个矩阵有逆阵,条件为:

必须是方阵

行列式不能为0

美国数学家Moore于1920年逆矩阵的概念推广到任意矩阵上,使用的方法是正交投影算子来定义的。

1955年,英国数学家Penrose用下面的方程组来定义广义逆:

AGA=A,GAG=G,(AG)H=AG(GA)H=GA

其中,H这个符号代表矩阵共轭的转置,对于实数就相当于T。

不久之后,瑞典大地测量学家Arne Bjerhammer证明了Moore广义逆与Penrose广义逆的等价性。所以把它定义为Moore-Penrose广义逆。除了A+之外,还有A−广义逆等。

作者:lusing

本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/369365.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

calc() ---一个会计算的css属性

最近这个月一直在赶项目开发,遇到的问题和学到的前端知识没有更新到博客园,现在闲了下来,就整理一下前端知识。  在项目开发中,在样式这方面花费的时间较多,因为针对于数字的变化特别多,本人不爱记数字&a…

HashMap实现原理及源码分析

HashMap实现原理及源码分析 哈希表(hash table)也叫散列表,是一种非常重要的数据结构,应用场景及其丰富,许多缓存技术(比如memcached)的核心其实就是在内存中维护一张大的哈希表,而H…

使用NetBeans Lambda支持在Java 8中使用Lambda表达式对列表进行排序

作为JSR 335的一部分, Lambda表达式已从Java 8开始引入Java语言,这是Java语言的一个重大变化。 如果您想了解更多关于Lambda表达式以及JSR 335的信息,可以访问以下资源: 在OpenJDK上的Lambda项目 。 Lambda常见问题解答 。 另一…

matlabapp窗口图像_matlab – 如何自定义App Designer图形的背景?

>如果要为整个图形设置纯色背景颜色,则执行此操作需要a documented way,例如:% When creating a new uifigure:fig uifigure(Color,[R G B])% if the uifigure already exists:fig.Color [R G B];>如果你想改变一些地区的背景颜色,你可以添加一个没有标题或…

qq物联网 android sdk,物联网在腾讯:QQ物联

原标题:物联网在腾讯:QQ物联在物联网方面的一些产品,作为BAT三巨头之一,腾讯自然不能落后。本文就介绍一下腾讯的物联网平台,QQ物联。QQ物联:让每个设备成为一个QQ好友QQ物联的最大特点,就是让每…

显式转换与隐式转换

显示转换 1.题目:请输入今年的年龄,求5年后多大? //a.prompt接收到的数据是string类型的。var age prompt("请输入你今年的年龄");alert(typeof age);var age5 age 5; // 这里只会拼接成了15,而不是加5alert("…

Vue-cli 搭建项目

Vue框架学习--使用 vue-cli 搭建项目vue-cli 是一个官方发布 vue.js 项目脚手架,使用 vue-cli 可以快速创建 vue 项目,GitHub地址是:https://github.com/vuejs/vue-cli一、安装node.js 首先需要安装node环境(必须),可以直接到中文…

HTML音乐标签和滚动

<!-- 音乐标签 --><embed src"1.mp3" type""><embed src"1.mp3" type"" hidden"true"> <!-- 滚动 --><marquee behavior"alternate" >gun</marquee><marquee behavior&qu…

python程序会监控错误的语句_python装饰器实现对异常代码出现进行自动监控

异常&#xff0c;不应该存在&#xff0c;但是我们有时候会遇到这样的情况&#xff0c;比如我们监控服务器的时候&#xff0c;每一秒去采集一次信息&#xff0c;那么有一秒没有采集到我们想要的信息&#xff0c;但是下一秒采集到了&#xff0c; 而后每次的采集都能采集到&#x…

Spring Bean名称

除了未明确指定名称的情况外&#xff0c;Spring Bean名称很简单。 首先&#xff0c; 以这种方式为基于XML的bean定义指定Spring bean名称&#xff1a; <bean namesampleService1 classmvcsample.beanname.SampleService><constructor-arg><bean classmvcsample…

响应式框架Bootstrap栅格系统

Bootstrap 是一个用于快速开发 Web 应用程序和网站的前端框架。Bootstrap 是基于 HTML、CSS、JAVASCRIPT 的。Bootstrap 提供了一些辅助类&#xff0c;以便更快地实现对移动设备友好的开发。这些可以通过媒体查询结合大型、小型和中型设备&#xff0c;实现内容对设备的显示和隐…

JAVA基础_泛型

什么是泛型泛型是提供给javac编译器使用的&#xff0c;可以限定集合中的输入类型&#xff0c;让编译器挡住源程序中的非法输入&#xff0c;编译器编译带类型说明的集合时会去除掉”类型”信息&#xff0c;是程序的运行效率不受影响&#xff0c;对于参数化的泛型类型&#xff0c…

python!!!!惊了,这世上居然还有这么神奇的东西存在

第一次接触到python的时候实在看学习3Blue1Brown的视频线性代数的本质的时候。惊奇的是里面的视频操作&#xff0c;例如向量的变化&#xff0c;线性变换等都是由python用代码打出来的。那时的我只是以为python是类似matlab类型的数学软件。人工智能&#xff0c;大数据的兴起&am…

int定义源码 python_python学习(第一章)

1.print输出语句# 输出字符串 print(hello) # 输出数字 print(234) print("I come from China") print("I come from China") # 输出表达式 print(71) # 将数据输出到文件中 file fp open(D:/pythoncode.txt, a) print("I come from China",…

使用Specs2和客户端API 2.0进行富有表现力的JAX-RS集成测试

毫无疑问&#xff0c; JAX-RS是一项杰出的技术。 即将发布的规范JAX-RS 2.0带来了更多的强大功能&#xff0c;尤其是在客户端API方面。 今天的帖子的主题是JAX-RS服务的集成测试。 有很多出色的测试框架&#xff0c;例如REST可以确保提供帮助&#xff0c;但是我要展示的方式是使…

android设置控件形状,Android控件自定义形状

Android中处理控件的各种形状可以用到Shape&#xff0c;ApiDemos中有相关的例子&#xff0c;在com.example.android.apis.graphics中的ShapeDrawable1类中有很详细的介绍和例子。使用xml的方法也能达到同样的效果&#xff0c;而且更加方便。如下面的代码所示&#xff1a;XML/HT…

赋值

非阻塞赋值产生寄存器&#xff0c;a<b,b<c. a的值传给c需要两个时钟&#xff0c;两条语句同时执行。阻塞赋值ab&#xff0c;bc&#xff0c;两条语句顺序执行&#xff0c;不产生寄存器。 小明教ic4转载于:https://www.cnblogs.com/xiaoxuesheng993/p/7503893.html

python web开发-flask访问请求数据request

Request对象在web应用的开发中是一个非常重要的对象&#xff0c;主要用来获取用户发来的请求数据。 常用属性参考&#xff1a;http://docs.jinkan.org/docs/flask/api.html#flask.request 下面我们以一个表单提交的例子来说明一些常用request属性的使用。 创建一个表单的templa…

ActiveMQ群集,持久订阅者和虚拟主题可助您一臂之力

因此&#xff0c;您希望跨分布式主题使用ActiveMQ进行发布-订阅&#xff0c;并且要可靠。 您可以只使用永久订阅&#xff0c;对不对&#xff1f; 可以&#xff0c;但是&#xff0c;如果将群集与ActiveMQ一起使用&#xff0c;则可能会遇到意外行为。 我最近在一个客户端上&#…

android 对称加密和非对称加密,Android开发加密之对称与非对称加密算法使用案例.pdf...

Android开发加密之对称与非对称加密算法使用案例消息摘要md5&#xff1a;登录注册&#xff0c; sha1对称加密 1.des:Data Encryption Standard&#xff0c;数据加密标准 2.aes&#xff1a;Advanced Encryption Standard &#xff0c;更高级的方式对称加密特点&#xff1a;加…