linux python2.7 scipy_scipy.sparse.linalg.sp为Linux系统上的大型稀疏矩阵解决了令人惊讶的行为...

我正在计算一个线性系统Ax = b的解决方案,其中A具有一个大的(通常200,000行和相关的密集矩阵的列)稀疏矩阵和ba稀疏矩阵,大约100列。

当我在Windows系统上运行代码(Python2.7,scipy0.14.0)时,以下命令

fromscipy.sparse.linalgimportspsolve...Temp=spsolve(A.tocsc(),b.tocsc())

运行平稳,需要大约7 GB的内存。

在Linux系统上以完全相同的矩阵(完全相同的CPU,相同的RAM内存:64 GB,Linux Mint17.3,python2.7,scipy0.13.3)运行完全相同的代码需要超过20 GB的内存,并且崩溃以下错误消息:

failed with UMFPACK_ERROR_out_of_memory(参见1)

因为此错误是依赖于操作系统的,我排除了关于矩阵的任何问题,一个和b(与所提到的一些解决方案,在这个岗位),以及我试图找到一个解决具体到Linux ...但我不知道从哪里开始...有人会对发生的事情有任何想法吗?以及为什么这样的问题特定于Linux系统?

请在下面找到完整的错误消息:

Exception in Tkinter callback

Traceback (most recent call last):

File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__

return self.func(*args)

File "...", line 1533, in mmvConstruction

...

File "...", line 1555, in modes_cb

Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc())

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve

Afactsolve = factorized(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized

umf.numeric(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric

umfStatus[status]))

RuntimeError: failed with UMFPACK_ERROR_out_of_memory

ezdPi.png

更新:仍在尝试寻找解决方案...看来Linux Mint上BLAS的最新版本相当老:1.8.2。在Windows上,我使用BLAS 1.9.1。使用test_numpy.py此处提供的文件时:https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到Linux和Windows之间存在非常显着的差异:Linux:版本1.8.2,maxint 9223372036854775807,点:0.76 s -视窗:版本1.9.1,MAXINT 2147483647,点:0037秒。我正在研究Linux上的OPENBLAS是否可以解决此问题...

更新2:我意识到问题可能与硬件有关。确实,一台旧的PC在相同的Linux Mint发行版(Rosa 17.3)上具有完全相同的库,可以提供令人满意的结果。第一次更新中提到的基准在此旧PC上提供了:Linux:版本1.8.2,maxint 9223372036854775807,点:0,054 s。

解决方案

好了,经过深入的研究,我现在确信我遇到的问题与以下事实有关:Linux Mint(Rosa 17.3)可能未针对最新处理器进行优化。

我在帖子更新中提到的比较结果强调该软件安装正确。然后,我在PC上安装了Fedora 23,并按顺序安装:

libblas

蟒蛇

python-scipy

然后,我使用完全相同的矩阵运行了完全相同的代码,并且没有任何问题:RAM消耗限制为大约7 GB,这与Windows系统上观察到的情况类似。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/539704.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

简简单单的代码让你轻松学会 动态代理

原文出处:http://weixiaolu.iteye.com/blog/1477774 -------------------------------------------------------------------------- 简简单单的代码让你轻松学会动态代理 前言: 最近一直在分析hadoop的RPC机制。在hadoop中,DataNode和Na…

Adobe软件打开后设置默认页面方式和默认鼠标方式

PDF文件打开后是默认显示,与显示器比例不协调,或大或小,总是需要手动调节阅读方式,解决方法如下: Adobe软件中可以设置默认页面方式,具体步骤如下: 编辑 (Edit)-首选项(Preferences)-辅助工具…

CSS深入理解学习笔记之vertical-align

1、vertical-align基本认识 支持的属性值: ①线类:baseline(默认),top,middle,bottom ②文本类:text-top,text-bottom ③上标下标类:sub,super ④…

Java NIO原理 图文分析及代码实现

原文出处:http://weixiaolu.iteye.com/blog/1479656 ---------------------------------------------------------------------- Java NIO原理图文分析及代码实现 前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ,远程过程调用协议&am…

威纶通触摸屏与mysql_威纶触摸屏应用实例 以及威纶通触摸屏配方组合

在生产车间,每台设备运作起来都会有各自的组合参数,每台设备运作的时候产生的数据即构成配方表,每张配方表内可建立多组配方数据,这些多台机器的配方数据都可储存在人机里,以供控制器(PLC)执行相对应的任务。从“包装机…

分析师视角:2018年的数据中心3大预测

向数字业务平台的迁移促使基础设施和运营(I&O)领导者必须重新去思考他们的数据中心策略。像人工智能这样的数字业务平台,包括机器学习(ML)、深度神经网络(DNN)和物联网,对IT基础设施有敏捷和可伸缩性等方面的计算需求。在2018年,I&O领…

大数据实时处理:百分点实时计算架构和算法

原文:http://www.oschina.net/question/1459174_145255 百分点官网:http://www.baifendian.com/ ------------------以下正文---------------------- 当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时…

ELK 日志处理开发指南

ELK 是 Elastic 公司出品的开源实时日志处理与分析解决方案,ELK 分别代表分布式搜索引擎 Elasticsearch、日志采集与解析工具 Logstash、日志可视化分析工具Kibana,具有配置方式灵活、集群可线性扩展、日志实时导入、检索性能高效、可视化分析方便等优点…

maven 国内私服

2019独角兽企业重金招聘Python工程师标准>>> <repositories> <repository> <id>aliyun-cache</id> <name>aliyun-cache</name> <url>http://maven.aliyun.com/nexus/content/groups/public&…

Mycat快速入门

1.Mycat介绍 Mycat 是一个开源的分布式数据库系统&#xff0c;是一个实现了 MySQL 协议的的Server&#xff0c;前端用户可以把它看作是一个数据库代理&#xff0c;用 MySQL 客户端工具和命令行访问&#xff0c;而其后端可以用MySQL 原生&#xff08;Native&#xff09;协议与多…

python字符串常量有什么区别_Python经典面试题:is与==的区别

is用于判断两个对象是否为同一个对象&#xff0c;具体来说是两个对象在内存中的位置是否相同。python为了提高效率&#xff0c;节省内存&#xff0c;在实现上大量使用了缓冲池技术和字符串intern技术。整数和字符串是不可变对象&#xff0c;也就意味着可以用来共享&#xff0c;…

Javascript Proxy对象 简介

Javascript Proxy对象 简介 本文转载自&#xff1a;众成翻译 译者&#xff1a;eJayYoung 链接&#xff1a;http://www.zcfy.cc/article/4755 原文&#xff1a;https://blog.campvanilla.com/advanced-guide-javascript-proxy-objects-introduction-301c0fce9432 Javascript …

App架构经验总结

原文地址&#xff1a;http://www.iteye.com/news/31472-------------------------------------------------------------架构因人而异&#xff0c;不同的架构师大多会有不同的看法&#xff1b;架构也因项目而异&#xff0c;不同的项目需求不同&#xff0c;相应的架构也会不同。…

python数字排序 循环_【python-leetcode448-循环排序】找到所有数组中消失的数字

问题描述&#xff1a;给定一个范围在 1 ≤ a[i] ≤ n ( n 数组大小 ) 的 整型数组&#xff0c;数组中的元素一些出现了两次&#xff0c;另一些只出现一次。找到所有在 [1, n] 范围之间没有出现在数组中的数字。您能在不使用额外空间且时间复杂度为O(n)的情况下完成这个任务吗…

携程Docker实践

原文地址&#xff1a;http://www.iteye.com/news/31468 请点击原文阅读 ---------------------以下是原文---------------------- 从去年底开始&#xff0c;携程开始计划把Docker引入到携程的云平台&#xff0c;这是系统研发部一部分的工作任务&#xff0c;携程系统研…

mysql全文索引thinkphp_ThinkPHP5 使用迅搜 (XunSearch) 实现全文检索实例指导

前期准备入坑了一天&#xff0c;折腾的无语&#xff0c;个人观点&#xff1a;【文档太差&#xff0c;适合学习思路&#xff0c;不建议入坑】背景最近在整理全文检索解决方案注意到 xunsearch 的评价很高&#xff0c;在此记录一番场景描述此处作为对 xunsearch 的初次使用&#…

为何有些程序员总是想要“干掉”产品经理?

好了&#xff0c;我准备去和产品经理做斗争去了&#xff0c;请祝我好运吧&#xff01;小编花了大量时间收集了很多干货编程学习资源&#xff0c;其中资源包括 算法&#xff0c;大数据&#xff0c;人工智能&#xff0c;Python&#xff0c;Android&#xff0c;iOS&#xff0c;Jav…

Spark算子篇 --Spark算子之combineByKey详解

一。概念 rdd.combineByKey(lambda x:"%d_" %x, lambda a,b:"%s%s" %(a,b), lambda a,b:"%s$%s" %(a,b))三个参数&#xff08;都是函数&#xff09;第一个参数&#xff1a;给定一个初始值&#xff0c;用函数生成初始值。第二个参数&#xff1a;c…

SecureCRT防止自动断开

今天在宁波连接上海的linux库&#xff0c;是外网访问内网&#xff0c;使用了nat123这个软件映射的。 发现SecureCRT连接后&#xff0c;过几分钟就自动断开&#xff0c;导致使用SecureCRT做跳转机的其他应用使用起来很不方便。 于是设置了下SecureCRT。

AI工程师职业规划和学习路线完整版

AI工程师职业规划和学习路线完整版 如何成为一名机器学习算法工程师 成为一名合格的开发工程师不是一件简单的事情&#xff0c;需要掌握从开发到调试到优化等一系列能 力&#xff0c;这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师&…