linux python2.7 scipy_scipy.sparse.linalg.sp为Linux系统上的大型稀疏矩阵解决了令人惊讶的行为...

我正在计算一个线性系统Ax = b的解决方案,其中A具有一个大的(通常200,000行和相关的密集矩阵的列)稀疏矩阵和ba稀疏矩阵,大约100列。

当我在Windows系统上运行代码(Python2.7,scipy0.14.0)时,以下命令

fromscipy.sparse.linalgimportspsolve...Temp=spsolve(A.tocsc(),b.tocsc())

运行平稳,需要大约7 GB的内存。

在Linux系统上以完全相同的矩阵(完全相同的CPU,相同的RAM内存:64 GB,Linux Mint17.3,python2.7,scipy0.13.3)运行完全相同的代码需要超过20 GB的内存,并且崩溃以下错误消息:

failed with UMFPACK_ERROR_out_of_memory(参见1)

因为此错误是依赖于操作系统的,我排除了关于矩阵的任何问题,一个和b(与所提到的一些解决方案,在这个岗位),以及我试图找到一个解决具体到Linux ...但我不知道从哪里开始...有人会对发生的事情有任何想法吗?以及为什么这样的问题特定于Linux系统?

请在下面找到完整的错误消息:

Exception in Tkinter callback

Traceback (most recent call last):

File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__

return self.func(*args)

File "...", line 1533, in mmvConstruction

...

File "...", line 1555, in modes_cb

Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc())

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve

Afactsolve = factorized(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized

umf.numeric(A)

File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric

umfStatus[status]))

RuntimeError: failed with UMFPACK_ERROR_out_of_memory

ezdPi.png

更新:仍在尝试寻找解决方案...看来Linux Mint上BLAS的最新版本相当老:1.8.2。在Windows上,我使用BLAS 1.9.1。使用test_numpy.py此处提供的文件时:https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到Linux和Windows之间存在非常显着的差异:Linux:版本1.8.2,maxint 9223372036854775807,点:0.76 s -视窗:版本1.9.1,MAXINT 2147483647,点:0037秒。我正在研究Linux上的OPENBLAS是否可以解决此问题...

更新2:我意识到问题可能与硬件有关。确实,一台旧的PC在相同的Linux Mint发行版(Rosa 17.3)上具有完全相同的库,可以提供令人满意的结果。第一次更新中提到的基准在此旧PC上提供了:Linux:版本1.8.2,maxint 9223372036854775807,点:0,054 s。

解决方案

好了,经过深入的研究,我现在确信我遇到的问题与以下事实有关:Linux Mint(Rosa 17.3)可能未针对最新处理器进行优化。

我在帖子更新中提到的比较结果强调该软件安装正确。然后,我在PC上安装了Fedora 23,并按顺序安装:

libblas

蟒蛇

python-scipy

然后,我使用完全相同的矩阵运行了完全相同的代码,并且没有任何问题:RAM消耗限制为大约7 GB,这与Windows系统上观察到的情况类似。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/539704.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

简简单单的代码让你轻松学会 动态代理

原文出处:http://weixiaolu.iteye.com/blog/1477774 -------------------------------------------------------------------------- 简简单单的代码让你轻松学会动态代理 前言: 最近一直在分析hadoop的RPC机制。在hadoop中,DataNode和Na…

python变量和字符_Python变量和字符串

我需要知道Python中的变量是字符串(名称)还是数字。我想检查图的度数,但是我需要知道“I”迭代器是字符串内部的一个数字还是字符串内的一个名称,在末尾显示了图的度数。在这个代码有什么问题吗?在import csv, sysimport networkx as nxdef m…

Adobe软件打开后设置默认页面方式和默认鼠标方式

PDF文件打开后是默认显示,与显示器比例不协调,或大或小,总是需要手动调节阅读方式,解决方法如下: Adobe软件中可以设置默认页面方式,具体步骤如下: 编辑 (Edit)-首选项(Preferences)-辅助工具…

CSS深入理解学习笔记之vertical-align

1、vertical-align基本认识 支持的属性值: ①线类:baseline(默认),top,middle,bottom ②文本类:text-top,text-bottom ③上标下标类:sub,super ④…

Java NIO原理 图文分析及代码实现

原文出处:http://weixiaolu.iteye.com/blog/1479656 ---------------------------------------------------------------------- Java NIO原理图文分析及代码实现 前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ,远程过程调用协议&am…

威纶通触摸屏与mysql_威纶触摸屏应用实例 以及威纶通触摸屏配方组合

在生产车间,每台设备运作起来都会有各自的组合参数,每台设备运作的时候产生的数据即构成配方表,每张配方表内可建立多组配方数据,这些多台机器的配方数据都可储存在人机里,以供控制器(PLC)执行相对应的任务。从“包装机…

分析师视角:2018年的数据中心3大预测

向数字业务平台的迁移促使基础设施和运营(I&O)领导者必须重新去思考他们的数据中心策略。像人工智能这样的数字业务平台,包括机器学习(ML)、深度神经网络(DNN)和物联网,对IT基础设施有敏捷和可伸缩性等方面的计算需求。在2018年,I&O领…

大数据实时处理:百分点实时计算架构和算法

原文:http://www.oschina.net/question/1459174_145255 百分点官网:http://www.baifendian.com/ ------------------以下正文---------------------- 当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时…

ELK 日志处理开发指南

ELK 是 Elastic 公司出品的开源实时日志处理与分析解决方案,ELK 分别代表分布式搜索引擎 Elasticsearch、日志采集与解析工具 Logstash、日志可视化分析工具Kibana,具有配置方式灵活、集群可线性扩展、日志实时导入、检索性能高效、可视化分析方便等优点…

UNION 和UNION ALL 的区别

UNION:的结果集没有重复行,且安union默认的排序规则进行排序了。 UNION ALL:的结果集,如果各表有重复行就有重复行,不删重复行,不排序。 ------------------------- 在数据库中,UNION和UNION…

mysql connector 教程_MySQL Connector/C++入门教程(上)

目录MySQL C Driver的实现基于JDBC4.0规范安装MySQL Connector/C运行时依赖C IDE为示例程序创建数据库与数据表使用Connector/C测试数据库连接使用prepared Statements使用事务访问Result Set Metadata访问Database Metadata通过PreparedStatment对象访问参数元数据捕获异常调试…

14-项目开发总结报告(GB8567——88)

项目开发总结报告(GB8567——88)1引言1.1编写目的说明编写这份项目开发总结报告的目的,指出预期的阅读范围。1.2背景说明:a. 本项目的名称和所开发出来的软件系统的名称;b. 此软件的任务提出者、…

Oracle 并行查询

所谓并行执行,是指能够将一个大型串行任务(任何DML,一般的DDL)物理的划分为叫多个小的部分,这些较小的部分可以同时得到处理。 何时使用并行执行: 1、必须有一个非常大的任务 2、必须有充足的资源(CPU,I…

python中求二维数组元素之和_python二维列表求解所有元素之和

相信很多初学小伙伴都会遇到二维列表求解所有元素之和问题,下面给出两种两种常见的求和方法。 方法1: 思想:遍历整个二维列表元素,然后将所有元素加起来 1 def Sum_matrix(matrix): 2 sum=0 3 for i in range(len(matrix)): 4 for j in range(len(matrix[i])): 5 sum+=matr…

maven 国内私服

2019独角兽企业重金招聘Python工程师标准>>> <repositories> <repository> <id>aliyun-cache</id> <name>aliyun-cache</name> <url>http://maven.aliyun.com/nexus/content/groups/public&…

mysql添加约束之前不满足_MySQL:添加约束(如果不存在)

小编典典有趣的问题。您可能需要在调用CREATE TABLE语句之前禁用外键&#xff0c;然后再启用它们。这将允许您直接在CREATE TABLEDDL中定义外键&#xff1a;例&#xff1a;SET FOREIGN_KEY_CHECKS 0;Query OK, 0 rows affected (0.00 sec)CREATE TABLE IF NOT EXISTS rabbits …

oracle函数trunc的使用

原文&#xff1a;http://blog.csdn.net/eleven204/article/details/6712538 -------------------------------------- 1、日期比较时精确到日&#xff0c;可以使用 TRUNC(sysdate,dd)函数。 函数支持格式有&#xff1a;yyyy MM dd hh Mi&#xff0c;没有精确到 秒 可以用 se…

Mycat快速入门

1.Mycat介绍 Mycat 是一个开源的分布式数据库系统&#xff0c;是一个实现了 MySQL 协议的的Server&#xff0c;前端用户可以把它看作是一个数据库代理&#xff0c;用 MySQL 客户端工具和命令行访问&#xff0c;而其后端可以用MySQL 原生&#xff08;Native&#xff09;协议与多…

python字符串常量有什么区别_Python经典面试题:is与==的区别

is用于判断两个对象是否为同一个对象&#xff0c;具体来说是两个对象在内存中的位置是否相同。python为了提高效率&#xff0c;节省内存&#xff0c;在实现上大量使用了缓冲池技术和字符串intern技术。整数和字符串是不可变对象&#xff0c;也就意味着可以用来共享&#xff0c;…

left join、right join、inner join的区别

left join(左联接) 返回包括左表中的所有记录和右表中联结字段相等的记录 right join(右联接) 返回包括右表中的所有记录和左表中联结字段相等的记录 inner join(等值连接) 只返回两个表中联结字段相等的行 举例如下&#xff1a; ----------------------------------------…