浅析Numpy.genfromtxt及File I/O讲解

Python 并没有提供数组功能,虽然列表 (list) 可以完成基本的数组功能,但它并不是真正的数组,而且在数据量较大时,使用列表的速度就会慢的让人难受。为此,Numpy 提供了真正的数组功能,以及对数据快速处理的函数。Numpy 还是很多更高级的扩展库的依赖库,例如: ScipyMatplotlibPandas等。此外,值得一提的是:Numpy 内置函数处理数据的速度是 C 语言级别的,因此编写程序时,应尽量使用内置函数,避免出现效率瓶颈的现象。一切计算源于数据,那么我们就来看一看Numpy.genfromtxt 如何优雅的处理数据。

官方文档

Enthought offical tutorial: numpy.genfromtxt

A very common file format for data file is comma-separated values (CSV), or related formats such as TSV (tab-separated values). To read data from such files into Numpy arrays we can use the numpy.genfromtxt function.

案例说明

我们以数字示波器采集的实验产生的三角波 (triangular waveform) 为例,它是包含数据信息的表头,以 .txt 格式存储的文本文件。

Type: raw 
Points: 16200 
Count: 1 
... 
X Units: second 
Y Units: Volt 
XY Data: 
2.4000000E-008, 1.4349E-002 
2.4000123E-008, 1.6005E-002 
2.4000247E-008, 1.5455E-002 
2.4000370E-008, 1.5702E-002 
2.4000494E-008, 1.5147E-002 
... 

Python 获取数据的方式有很多:(1) 如果在命令行运行 Python 脚本,你可以用 sys.stdinsys.stdout 以管道 (pipe) 方式传递数据;(2) 可以显式地用代码来读写文件获取数据;(3) 从网页获取数据,也就是所谓的爬虫 (web spider);(4) 使用 API (Application Programming Interface) 获取结构化格式的数据。 而在科学计算领域,更多的是处理实验中所获得的数据,比如:传感器,采集卡,示波器,光谱仪等仪器采集的数据。

案例一:温度传感器 (temperature sensor) 数据

本案例所采用的数据是热敏电阻 (thermistor) 采集的被加热物体的温度信息数据,其以如下格式存储在txt文件中:

2018-02-15 21:31:08.781 49.9492 
2018-02-15 21:31:09.296 49.9589 
2018-02-15 21:31:09.811 49.964 
2018-02-15 21:31:10.326 49.9741 
2018-02-15 21:31:10.841 49.983
...

处理文本文件的第一步是通过 open 命令来获取一个文件对象

file_for_reading = open('thermistor.txt', 'r') # 'r' 意味着只读 
file_for_writing = open('thermistor.txt', 'w') # 'w' 是写入 
file_for_appending = open('thermistor.txt', 'a') # 'a' 是添加 
file_for_xxx.close() # 完成操作后要关闭文件 

因为非常容易忘记关闭文件,所以应该在 with 程序块里操作文件,这样结尾处文件会被自动关闭:

with open('thermistor.txt', 'r') as f:data = function_that_gets_data_form(f) # 获取数据函数

此时,f 已经关闭了,就不能试图使用它啦,然后对数据执行相应的操作即可。

process(data) # 处理数据函数
处理文本文件第二步是观察数据特征,选择合适的读取命令:通过观察,可以发现,文件没有头部,每一行包括三种数据 (编号,时间,温度) 他们之间以空格键分开,每一列是同一类数据,这样我们就可以用 Python 中的 csv 模块中的 csv.reader 对其进行迭代处理,每一行都会被处理成恰当划分的列表。
 1 import csv 
 2 with open(r"thermistor.txt","rb") as f: 
 3       reader = csv.reader(f,delimiter='\t') 
 4       number=[] 
 5       time = [] 
 6       data=[] 
 7       for row in reader: 
 8            number.append(row[0]) 
 9            time.append(row[1])  
10            data.append(float(row[2])) 

处理文本文件的第三步是检测数据读取格式是否正确,我们可以用如下的方式检测:

>>> print number[0], time[0], data[0] 
>>> 2018-02-15 21:31:08.781 49.9492

从输出的首个元素来看,以上的读取数据的方式是没有问题的,但是到这里我们并不能完全放心我们的数据格式:

>>> print number[0:3], time[0:3], data[0:3] 
>>> ['\xef\xbb\xbf1', '2', '3']
['2018-02-15 21:31:08.781', '2018-02-15 21:31:09.296', '2018-02-15 21:31:09.811'] 
[49.9492, 49.9589, 49.964] 
当我们以列表的形式输出时,number 中的首个元素出现了我们没有预料到的“乱码”,这其实是 BOM (byte order mark), 它是为 UTF-16 和 UTF-32 准备的,用以标记字节序。微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCII 等编码区别开,但这样的文件会给我们的数据读取带来问题。还好,我们可以用 Python 中的 codecs 模块解决这个问题。
1 import csv 
2 import codecs 
3 with codecs.open(r"thermistor.txt","rb","utf-8-sig") as f: 
4     reader = csv.reader(f,delimiter='\t') 
5     number=[] time=[] data=[] 
6     for row in reader: 
7         number.append(row[0]) 
8         time.append(row[1]) 
9         data.append(float(row[2])

此时,我们再以列表形式输出时,就会得到正确的结果:

>>> ['1', '2', '3'] 
['2018-02-15 21:31:08.781', '2018-02-15 21:31:09.296', '2018-02-15 21:31:09.811'] 
[49.9492, 49.9589, 49.964]

然后就可以用得到的数据进行处理分析啦~

案例二:示波器 (oscilloscope) 数据

有了上面的经验,我们直接从处理文本文件第二步开始,示波器数据相对上面的数据,复杂的地方在于它包含了表头信息,而这些信息大部分时间是处理数据中不太需要的,它的数据格式如下:

Type: raw 
Points: 16200 
Count: 1 
XInc: 1.23457E-013 
XOrg: 2.4000000000E-008 
YData range: 1.48000E-001 
YData center: 5.00000E-004 
Coupling: 50 
Ohms XRange: 2.00000E-009 
XOffset: 2.4000000000E-008 
YRange: 1.44000E-001 
YOffset: 5.00000E-004 
Date: 15 APR 2018 
Time: 16:00:54:74 
Frame: 86100C:MY46520443 
X Units: second 
Y Units: Volt 
XY Data: 
2.4000000E-008, 1.4349E-002 
2.4000123E-008, 1.6005E-002 
2.4000247E-008, 1.5455E-002 
2.4000370E-008, 1.5702E-002 
2.4000494E-008, 1.5147E-002 
... 

可以看出,“表头”是一些参数信息,真正有用的数据是从 “XY Data:” 下一行开始的,对于这样的数据有两种方法进行读取:(1) 直接跳过“表头”读取数据;(2) 利用正则表达式寻找“表头” 和数据的不同特征进行识别读取。

1 with open(r"waveform.txt","rb") as f: 
2     lines = f.readlines() x=[] y=[] 
3     for line in lines[18:]: 
4         x.append(float(line.replace("\r\n","").split(",")[0])) 
5         y.append(float(line.replace("\r\n","").split(",")[1]))

通过观察我们发现有效数据是从第19行开始的,于是我们直接从19行开始读取数据,跳过“表头”,以列表形式输出 x 和 y 前3个元素如下:

>>> [2.4e-08, 2.4000123e-08, 2.4000247e-08] 
[0.014349, 0.016005, 0.015455] # 数据读取正确

运用正则表达式读取数据的关键在于找到有效数据行的独有特征,这里以 “E-002” 作为有效数据行区别于“表头”的特征,对数据的读取方式如下:

1 import re 
2 with open(r"waveform.txt","rb") as f: 
3     lines = f.readlines() 
4     x=[] 
5     y=[] 
6     for line in lines: 
7         if re.search('E-002',line): 
8             x.append(float(line.replace("\r\n","").split(",")[0])) 
9             y.append(float(line.replace("\r\n","").split(",")[1]))

同样,以列表形式输出 x 和 y 前3个元素用于检验:

>>> [2.4e-08, 2.4000123e-08, 2.4000247e-08] 
[0.014349, 0.016005, 0.015455] # 数据读取正确

注:具体的数据读取方式要根据具体文本文件的特征决定,运用合适的方法才能得到更好的结果。

案例三:二维数据写入

很多时候,经过 process( ) 后的数据,需要备份留用或者供其他程序调用,因此,将处理后的数据写入文本文件也将是关键的一步。根据数据读入的经验,被读入的数据经常存储在 list 中,那么处理后数据也通常存储在 list 中,因此,以 list 的写入作为例子:

x = [1, 2, 3, 4]
y = [2.0, 4.0, 6.0, 8.0] # 参考数据

接下来就要考虑的是要以什么样的格式保存数据,为了更加直观的表现数据的关系,我们将 x,y 分别保存为一列,中间以空格键隔开,那么 csv.writer( ) 将是很好的工具:

1 xy = {} 
2 for i in range(len(x)): 
3     xy[x[i]] = y[i] 
4 with open(r"15.txt", 'wb') as f: 
5     writer = csv.writer(f,delimiter='\t') 
6     for x, y in xy.items(): 
7         writer.writerow([x, y]) 

为了同时保存 x 和 y 的对应值,这里把 x 和 y 写入字典,x 为键 (key), y 为 值 (value) ,xy 就是 x 和 y 构成的字典。保存后的数据格式如下所示:

1   2.0
2   4.0
3   6.0
4   8.0

案例四:多维数据写入

由于字典的键 (key) 和值 (value) 对应的特殊数据结构,写入二维数据较为方便,对于多维数据,我们就需要构建多维矩阵,或者列表与元组结合的方式录入:

x = [1, 2, 3, 4]
y = [2.0, 4.0, 6.0, 8.0]
z = [3.0, 6.0, 9.0, 12.0]

这里以三维数据为例子。同样,需要将 x,y,z 各一列写入到txt中:

1 xyz = [] 
2 for i in range(len(x)): 
3     xyz.append([x[i],y[i],z[i]]) 
4 with open(r"15.txt", 'wb') as f: 
5     writer = csv.writer(f,delimiter='\t') 
6     for x, y, z in xyz: 
7         writer.writerow([x, y, z]) 

这样,就可以很容易地得到需要的数据格式的文本文件:

1   2.0 3.0
2   4.0 6.0
3   6.0 9.0
4   8.0 12.0

我们已经提到了两种方法读取上述的数据,它们共同点是将数据存储在列表中,正如开头所说,列表在处理大量数据时是非常缓慢的。那么,我们就来看一看 numpy.genfromtxt 如何大显身手。

代码示例

为了得到我们需要的有用数据,我们有两个硬的要求: (1) 跳过表头信息;(2) 区分横纵坐标

import numpy as np
data = np.genfromtxt('waveform.txt',delimiter=',',skip_header=18)
**delimiter: the str used to separate data. 横纵坐标以 ',' 分割,因此给 delimiter 传入 ','。skip_header: ** the number of lines to skip at the beginning of the file. 有用数据是从19行开始的,因此给 skip_header 传入 18。
print data[0:3,0], data[0:3,1]

因为读入的是二维数据,因此利用 numpy 二维数据的切片方式 (Index slicing) 输出各自的前三个数据验证是否读取正确:

[  2.40000000e-08   2.40001230e-08   2.40002470e-08]
[ 0.014349  0.016005  0.015455]

对数据进行归一化处理后,调用 Matplotlib 画图命令,就可得到图像如下:

1 import matplotlib.pyplot as plt 
2 fig, axes = plt.subplots(figsize=(8,6)) 
3 axes.plot(x, y, 'r', linewidth=3) 
4 axes.set_xlabel('Time(ps)') 
5 axes.set_ylabel('Amplitude[a.u.]') 
6 fig.savefig("triangular.png", dpi=600)
triangular waveform

补充

numpy.genformtxt( ) 函数提供了众多的入参,实现不同格式数据的读取,详情可参考:numpy.genfromtxt
此外,numpy 中还提供了将数据存储为 CSV 格式的函数 numpy.savetxt( ),详情可参考:numpy.savetxt

转载于:https://www.cnblogs.com/ECJTUACM-873284962/p/8449346.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/453459.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

php如果实现日历的制作,教大家制作简单的php日历

最近的一个项目中,需要将数据用日历方式显示,网上有很多的JS插件,后面为了自己能有更大的控制权,决定自己制作一个日历显示。如下图所示:一、计算数据1、new一个Calendar类2、初始化两个下拉框中的数据,年份…

编程要养成的好习惯

1.- DRY: Don’t repeat yourself. DRY 是一个最简单的法则,也是最容易被理解的。但它也可能是最难被应用的(因为要做到这样,我们需要在泛型设计上做相当的努力,这并不是一件容易的事)。它意味着,当我们在…

flink整合java,Flink使用SideOutPut替换Split实现分流

基于apache flink的流处理实时模型44元包邮(需用券)去购买 >以前的数据分析项目(版本1.4.2),对从Kafka读取的原始数据流,调用split接口实现分流.新项目决定使用Flink 1.7.2,使用split接口进行分流的时候,发现接口被标记为depra…

WCF和webservice的区别

微软论坛的斑竹回答如下: 脑内:果然是高大上啊 1.WebService:严格来说是行业标准,不是技术,使用XML扩展标记语言来表示数据(这个是夸语言和平台的关键)。微 软的Web服务实现称为ASP.NET Web Ser…

链表和顺序表的一些区别

顺序表与链表是非常基本的数据结构,它们可以被统称为线性表。 线性表(Linear List)是由 n(n≥0)个数据元素(结点)a[0],a[1],a[2]…,a[n-1] 组成的有限序列。…

春节期间小游戏同时在线人数最高达2800万人/小时

微信官方发布2018年春节期间微信数据报告:除夕至初五,总共有2,297亿条微信消息,28亿条微信朋友圈成功发出,音视频通话总时长175亿乙分钟。其中,90后用广的消息发送量占总量的42.5%,80后用户25.9%&#xff0…

餐馆的故事-浅析职责链模式

我们在餐馆吃饭的时候,一般都是在拿到菜单后,选择喜欢的菜,然后通知服务员。服务员会将我们的定单交给大厨,大厨可能会亲自去做这道菜,也可能安排给小厨来做,总之,我们不用担心他们没有人做菜&a…

matlab非齐次方程组的通解,用matlab求非齐次线性方程组的通解?

先向大家介绍一下非齐次线性方程组。所谓非齐次线性方程组就是方程组等号右边的常数项不全为零的线性方程组。全部等于零时,就称为齐次线性方程组。下面我们就讲解一下如何利用matlab快速求非齐次线性方程组的通解。工具/材料matlab电脑操作方法01线性方程组Axb的求…

Linux 终端仿真程序Putty

PuTTY是一个Telnet、SSH、rlogin、纯TCP以及串行接口连接软件。较早的版本仅支持Windows平台,现在的版本中开始支持各类Unix平台。 用linux作为桌面系统,身为工程师很多时候需要通过Telnet、SSH协议进行远程管理,通过串口进行设备配置。Putty…

粗识静态链表

为了弥补链表在内存分配上的不足,出现了静态链表这么一个折中的办法。静态链表比较类似于内存池,它会预先分配一个足够长的数组,之后链表节点都会保存在这个数组里,这样就不需要频繁的进行内存分配了。 当然,这个方法的…

php用date语句获取时间,关于php date()函数获取时间的设置和使用方法

date()函数是PHP自带的时间函数,可以获取当前服务器的时间echo date(Y-m-d H:i:s); //输出:2020-05-18 11:02:35date()函数中可以使用的字母含义:a-"am"(上午)或者"pm"(下午)A-"AM"或者"PM"Y-年,显示…

Django_form补充

问题1: 注册页面输入为空,报错:keyError:找不到passworddef clean(self): print("---",self.cleaned_data) # if self.cleaned_data["password"]self.cleaned_data["repeat_password"]: …

WF4.0:NativeActivity中的错误处理

备注:这篇文章的使用环境是.NET framework 4.0 RC 1 在WF4中创建native活动时,NativeActivity是非常强大的。其众多的功能之一是围绕错误处理。 调度子活动的时的基本错误处理。 当NativeActivity执行的时候,它是通过一个NativeActivityConte…

Cadence 电源完整性仿真实践(二)

转载于:http://blog.csdn.net/wu20093346/article/details/38050917 通过以上步骤对每个平面进行了单节点分析并观测了响应曲线,接下来将观测平面对的目标阻抗是否满足要求,通过选择电容器的方法来减小含有电容器阻抗响应曲线中的反谐振波峰。在SigWave窗…

Johnson 全源最短路径算法

解决单源最短路径问题(Single Source Shortest Paths Problem)的算法包括: Dijkstra 单源最短路径算法:时间复杂度为 O(E VlogV),要求权值非负; Bellman-Ford 单源最短路径算法:时间复杂度为 O…

Machine Learning 学习笔记1 - 基本概念以及各分类

What is machine learning? 并没有广泛认可的定义来准确定义机器学习。以下定义均为译文,若以后有时间,将补充原英文...... 定义1、来自Arthur Samuel(上世纪50年代、西洋棋程序) 在进行特定编程的情况下给予计算机学习能力的领域…

蒙特 卡罗方法matlab,蒙特·卡罗方法中的数学之美,你一定不想错过

原标题:蒙特卡罗方法中的数学之美,你一定不想错过有方教育——我们致力于为中学生提供学界和业界前沿的学术科研教育内容,帮助学生参加海外科研项目,在提升申请竞争力的同时,获得领跑优势。一、概述蒙特卡罗方法(Monte…

【 CDN 最佳实践】CDN 命中率优化思路

CDN 在静态资源的加速场景中是将静态资源缓存在距离客户端较近的CDN 节点上,然后客户端访问该资源即可通过较短的链路直接从缓存中获取资源,而避免再通过较长的链路回源获取静态资源。因此 CDN的缓存命中率的高低直接影响客户体验,而保证较高…

Python基础-time and datetime

一、在Python中,通常有这几种方式来表示时间: 时间戳格式化的时间字符串元组(struct_time)共九个元素。由于Python的time模块实现主要调用C库,所以各个平台可能有所不同。1.时间戳(timestamp)的…

matlab中欧姆如何表示,在excel中欧姆符号怎么打

在excel中欧姆符号怎么打,相信对于好多熟练用excel的朋友来说,是很简单不过的,但是对于有些初学者来说,就是菜鸟啦,就有点懵懵懂懂的感觉了,毕竟刚接触的东西还没用过嘛。但是,没关系今天笔者就…