39python数据分析numpy基础之h5py读写数组数据到h5文件

1 python数据分析numpy基础之h5py读写数组数据到h5文件

HDF5(分层数据格式文件)是Hierarchical Data Format Version 5的缩写,是一种用于存储和管理大数据的文件格式。经历了20多年的发展,HDF格式的最新版本是HDF5,它包含了数据模型,库,和文件格式标准。

一个hdf5文件包括“dataset”和“group”。

HDF5 文件一般以 .h5 或者 .hdf5 作为后缀名,HDF5 文件结构中有 2 primary objects: Groups 和 Datasets。

Groups 就类似于文件夹,每个 HDF5 文件其实就是根目录 (root) group’/',可以看成目录的容器,其中可以包含一个或多个 dataset 及其它的 group。

Datasets 类似于 NumPy 中的数组 array,可以当作数组的数据集合 。

每个 dataset 可以分成两部分: 原始数据 (raw) data values 和 元数据 metadata。

1.1 安装h5py

通过pip install h5py安装h5py库。

D:\python39>pip3 install h5py
Collecting h5pyDownloading h5py-3.10.0-cp39-cp39-win_amd64.whl (2.7 MB)|████████████████████████████████| 2.7 MB 79 kB/s
Requirement already satisfied: numpy>=1.17.3 in d:\python39\lib\site-packages (from h5py) (1.26.1)
Installing collected packages: h5py
Successfully installed h5py-3.10.0
WARNING: You are using pip version 20.2.3; however, version 24.0 is available.
You should consider upgrading via the 'd:\python39\python.exe -m pip install --upgrade pip' command.

1.2 读写hdf5文件

通过h5py.File(file,mode)创建一个h5文件。通过create_dataset()将数组写到hdf5文件。

用法

h5py.File(name, mode='r')

描述

python的h5py库的File()函数创建一个h5文件。

NOmode描述1
1r默认值r,为只读,文件必须存在
2r+读写,文件必须存在
3w创建文件,如果存在则截断
4w-或x创建文件,如果存在则失败
5a读和写,如果不存在则创建

用法

create_dataset(name, shape=None, dtype=None, data=None, **kwds)

描述

python的通过h5py.File.create_dataset()向h5文件写内容。

name:数据集名称,通过此名称进行存取数组。

data:要写到h5文件的数组数据。

模式为w时,每次调用create_dataset()会截断文件,覆盖h5文件原有的内容。

模式为a时,每次调用create_dataset()不会覆盖h5文件原有内容,通过切片修改达到修改文件的效果。

示例

>>> import numpy as np
>>> import h5py
>>> ar1=np.arange(24).reshape(2,3,4)
>>> ar2=np.arange(24).reshape(1,3,8)
>>> fname1=r'E:\ls\h5f1.h5'
# h5py.File()写模式创建一个h5文件
>>> h5f1=h5py.File(fname1,mode='w')
# 将数组写到h5文件
>>> h5f1.create_dataset('ar1',data=ar1)
<HDF5 dataset "ar1": shape (2, 3, 4), type "<i4">
>>> h5f1.create_dataset('ar2',data=ar2)
<HDF5 dataset "ar2": shape (1, 3, 8), type "<i4">
# 读模式打开一个h5文件
>>> h5f1=h5py.File(fname1,mode='r')
# 通过切片获取数组
>>> h5f1['ar1'][:]
array([[[ 0,  1,  2,  3],[ 4,  5,  6,  7],[ 8,  9, 10, 11]],[[12, 13, 14, 15],[16, 17, 18, 19],[20, 21, 22, 23]]])
>>> h5f1['ar2'][:]
array([[[ 0,  1,  2,  3,  4,  5,  6,  7],[ 8,  9, 10, 11, 12, 13, 14, 15],[16, 17, 18, 19, 20, 21, 22, 23]]])
>>> h5f1.close()
# 切换a模式,添加数组到dataset,达到向文件添加内容的效果
>>> h5f1=h5py.File(fname1,mode='a')
# 已经存在的dataset不可再次create添加
>>> h5f1.create_dataset('ar2',data=[1,2])
Traceback (most recent call last):File "<pyshell#64>", line 1, in <module>h5f1.create_dataset('ar2',data=[1,2])File "D:\python39\lib\site-packages\h5py\_hl\group.py", line 183, in create_datasetdsid = dataset.make_new_dset(group, shape, dtype, data, name, **kwds)File "D:\python39\lib\site-packages\h5py\_hl\dataset.py", line 163, in make_new_dsetdset_id = h5d.create(parent.id, name, tid, sid, dcpl=dcpl, dapl=dapl)File "h5py\_objects.pyx", line 54, in h5py._objects.with_phil.wrapperFile "h5py\_objects.pyx", line 55, in h5py._objects.with_phil.wrapperFile "h5py\h5d.pyx", line 137, in h5py.h5d.create
ValueError: Unable to synchronously create dataset (name already exists)
# 通过切片方式进行修改
>>> h5f1['ar2'][0,0]=[20,21,22,23,25,26,27,28]
>>> h5f1['ar2'][:]
array([[[20, 21, 22, 23, 25, 26, 27, 28],[ 8,  9, 10, 11, 12, 13, 14, 15],[16, 17, 18, 19, 20, 21, 22, 23]]])
>>> h5f1['ar1'][:]
array([[[ 0,  1,  2,  3],[ 4,  5,  6,  7],[ 8,  9, 10, 11]],[[12, 13, 14, 15],[16, 17, 18, 19],[20, 21, 22, 23]]])
# 添加dataset到h5文件,不会截断之前的文件内容
>>> h5f1.create_dataset('ar3',data=[1,2])
<HDF5 dataset "ar3": shape (2,), type "<i4">
>>> h5f1['ar3'][:]
array([1, 2])
>>> h5f1['ar2'][:]
array([[[20, 21, 22, 23, 25, 26, 27, 28],[ 8,  9, 10, 11, 12, 13, 14, 15],[16, 17, 18, 19, 20, 21, 22, 23]]])

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/853355.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【LVGL】Guider 界面分析

文章目录 前言架构创建 UI切换界面空间释放分析创建页面空间变化 前言 分析Gui Guider-1.7.2-GA 生成的 LVGL 界面切换&#xff0c;资源管理等处理 架构 所有控件存放于同一个结构体 lv_ui 内&#xff0c;每个页面都至少包含 screen_xxx 和 screen_xxx_del 两个成员 typede…

用HAL库改写江科大的stm32入门-7-1 ADC

实验目的:了解ADC基本概念 电路图&#xff1a; ADC&#xff08;Analog-Digital Converter&#xff09;模拟-数字转换器&#xff0c;它可以将引脚上连续变化的模拟电压转换为内存中存储的数字变量&#xff0c;建立模拟电路到数字电路的桥梁。 实验效果&#xff1a; &#xff0…

【html】学会这一套布局,让你的网页更加

很多小伙伴们在刚刚开始学习网页设计的时候不知道怎么布局今天给大家介绍一种非常实用且更加专业的一种布局。 灵感来源&#xff1a; 小米官网 布局图; 实例效果图&#xff1a; 这是一个简单的HTML模板&#xff0c;包括头部、内容区域和底部。 头部部分包括一个分为左右两部分…

【代码随想录】【算法训练营】【第39天】 [62]不同路径 [63]不同路径II [343]整数拆分 [96]不同的二叉搜索树

前言 思路及算法思维&#xff0c;指路 代码随想录。 题目来自 LeetCode。 day 39&#xff0c;周六&#xff0c;坚持不住了~ 题目详情 [62] 不同路径 题目描述 62 不同路径 解题思路 前提&#xff1a;每次只能向下或者向右移动一步 思路&#xff1a;动态规划&#xff0…

部署LVS-DR群集...

目录 最后一台主机&#xff08;第四台&#xff09; 本地yum源安装httpd&#xff08;非必做&#xff09; 继续开始从最后一台主机开始&#xff08;第四台&#xff09; 转第二台主机 转第三台主机 回第二台 上传 转第三台主机 上传 回第二台 转第三台 转第一台主机…

Linux Kernel入门到精通系列讲解(RV-Kernel 篇) 5.5 RTC设备编写与实现

1. 概述 上一章节我们已经在QEMU中添加了RTC设备,本章节我们就把RTC设备给移植进入kernel中运行起来,我们移植的Google goldfish_rtc设备,此IP已经在Linux kernel有了Driver,所以我们直接移植设备树即可。 RTC时钟是用来记录当前系统时间的;对于Linux系统来说,时间是一…

Java 项目学习(初始化项目)

后端工程基于 maven 进行项目构建&#xff0c;并且进行分模块开发 参考&#xff1a;Spring或Spring Boot项目目录结构划分和代码分层 1、了解项目的整体结构 sky-take-out maven 父工程&#xff0c;统一管理依赖版本&#xff0c;聚合其他子模块 sky-common 子模块&#xff0c…

【背包题】oj题库

目录 1282 - 简单背包问题 1780 - 采灵芝 1888 - 多重背包&#xff08;1&#xff09;​编辑 1891 - 开心的金明 2073 - 码头的集装箱 1905 - 混合背包 1282 - 简单背包问题 #include <bits/stdc.h> using namespace std; //二维数组:dp[i][j]max(dp[i-1][j],v[i]dp[…

CSS动画(登录页面)

1.整体效果 https://mmbiz.qpic.cn/sz_mmbiz_gif/EGZdlrTDJa6Pfop3IiakrZOtiaiaKniaxeH2Gs407DmkXPsMo8AFKdsYibYcpZiboc24Ulic2CicmyvHmnwCrib7MDe6Jvg/640?wx_fmtgif&fromappmsg&tpwebp&wxfrom5&wx_lazy1&wx_co1 2.完整代码 HTML <!DOCTYPE html&g…

Oracle备份失败处理,看这一篇就够了!

作者&#xff1a;IT邦德 中国DBA联盟(ACDU)成员&#xff0c;10余年DBA工作经验&#xff0c; Oracle、PostgreSQL ACE CSDN博客专家及B站知名UP主&#xff0c;全网粉丝10万 擅长主流Oracle、MySQL、PG、高斯及Greenplum备份恢复&#xff0c; 安装迁移&#xff0c;性能优化、故障…

FLAN-T5模型的文本摘要任务

Text Summarization with FLAN-T5 — ROCm Blogs (amd.com) 在这篇博客中&#xff0c;我们展示了如何使用HuggingFace在AMD GPU ROCm系统上对语言模型FLAN-T5进行微调&#xff0c;以执行文本摘要任务。 介绍 FLAN-T5是谷歌发布的一个开源大型语言模型&#xff0c;相较于之前的…

第一页总结

第一页总结 链表反转206. 反转链表25. K 个一组翻转链表 双指针21. 合并两个有序链表141. 环形链表 链表 反转 206. 反转链表 206. 反转链表 给你单链表的头节点 head &#xff0c;请你反转链表&#xff0c;并返回反转后的链表。 递归思路&#xff1a; 每一个子递归都将当前…

什么是专业的CRM客户管理系统,介绍crm客户管理系统的功能作用

CRM&#xff08;Customer Relationship Management&#xff09;客户管理系统&#xff0c;是现代企业不可或缺的一款管理工具。它集客户信息管理、销售自动化、客户服务与支持、数据分析与决策支持等多项功能于一身&#xff0c;帮助企业实现客户关系的全方位管理&#xff0c;从而…

浏览器必备插件:最新Allow copy万能网页复制下载,解锁网页限制!

今天阿星给大家安利一个超级实用的小工具&#xff0c;专治那些“禁止复制”的网页文字。学生党、资料搜集狂人&#xff0c;你们有福了&#xff01; 想象一下&#xff0c;你在网上冲浪&#xff0c;突然遇到一篇干货满满的文章&#xff0c;正想复制下来慢慢品味&#xff0c;结果…

CubeMX Keil Configure

// 使用外部高速晶振 外部高速晶振为8M&#xff08;根据开发板上的晶振频率设置&#xff09;&#xff0c;使用 PLLCLK&#xff0c;HSE 选项 USART1 使用 Asynchronous&#xff0c;PA9&#xff0c;PA10引脚&#xff08;USART1 引脚根据开发板上引脚设置&#xff09; 设置MDK AR…

Docker Nginx

Docker官网 https://www.docker.com/https://www.docker.com/ 删除原先安装的Docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ …

android13 应用冷启动

1 概述 launcher 通过binder到systemserver中atms中发送startActivity请求 startProcess向zygote发送启动新进程请求 zygote收到请求&#xff0c;fork新进程并调用ActivityThread的main初始化 新进程启动&#xff0c;发送attachApplication给ams&#xff0c;告诉他新进程启动…

vuex是什么?如何使用?使用他的功能场景?

Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。它采用集中式存储管理应用的所有组件的状态&#xff0c;并以相应的规则保证状态以一种可预测的方式发生变化。Vuex 也集成到 Vue 官方的开发者工具 extension 中&#xff0c;提供了诸如零配置的 time-travel 调试、状态快照…

php环境变量$_ENV详解

在PHP中&#xff0c;$_ENV 是一个预定义的全局变量&#xff0c;它是一个关联数组&#xff0c;用来存储来自环境变量的信息。环境变 量是在操作系统中设置的、与正在运行的程序相关的变量&#xff0c;可以包含关于系统环境、路径、用户设置等信息。 获取环境变量 当你需要在P…

多维数组切片

使用切片的种类 第一种&#xff1a;使用单个冒号&#xff0c;最全的切片结构&#xff1a;[ start:stop:interval ]第二种&#xff1a;连续使用两个冒号获取带间隔的序列元素或者是实现特定的结果&#xff0c;比如逆序列。多维切片---考虑广播性质 本文要重点提醒的是 多维数组在…