python与h5结合实例_使用h5py合并所有h5文件

您需要的是文件中所有数据集的列表。我认为这里需要的是recursive function的概念。这将允许您从一个组中提取所有的“数据集”,但是当其中一个看起来是组本身时,递归地执行相同的操作,直到找到所有数据集为止。例如:/

|- dataset1

|- group1

|- dataset2

|- dataset3

|- dataset4

伪代码中的函数应该如下所示:

^{pr2}$

例如:/dataset1是一个数据集:将路径添加到输出,给出out = ['/dataset1']

/group不是数据集:调用getdatasets('/group',file)/group/dataset2是一个数据集:将路径添加到输出,给出nested_out = ['/group/dataset2']

/group/dataset3是一个数据集:将路径添加到输出,给出nested_out = ['/group/dataset2', '/group/dataset3']

这是我们已经拥有的:out = ['/dataset1', '/group/dataset2', '/group/dataset3']

/dataset4是一个数据集:将路径添加到输出,给出out = ['/dataset1', '/group/dataset2', '/group/dataset3', '/dataset4']

此列表可用于将所有数据复制到另一个文件中。在

要制作一个简单的克隆,可以执行以下操作。在import h5py

import numpy as np

# function to return a list of paths to each dataset

def getdatasets(key,archive):

if key[-1] != '/': key += '/'

out = []

for name in archive[key]:

path = key + name

if isinstance(archive[path], h5py.Dataset):

out += [path]

else:

out += getdatasets(path,archive)

return out

# open HDF5-files

data = h5py.File('old.hdf5','r')

new_data = h5py.File('new.hdf5','w')

# read as much datasets as possible from the old HDF5-file

datasets = getdatasets('/',data)

# get the group-names from the lists of datasets

groups = list(set([i[::-1].split('/',1)[1][::-1] for i in datasets]))

groups = [i for i in groups if len(i)>0]

# sort groups based on depth

idx = np.argsort(np.array([len(i.split('/')) for i in groups]))

groups = [groups[i] for i in idx]

# create all groups that contain dataset that will be copied

for group in groups:

new_data.create_group(group)

# copy datasets

for path in datasets:

# - get group name

group = path[::-1].split('/',1)[1][::-1]

# - minimum group name

if len(group) == 0: group = '/'

# - copy data

data.copy(path, new_data[group])

当然,进一步的定制是可能的,这取决于您想要什么。你描述了一些文件的组合。那样的话你就得new_data = h5py.File('new.hdf5','a')

可能会给这条路加些什么。在

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/567310.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

vfp 调用 mysql uft-8 connstring_(最全的数据库连接字符串)connectionstring

PS:如果不是太稳定的数据库,最好使用connection lifetime10来限制连接池内连接的生存日期Standard Security:"Driver{SQL Server};ServerAron1;Databasepubs;Uidsa;Pwdasdasd;"Trusted connection:"Driver{SQL Server};ServerAron1;Databasepubs;Tru…

python3ide手机端怎么样_各大Python IDE的优缺点,看看哪种最适合你?

写 Python 代码最好的方式莫过于使用集成开发环境(IDE)了。它们不仅能使你的工作更加简单、更具逻辑性,还能够提升编程体验和效率。每个人都知道这一点。而问题在于,如何从众多选项中选择最好的 Python 开发环境。初级开发者往往面临这个问题。本文将概述…

八大算法python实现_python实现协同过滤推荐算法完整代码示例

测试数据协同过滤推荐算法主要分为:1、基于用户。根据相邻用户,预测当前用户没有偏好的未涉及物品,计算得到一个排序的物品列表进行推荐2、基于物品。如喜欢物品A的用户都喜欢物品C,那么可以知道物品A与物品C的相似度很高&#xf…

用递归与分治策略求解网球循环赛日程表_算法设计:分治法(比赛日程安排)...

一、算法思路1、思路分治算法的思想是:对于一个规模位N的问题,若该问题可以容易解决(比如规模N较小),则直接解决,否则将其分解为M个规模较小的子问题,这些子问题互相独立,并且与原问题形式相同,…

python请编写程序、生成随机密码_利用Python如何生成随机密码

本位实例为大家分享了Python生成随机密码的实现过程,供大家参考,具体内容如下写了个程序,主要是用来检测MySQL数据库的空密码和弱密码的,在这里,定义了三类弱密码:1. 连续数字,譬如123456&#…

centos6.5装mysql好难_centos 6.5装mysql5.7

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼报错er-5.7.17-1.el7.i686 需要--> 处理依赖关系 libc.so.6(GLIBC_2.17),它被软件包 mysql-community-server-5.7.17-1.el7.i686 需要--> 完成依赖关系计算错误:Package: mysql-community-client-5.7.…

聚类算法 距离矩阵_谱聚类

比起传统的K-means算法,谱聚类对数据分布的适应性更强,计算量也要小很多。1. 谱聚类概述谱聚类是从图论中演化出来,主要思想是吧所有的数据看作空间中的点,这些点之间可以用边连接起来。距离较远的两个点之间的边权重值较低&#…

core mysql 延迟加载_mybatis延迟加载及实例讲解

延迟加载基本概念上面我们已经知道使用association、collection可以实现一对一及一对多映射,association、collection还有另外一个延迟加载的功能。延迟加载(lazy load)是关联对象默认的加载方式,延迟加载机制是为了避免一些无谓的性能开销而提出来的&am…

mysql忘记i密码_Mysql忘记密码处理过程

最近项目用到了Mysql,项目里面没有运维人员,项目经理吩咐我在Linux下搭基础环境,其中遇到各种坑,现在记录一下,方便以后使用。以下内容是从网上摘抄过了的,若有侵权,请联系本人删除。1.mysql5.7…

vlan划分不能上网_VLAN工作原理

什么是VLANVLAN(Virtual LAN),翻译成中文是“虚拟局域网”。可以看做是在一个物理局域网络上搭建出几个逻辑上分离的几个局域网。举个例子来说,如果一个交换机划分为两个VLAN,则相当于这台交换机逻辑上划分为两个交换机。VLAN的一个简单直观说…

mysql查询条件是小数 查不到6.28_28.mysql数据库之查询

1.查询语句mysql 多表关系 查询语句 索引1.添加数据补充:将一个查询结果插入到另一张表中create table student(name char(10),gender int);insert into student values("jack",1);insert into student values("rose",0);create table student_man(name ch…

控制for each循环次数_CCF CSP编程题解201312-1:出现次数最多的数

试题编号:201312-1试题名称:出现次数最多的数时间限制:1.0s内存限制:256.0MB问题描述:给定n个正整数,找出它们中出现次数最多的数。如果这样的数有多个,请输出其中最小的一个。输入格式:输入的第一行只有一…

python编程优化_掌握六大技巧,让python编程健步如飞!

有人跟我抱怨说python太慢了,然后我就将python健步如飞的六大技巧传授给他,结果让他惊呆了,你也想知道这个秘诀吗?这就告诉你:Python是一门优秀的语言,它能让你在短时间内通过极少量代码就能完成许多操作。不仅如此&a…

python离线安装依赖包_python离线安装外部依赖包的实现

{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台&…

python段子_Python爬取内涵段子里的段子

环境:Python3.6#!/usr/bin/env python3#-*-coding:utf-8-*-#version:3.6.4__author__ 杜文涛import requestsimport jsondef get_json_dic(url):global dict_jsonresponse requests.get(urlurl)json_response response.content.decode() #获取r的文本 就是一个js…

r语言中的或怎么表示什么不同_R经典入门 之 R语言的基本原理与概念 -- 200430

一、基本原理R是一种解释型语言,输入的命令可以直接被执行,不同于C等编译语言需要构成完整的程序才能运行。R的语法非常简单和直观。合法的R函数总是带有圆括号的形式,即使括号内没有内容(如,ls())。所有函数后都接有圆括号以区别…

旋流式沉砂池计算_旋流沉砂池设计方法

旋流沉砂池设计接口条件和主要参数设计旋流沉砂池前要确认的接口条件和信息包括:地质、气候等基本设计条件;可用地尺寸及在总图的位置坐标;地坪标高,上下游水位或范围,冻土层高度,管道覆土小深度要求&#…

parallelstream启动的线程数_高并发与多线程网络学习笔记(三)线程组和线程池

线程组线程组的作用是:可以批量管理线程或线程组对象,有效地对线程或线程组对象进行组织。构造函数ThreadGroup(String name)//默认parent为当前线程组 ThreadGroup(ThreadGroup parent, String name)具体方法//评估当前活跃的线程数,包括当前group和子g…

java 缓冲流_Java缓冲流的使用

package java;import org.junit.Test;import java.io.*;/*** 处理流之一:缓冲流的使用** 1.缓冲流:* BufferedInputStream* BufferedOutputStream* BufferedReader* BufferedWriter** 2.作用:提供流的读取、写入的速度* 提高读写速度的原因&a…

pytorch l2正则化_吴恩达深度学习 编程作业六 正则化(2)

推荐守门员应该将球踢到哪个位置,才能让自己的队员用头击中。1.无正则化模型判别是否有正则化与调用其他计算函数。准确率:0.948/0.915明显过拟合overfiting了。2.L2正则化公式如下,在原有cost函数基础上增加L2项,L2为参数w的均方…