python 二进制流_Python中对字节流/二进制流的操作:struct模块简易使用教程

前言

前段时间使用Python解析IDX文件格式的MNIST数据集,需要对二进制文件进行读取操作,其中我使用的是struct模块。查了网上挺多教程都写的挺好的,不过对新手不是很友好,所以我重新整理了一些笔记以供快速上手。

注:教程中以下四个名词同义:二进制流、二进制数组、字节流、字节数组

快速上手

在struct模块中,将一个整型数字、浮点型数字或字符流(字符数组)转换为字节流(字节数组)时,需要使用格式化字符串fmt告诉struct模块被转换的对象是什么类型,比如整型数字是'i',浮点型数字是'f',一个ascii码字符是's'。

def demo1():

# 使用bin_buf = struct.pack(fmt, buf)将buf为二进制数组bin_buf

# 使用buf = struct.unpack(fmt, bin_buf)将bin_buf二进制数组反转换回buf

# 整型数 -> 二进制流

buf1 = 256

bin_buf1 = struct.pack('i', buf1) # 'i'代表'integer'

ret1 = struct.unpack('i', bin_buf1)

print bin_buf1, ' <====> ', ret1

# 浮点数 -> 二进制流

buf2 = 3.1415

bin_buf2 = struct.pack('d', buf2) # 'd'代表'double'

ret2 = struct.unpack('d', bin_buf2)

print bin_buf2, ' <====> ', ret2

# 字符串 -> 二进制流

buf3 = 'Hello World'

bin_buf3 = struct.pack('11s', buf3) # '11s'代表长度为11的'string'字符数组

ret3 = struct.unpack('11s', bin_buf3)

print bin_buf3, ' <====> ', ret3

# 结构体 -> 二进制流

# 假设有一个结构体

# struct header {

# int buf1;

# double buf2;

# char buf3[11];

# }

bin_buf_all = struct.pack('id11s', buf1, buf2, buf3)

ret_all = struct.unpack('id11s', bin_buf_all)

print bin_buf_all, ' <====> ', ret_all

输出结果如下:

demo1输出结果

详解struct模块

主要函数

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

# 按照给定的格式化字符串,把数据封装成字符串(实际上是类似于c结构体的字节流)

string = struct.pack(fmt, v1, v2, ...)

# 按照给定的格式(fmt)解析字节流string,返回解析出来的tuple

tuple = unpack(fmt, string)

# 计算给定的格式(fmt)占用多少字节的内存

offset = calcsize(fmt)

struct中的格式化字符串

struct中支持的格式如下表:

Format

C Type

Python

字节数

x

pad byte

no value

1

c

char

string of length 1

1

b

signed char

integer

1

B

unsigned char

integer

1

?

_Bool

bool

1

h

short

integer

2

H

unsigned short

integer

2

i

int

integer

4

I

unsigned int

integer or lon

4

l

long

integer

4

L

unsigned long

long

4

q

long long

long

8

Q

unsigned long long

long

8

f

float

float

4

d

double

float

8

s

char[]

string

1

p

char[]

string

1

P

void *

long

注1:q和Q只在机器支持64位操作时有意思

注2:每个格式前可以有一个数字,表示个数

注3:s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串

注4:P用来转换一个指针,其长度和机器字长相关

注5:最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

Character

Byte order

Size and alignment

@

native

native 凑够4个字节

=

native

standard 按原字节数

<

little-endian

standard 按原字节数

>

big-endian

standard 按原字节数

!

network (= big-endian)

standard 按原字节数

使用方法是放在fmt的第一个位置,就像'@5s6sif'

参考

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/533634.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

react 图片放在src里面还是public_手写Webpack从0编译Vue/React项目

当前前端开发&#xff0c;90%的项目都是Vue和React&#xff0c;然而70%的同学都基于脚手架创建项目&#xff0c;因为脚手架会包含项目基本框架、webpack配置、scss/sass/less解析、babel配置、DevServer、JSX/Vue文件解析、CSS前缀等&#xff0c;我们要做的就是开发功能模块&am…

python union函数_如何掌握Python union()方法及怎么用?

不断学习python的过程里&#xff0c;总能遇到各种形形色色的函数或者方法&#xff0c;本章给大家带来python union的用法&#xff0c;具体内容如下&#xff1a;union()方法描述&#xff1a;union() 取并集&#xff0c;效果等同于 | &#xff0c;重复元素只会出现一次&#xff0…

输入分钟输出小时python_输出键,值对如何使1小时内的时间在使用Python的MapReduce中的reducer中结束?...

这是一个策略&#xff1a;来自Mapper的&#xff1a;发出每个记录的三个副本并使用二级排序&#xff1a;((复合键)&#xff0c;值)((消息小时 - 一小时&#xff0c;当前消息的精确时间)&#xff0c;消息)((消息小时&#xff0c;消息的准确时间)&#xff0c;消息)((消息小时1小时…

python 在线预览文件_用Python PyQt写一个在线预览图片的GUI

在爬完网上一篇帖子&#xff0c;并得到其中的所有图片链接后&#xff0c;写一个GUI来实现在线预览是一个很自然的想法&#xff0c; 相当于实现一个python版的图片浏览器&#xff0c; 通过这个练习&#xff0c;可以让我们更熟悉PyQt这个库。这里我用的是PyQt4。以下是我的写的程…

python怎样安装模块_python中如何安装模块

下面介绍几种安装Python模块的几种方式方法1&#xff1a;easy_install 方式先下载ez_setup.py,运行python ez_setup 进行easy_install工具的安装&#xff0c;之后就可以使用easy_install进行安装package了。本文安装的是Python 2.7.13版本&#xff0c;已经自带了easy_install。…

java rt_java中rt包中源码了解

javap –verbose class名 查看class文件的具体内容javap -c class名继续看io类接口 java.io.Closeable功能&#xff1a;关闭流和相应的资源java.io.console功能&#xff1a;使用字节控制台&#xff0c;与当前的java virtual machine 相关java.io.DataInput功能&#xff1a;从二…

google 确定某点海拔高_一份“高投资回报率”的用户体验度量方法指南

本文核心就是介绍体验度量方法&#xff0c;以及如何在商业项目中如何发起一个具有高ROI(投资回报率)的用户体验量化流程。 下面文章将分为解读高投资回报和拆解体验度量、实际案例讲解三部分。一、解读高投资回报率高ROI(投资回报率)来定义体验度量流程的原因&#xff1f;3-5年…

md5 java代码_JAVA简单实现MD5注册登录加密实例代码

开发环境&#xff1a;jdk1.7&#xff0c;eclipse框架&#xff1a;springmvc&#xff0c;mybatis工具&#xff1a;maven以下代码复制即可实现MD5加密创建一个mave项目&#xff0c;加web。不懂得可以搜索一下就有了。注册用户的JSP页面代码如下。pageEncoding"utf-8"%&…

一维卷积神经网络_序列特征的处理方法之二:基于卷积神经网络方法

前言上一篇文章介绍了基本的基于注意力机制方法对序列特征的处理&#xff0c;这篇主要介绍一下基本的基于卷积神经网络方法对序列特征的处理&#xff0c;也就是TextCNN方法。序列特征的介绍&#xff0c;背景以及应用可以参考上一篇的详细介绍&#xff0c;这里简单回顾一下定义&…

java socket 阻塞模式_(四) 如何将socket设置为非阻塞模式

1. windows平台上无论利用socket()函数还是WSASocket()函数创建的socket都是阻塞模式的&#xff1a;SOCKET WSAAPI socket( _In_ int af, _In_ int type, _In_ int protocol ); SOCKET WSASocket( _In_ int af, _In_ int t…

python中的pygame模块使用方法_Pygame的基本使用

Pygame有很多模块&#xff0c;每个模块又有很多方法&#xff0c;在此不能够逐一讲解&#xff0c;所以&#xff0c;我们通过一个实例来学习Pygame&#xff0c;然后再分解代码&#xff0c;讲解代码中的模块。例&#xff1a;制作一个跳跃的小球游戏。创建一个游戏窗口&#xff0c;…

java mongodb 插入数据_mongoDB 插入数据 用java实现

import java.net.UnknownHostException;import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBObject;import com.mongodb.Mongo;/** *用java 往mongoDB插入数据 * author wwd* */public class InsertData {publi…

python的特征提取实验一_Spark 2.1.0 入门:特征抽取 — TF-IDF(Python版)

这一部分我们主要介绍和特征处理相关的算法&#xff0c;大体分为以下三类&#xff1a;特征抽取&#xff1a;从原始数据中抽取特征特征转换&#xff1a;特征的维度、特征的转化、特征的修改特征选取&#xff1a;从大规模特征集中选取一个子集特征提取TF-IDF (HashingTF and IDF)…

java addlast_Java中的LinkedList addLast()方法: java.util.LinkedList.addLast() - Break易站

Java中的java.util.LinkedList.addLast()方法用于在LinkedList的末尾插入特定元素。句法&#xff1a;void addLast(Object element)参数&#xff1a;此函数接受单个参数元素&#xff0c;如上面的语法所示。此参数指定的元素将附加在列表的末尾。返回值&#xff1a;此方法不返回…

macos降级_iOS12.3 beta2更新了什么 iOS12.3测试版2新特性与升降级方法

4月0日凌晨&#xff0c;苹果发布了iOS12.3 beta2&#xff0c;作为iOS12.3第二个测试版&#xff0c;相比前一个版本&#xff0c;发布时间间隔近2周&#xff0c;这次依然是小版本更新&#xff0c;不过相对良心一些&#xff0c;主要是多了一些与国内用户相关的东西。iOS12.3 beta …

java技术教程视频_Spring开发视频教程高级篇+源码(400M)33讲

Spring开发视频教程高级篇源码(400M)33讲01_全面阐释Spring及其各项功能.rar 02_搭建与测试Spring的开发环境.rar 03_编码剖析Spring管理Bean的原理.rar 04_Spring的三种实例化Bean的方式.rar 05_配置Spring管理的bean的作用域.rar 06_Spring管理的Bean的生命周期.rar 07_编码剖…

python的常见矩阵除法_Numpy矩阵除法返回所有零

我对下面的矩阵有个除法错误。我想用行和的101向量除以1010matrix。在[[5731, 3, 20, 8, 12, 54, 46, 8, 39, 2],[ 2, 6472, 47, 24, 7, 44, 7, 11, 116, 12],[ 55, 36, 5296, 104, 84, 27, 106, 53, 183, 14],[ 50, 49, 132, 5312, 2, 253, 36, 58, 142, 97],[ 16, 28, 36, 9,…

java rc2加密_急求java RC2加密算法

下面是一段C RC2加密 要求要用java 重写 能互相加密解密QSBEncryptRc2::QSBEncryptRc2(){EncryKey "DingXin Communication Key 20080613";}//解密失败时返回失败描述AnsiString QSBEncryptRc2::GetDecryptErrMsg(){int ErrorCode;AnsiString ErrMsg;ErrorCode …

linux配置usb主从_杂集:浅谈关于Mongodb数据库主从复制

Linux下Mongodb数据库主从复制配置Mongodb的三种集群搭建的方式&#xff1a;Master-Slaver&#xff1a;主从[目前被副本集取代]。Replica Set&#xff1a;副本集。Sharding&#xff1a;切片。Mongodb单实例缺点&#xff1a;适合简易开发时使用&#xff0c;生产使用不行&#xf…

java读取邮箱附件_使用javamail获取附件内容

我正在使用javamail来自动化一些电子邮件处理。使用javamail获取附件内容我设法连接到pop3服务器并获取消息。其中一些包含附件。根据邮件标题&#xff0c;我可以“预测”我需要获取的附件的文件名。但我无法得到它的内容:(我有一个函数public byte[] searchForContent(Part pa…