Python进阶之-mmap详解

✨前言：

Python中的mmap模块允许你创建一个内存映射的文件，这意味着文件数据直接映射到虚拟内存。这样做的好处包括：提高文件访问速度、可通过修改内存来修改文件、可以像操作普通内存一样操作这块特殊的内存区域。

✨mmap基础

要使用mmap,需要先导入该模块

import mmap

你需要一个文件描述符（可以是一个打开的文件对象的.fileno()方法返回的，也可以是一个现有的文件描述符），使用这个文件描述符，可以创建一个mmap对象：

import mmap# 打开文件
with open("example.dat", "r+b") as f:# 创建内存映射mm = mmap.mmap(f.fileno(), 0)# 使用mmap对象...# 完成后，解除映射mm.close()

✨mmap常用方法

1.mmap.read(byte)：读取指定数量的字节。
2.mmap.readline()：读取一行。
3.mmap[:N]或mmap.read(N)：读取前N个字节。
4.mmap.seek(offset)：移动当前位置至指定offset。
5.mmap.tell()：获取当前位置。
6.mmap.write(bytes)：写入字节字符串。
7.mmap.flush()：将更改写回文件中。在某些情况下是必须的，例如，当对文件内容进行更改而想将更改保存至磁盘时。
8.mmap.close()：关闭内存映射文件。

✨举例说明

🌟例1：基础读写

考虑一个文件example.dat，先写入一些数据然后通过内存映射来修改它。

import mmapwith open("example.dat", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)print("Original:", mm[:].decode())  # 读取内容replacement = b"World!"original_size = len(mm[:])replacement_size = len(replacement) + 6  # +6因为替换起始于第6位if replacement_size <= original_size:# 此处简单处理，用空格补齐，只为示例replacement = replacement.ljust(original_size - 6, b' ')mm[6:] = replacement  # 修改内容mm.seek(0)  # 移动至文件开头print("Modified:", mm[:].decode())  # 再次读取内容else:print("Replacement string is too long.")mm.close()

🌟例2：搜索和替换

如果想在内存映射文件中搜索特定的文本，并且替换它：


import mmap# 首先，创建/重新创建文件并写入 "Hello World!"
with open("example.dat", "wb") as f:f.write(b"Hello World!")with open("example.dat", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)start = mm.find(b"World")if start != -1:mm[start:start+5] = b"debug"mm.seek(0)print("After replace:", mm[:].decode())   # 正确的输出应该是 "Hello debug!"mm.close()

🌟例3 性能对比

创建测试文件

with open("large_file.txt", "wb") as f:f.write(b"0" * 1024 * 1024 * 100)  # 创建一个100MB的文件

普通文件读取测试

import time
start_time = time.time()
with open("large_file.txt", "rb") as f:content = f.read(10)  # 同样只读取前10个字节作为示例
elapsed_time = round(time.time() - start_time, 6)print("普通读取耗时：", elapsed_time) # 普通读取耗时： 0.011448

mmap 读取测试

start_time = time.time()
with open("large_file.txt", "r+b") as f:mm = mmap.mmap(f.fileno(), 0)content = mm[:10]  # 假设我们只读取前10个字节作为示例mm.close()
elapsed_time = round(time.time() - start_time, 6)print("mmap读取耗时：", elapsed_time)  # mmap读取耗时： 0.008091