文件的解析使用python的struct模块,接下来会用到的2个方法:
解包unpack()方法 : 使用该方法可以从写好的二进制文件中读出文件。它的函数原型为:struct.unpack(fmt,string),fmt参数是格式字符串。string表示要转换的python值。最终函数返回一个元组。
calcsize()方法 : 该方法用于计算格式字符串所对应的结果长度,如:struct.calcsize("ii"),返回8。因为一个i代表一个int类型,占用的长度是4个字节。两个i就是两个int,长度为8个字节。
解析图片文件的核心代码示例如下:
def decode_idx3_ubyte(idx3_file):# 读取二进制数据with open(idx3_file, 'rb') as file:file_data =file.read()#定义偏移量，初始值为0offset = 0# 以大端法读取4个 unsinged int32file_header = '>iiii' #解析文件头信息，依次为魔数、图片数量、每张图片高、每张图片宽magic_number, num_images, num_rows, num_cols = struct.unpack_from(file_header, file_data, offset)#读取完文件头信息后，偏移量向后移动16位offset += struct.calcsize(file_header)#以图片的像素大小读取图片file_image = '>' + str(num_rows * num_cols) + 'B'#生成和图片数量相同的数组，且每个数组的形状大小等于图片的像素大小images = np.empty((num_images, num_rows, num_cols))#循环读取每个图片的像素信息for i in range(num_images):image = struct.unpack_from(file_image, file_data, offset)#将读取的图片信息按照规定的形状形成数组images[i] = np.array(image).reshape((num_rows, num_cols))#每读取完一个图片，偏移量向后移动到下一个图片文件的起始位置offset += struct.calcsize(file_image)return images解析函数通过参数接收到测试集图片文件的路径后,以二进制格式rb打开文件,并读取文件数据。
定义一个变量offset,代表偏移量,初始值为0。再定义格式符为4个i。然后解析并读取文件头信息,依次获得魔数、图片的数量,每张图片的高度和宽度。读取完后,使用struct.calcsize方法将偏移量向后移动16位。并定义接下来读取图片文件信息的格式符,即784个字节。
开始读取前,生成和图片数量相同的数组,每个数组的形状大小等于图片的像素大小,以便接下来存储图片。然后循环读取每个图片,并将图片存入数组中。最终将数组返回。
解析图片文件的核心代码示例如下:
def decode_idx1_ubyte(idx1_file):#读取二进制数据with open(idx1_file, 'rb') as file:file_data = file.read()#定义偏移量，初始值为0offset = 0# 以大端法读取4个 unsinged int32file_header = '>ii' #解析文件头信息，依次为魔数、标签数magic_number, label_num = struct.unpack_from(file_header, file_data, offset)#读取完文件头信息后，偏移量向后移动8位offset += struct.calcsize(file_header)#定义存储标签值的数组labels = []#每次读取一个 bytefile_label = '>B'#循环读取每个标签的信息 for i in range(label_num):#将读取的标签信息添加到数组中labels.append(struct.unpack_from(file_label, file_data, offset)[0])#每读取完一个标签，偏移量向后移动一个byteoffset += struct.calcsize(file_label)return labels解析标签文件的代码逻辑和解析图片文件的逻辑一致。只是需要注意,解析并读取的标签文件头信息,只有魔数和标签数。且在循环读取标签时,每次读取一个字节。
解析成功后,会在指定的文件夹下生成相应的文件夹,其中存放了解析后的图片。
完整示例代码如下:
import struct
import numpy as np
import os
import cv2def decode_idx3_ubyte(idx3_file):# 读取二进制数据with open(idx3_file, 'rb') as file:file_data =file.read()#定义偏移量，初始值为0offset = 0# 以大端法读取4个 unsinged int32file_header = '>iiii' #解析文件头信息，依次为魔数、图片数量、每张图片高、每张图片宽magic_number, num_images, num_rows, num_cols = struct.unpack_from(file_header, file_data, offset)#读取完文件头信息后，偏移量向后移动16位offset += struct.calcsize(file_header)#以图片的像素大小读取图片file_image = '>' + str(num_rows * num_cols) + 'B'#生成和图片数量相同的数组，且每个数组的形状大小等于图片的像素大小images = np.empty((num_images, num_rows, num_cols))#循环读取每个图片的像素信息for i in range(num_images):image = struct.unpack_from(file_image, file_data, offset)#将读取的图片信息按照规定的形状形成数组images[i] = np.array(image).reshape((num_rows, num_cols))#每读取完一个图片，偏移量向后移动到下一个图片文件的起始位置offset += struct.calcsize(file_image)return imagesdef decode_idx1_ubyte(idx1_file):#读取二进制数据with open(idx1_file, 'rb') as file:file_data = file.read()#定义偏移量，初始值为0offset = 0# 以大端法读取4个 unsinged int32file_header = '>ii' #解析文件头信息，依次为魔数、标签数magic_number, label_num = struct.unpack_from(file_header, file_data, offset)#读取完文件头信息后，偏移量向后移动8位offset += struct.calcsize(file_header)#定义存储标签值的数组labels = []#每次读取一个 bytefile_label = '>B'#循环读取每个标签的信息 for i in range(label_num):#将读取的标签信息添加到数组中labels.append(struct.unpack_from(file_label, file_data, offset)[0])#每读取完一个标签，偏移量向后移动一个byteoffset += struct.calcsize(file_label)return labelsdef check_folder(folder):#检查文件文件夹是否存在，不存在则创建if not os.path.exists(folder):os.mkdir(folder)print(folder)else:if not os.path.isdir(folder):os.mkdir(folder)def export_img(exp_dir, img_ubyte, lable_ubyte): check_folder(exp_dir)#生成数据集images = decode_idx3_ubyte(img_ubyte)labels = decode_idx1_ubyte(lable_ubyte)nums = len(labels)for i in range(nums):img_dir = os.path.join(exp_dir, str(labels[i]))check_folder(img_dir)img_file = os.path.join(img_dir, str(i)+'.png')imarry = images[i]cv2.imwrite(img_file, imarry)def parser_mnist(file_dir):#在指定的路径下，创建一个文件夹“train”，用于保存解析后的图片和标签train_dir = os.path.join(file_dir, 'train')#获得训练集图片文件的路径train_img_ubyte = os.path.join(file_dir, 'train-images.idx3-ubyte')#获得训练集标签文件的路径train_label_ubyte = os.path.join(file_dir, 'train-labels.idx1-ubyte')export_img(train_dir, train_img_ubyte, train_label_ubyte)#在指定的路径下，创建一个文件夹“test”，，用于保存解析后的图片和标签test_dir = os.path.join(file_dir, 'test')#获得测试集图片文件的路径test_img_ubyte = os.path.join(file_dir, 't10k-images.idx3-ubyte')#获得测试集标签文件的路径test_label_ubyte = os.path.join(file_dir, 't10k-labels.idx1-ubyte')export_img(test_dir, test_img_ubyte, test_label_ubyte)if __name__ == '__main__':file_dir = 'D:/MNIST_Download/unzip'parser_mnist(file_dir)
