ILSVRC2012数据集处理
- 解压图像
- 处理标签和图像
解压图像
先解压
tar -xvf ILSVRC2012_img_train.tar
解压之后其实还是1000个tar压缩包（对应1000个类别），需要再次解压，解压脚本unzip.sh如下（PS：可能需要自己改一下目录 dir ）：
（这里也可以用解压软件一键解压）
批量解压脚本
dir=./train
for x in `ls $dir/*tar` do filename=`basename $x .tar` mkdir $dir/$filename tar -xvf $x -C $dir/$filename
done
rm *.tar
执行 sh 脚本
chmod 777 unzip.sh
./ unzip.sh
报错:./unzip.sh: line 3: syntax error near unexpected token filename=basename $x .tar`’
直接使用指令ls *.tar | xargs -n1 tar xvf
将当前文件夹下的tar解压linux批量解压方法
或者：
python批量解压zip文件
import os
import shutil
import zipfile# 首先引入需要的工具包
# shutil为后期移动文件所需，可以忽略此项
# 路径改这里！
#parent_path = r'输入路径，会解压该路径下的所有zip压缩文件'
parent_path = r'E:\py\python3.7\test\test99\zip'
# 文件类型选择
# 可以自行更改压缩文件类型，需要引入其它工具包，如tarfile等
# 这里是因为在自己的windows上，zip比较常见，其他类型请自行更改
file_flag = '.zip' #修改需解压的格式 例如：.rar
# 删除已解压的zip文件
# 不建议初次使用，在确定程序无误后可以添加使用
def del_old_zip(file_path):os.remove(file_path)
# 解压
def decompress(file_path, root):# 开始# zipfile打开zip文件z = zipfile.ZipFile(f'{file_path}', 'r') # 解压z.extractall(path=f"{root}") # path为解压路径，解包后位于该路径下 # 判断是否需要重复解包for names in z.namelist():if names.endswith(file_flag):z.close()return 1 # 结束z.close() return 0# 因为我在使用过程中发现有些zip解包后会混在一起
# 在平时大家手动解压时可能也会遇到提示是否覆盖的问题
# 下面的两个函数解决这一问题
# 开始要先创建一个大文件夹 与压缩包名字相同
# 避免后期混乱和麻烦
def start_dir_make(root, dirname):os.chdir(root)os.mkdir(dirname)return os.path.join(root, dirname)
# 去除多余文件夹
def rem_dir_extra(root, father_dir_name):# 递归要注意信息的正常处理 搞不好上一个调用已经改变了东西 而下面的调用还是使用之前的数据 try: # 判断文件夹重名 开始for item in os.listdir(os.path.join(root, father_dir_name)): # 第一步判断是不是一个文件夹，如果不是则跳过本次循环if not os.path.isdir(os.path.join(root, father_dir_name, item)):continue # 判断是否要脱掉一层目录结构# 文件夹名字要相同，且子目录中只有单独的一个文件夹if item == father_dir_name and len(os.listdir(os.path.join(root, father_dir_name))) == 1: # 改变工作目录os.chdir(root) # 将无用文件夹重命名，因为直接移动会有重名错误os.rename(father_dir_name, father_dir_name + '-old') # 移动文件后删除空文件夹shutil.move(os.path.join(root, father_dir_name + '-old', item), os.path.join(root))os.rmdir(os.path.join(root, father_dir_name + '-old')) # 将去掉一层目录结构后的文件夹继续作为父本递归处理下去# 这里要注意，上面已经发生过数据的改动，所以下面递归传参一定要正确！rem_dir_extra(root, item) else: # 处理那些不满足上面条件的文件夹rem_dir_extra(os.path.join(root, father_dir_name), item) except Exception as e: # 打印错误信息print("清除文件夹出错" + str(e))
# 入口
if __name__ == '__main__': flag = 1 while flag: # 循环遍历文件夹for root, dirs, files in os.walk(parent_path): # 读取文件名for name in files:if name.endswith(file_flag): # 创建文件夹new_ws = start_dir_make(root, name.replace(file_flag, '')) # zip文件地址zip_path = os.path.join(root, name) # 解压flag = decompress(zip_path, new_ws) # 删除解压后的文件# 有点危险# 但不删除又可能会重复运行# 一定要备份或先测试，不然可能会凉，自己选择修改del_old_zip(zip_path) # 去掉多余的文件结构rem_dir_extra(root, name.replace(file_flag, '')) print(f'{root}\\{name}'.join(['文件：', '\n解压完成\n']))# 由于解压可能解了好几次 所以可能会有已经解压好的父级目录重名无法处理 这里要再处理一次rem_dir_extra(os.path.split(parent_path)[0], os.path.split(parent_path)[1]) print("解压完成啦，记得检查有没有zip格式之外的呀!\n\n其他格式需要自己改一下了")查看文件夹下文件数量
ls -l|grep "^-" |wc -l
统计文件名中包含某个名称（n15075141_）的文件的文件总数
find -name "n15075141_*" | wc -l
这里我使用这官方提供的脚本文件
#!/bin/bash
#
# script to extract ImageNet dataset
# ILSVRC2012_img_train.tar (about 138 GB)
# ILSVRC2012_img_val.tar (about 6.3 GB)
# make sure ILSVRC2012_img_train.tar & ILSVRC2012_img_val.tar in your current directory
#
# Adapted from:
# https://github.com/facebook/fb.resnet.torch/blob/master/INSTALL.md
# https://gist.github.com/BIGBALLON/8a71d225eff18d88e469e6ea9b39cef4
#
# imagenet/train/
# ├── n01440764
# │ ├── n01440764_10026.JPEG
# │ ├── n01440764_10027.JPEG
# │ ├── ......
# ├── ......
# imagenet/val/
# ├── n01440764
# │ ├── ILSVRC2012_val_00000293.JPEG
# │ ├── ILSVRC2012_val_00002138.JPEG
# │ ├── ......
# ├── ......
#
#
# Make imagnet directory
#
mkdir imagenet
#
# Extract the training data:
#
# Create train directory; move .tar file; change directory
mkdir imagenet/train && mv ILSVRC2012_img_train.tar imagenet/train/ && cd imagenet/train
# Extract training set; remove compressed file
tar -xvf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tar
#
# At this stage imagenet/train will contain 1000 compressed .tar files, one for each category
#
# For each .tar file:
# 1. create directory with same name as .tar file
# 2. extract and copy contents of .tar file into directory
# 3. remove .tar file
find . -name "*.tar" | while read NAME ; do mkdir -p "${NAME%.tar}"; tar -xvf "${NAME}" -C "${NAME%.tar}"; rm -f "${NAME}"; done
#
# This results in a training directory like so:
#
# imagenet/train/
# ├── n01440764
# │ ├── n01440764_10026.JPEG
# │ ├── n01440764_10027.JPEG
# │ ├── ......
# ├── ......
#
# Change back to original directory
cd ../..
#
# Extract the validation data and move images to subfolders:
#
# Create validation directory; move .tar file; change directory; extract validation .tar; remove compressed file
mkdir imagenet/val && mv ILSVRC2012_img_val.tar imagenet/val/ && cd imagenet/val && tar -xvf ILSVRC2012_img_val.tar && rm -f ILSVRC2012_img_val.tar
# get script from soumith and run; this script creates all class directories and moves images into corresponding directories
wget -qO- https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh | bash
#
# This results in a validation directory like so:
#
# imagenet/val/
# ├── n01440764
# │ ├── ILSVRC2012_val_00000293.JPEG
# │ ├── ILSVRC2012_val_00002138.JPEG
# │ ├── ......
# ├── ......
#
#
# Check total files after extract
#
# $ find train/ -name "*.JPEG" | wc -l
# 1281167
# $ find val/ -name "*.JPEG" | wc -l
# 50000
#
参考文章
具体类别如下1000类信息
处理标签和图像
因为标签很少，图像较多，只有部分图像有标签对应，所以需要删除多余的图像。
数据集目录结构如下
数据集介绍
数据集介绍
