MachineLearning(2)-图像分类常用数据集

图像分类常用数据集

  • 1 CIFAR-10
  • 2.MNIST
  • 3.STL_10
  • 4.Imagenet
  • 5.L-Sun
  • 6.caltech-101

在训练神经网络进行图像识别分类时,常会用到一些通用的数据集合。利用这些数据集合可以对比不同模型的性能差异。下文整理常用的图片数据集合(持续更新中)。
基本信息对比表格:

数据集合类别数图像数/类训练集测试集图像大小格式数据集大小图像内容
CIFAR-10106k5w1w32*32RGB163M交通工具,动物
MNIST107k6w1w28*28灰度54M手写数字
STL_10101300(label)+10W(unlabel)50080096*96RGB2.5G与cifar一样
L-sun10256*256RGB>50G场景

1 CIFAR-10

CIFAR-10是RGB 彩色图像数据集,是Hinton的学生Alex标注整理发布。
数据集发布网站:http://www.cs.toronto.edu/~kriz/cifar.html

一共包含10 个类别:飞机( airplane )、汽车( automobile )、鸟类( bird )、猫( cat )、鹿( deer )、狗( dog )、蛙类( frog )、马( horse )、船( ship )和卡车( truck )。

每个图片的尺寸为32 × 32 ,每个类别有6000个图像,数据集中一共有50000 张训练图片和10000 张测试图片。训练数据背分别放在5个.bin文件中,测试数据放在1个文件中。

一个样本由32323=3073 个字节组成,第一个字节为标签label ,剩下3072 个字节为图像数据。样本和样本之间没高多余的字节分割, 每个二进制文件的大小是30730000 字节。

数据集合的文件目录如下:
在这里插入图片描述
通过pytorch 读入cifar-10数据文件:

transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ])

训练集,将目录./data下的cifar-10-batches-py文件夹中的全部训练数据(50000张训练图片)加载到内存中,若download为True时,会自动从网上下载数据并解压

trainset = torchvision.datasets.CIFAR10(root=’./data’, train=True, download=True, transform=transform)

将训练集的50000张图片划分成12500份,每份4张图,用于mini-batch输入。shffule=True在不同epoch的数据遍历时,打乱顺序重新分组。num_workers=2:使用两个子进程来加载数据

trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2)

测试集,将目录./data下的cifar-10-batches-py文件夹中的全部测试数据(10000张测试图片)加载到内存中,若download为True时,会自动从网上下载数据并解压

testset = torchvision.datasets.CIFAR10(root=’./data’, train=False, download=False, transform=transform)

将测试集的10000张图片划分成2500份,每份4张图,用于mini-batch输入。

testloader = torch.utils.data.DataLoader(testset, batch_size=4, shuffle=False, num_workers=2)

用for 循环enumerate在trainloader和testloader 中取批次数据即可。

for i, data in enumerate(trainloader, 0):

参考资料:https://blog.csdn.net/qq_41185868/article/details/82793025

2.MNIST

3.STL_10

官方网址:https://cs.stanford.edu/~acoates/stl10/

STL-10数据集是用于开发无监督特征学习、深度学习、自学习算法的图像识别数据集。它的灵感来自CIFAR-10数据集,并进行了一些修改。与CIFAR-10相比,每一类别 标记训练样本数量较少.但是在监督训练之前,提供了大量的未标记样本来学习图像模型。主要的困难是利用未标记的数据(来自与标记数据相似但不同的分布)来构建有用的先验。我们还期望,该数据集以较高分辨率(96x96)将使其成为开发更具伸缩性的无监督学习方法的基准。

1.10个类:飞机、鸟、汽车、猫、鹿、狗、马、猴、船、卡车。
2.图像为96x96像素,彩色。
3.500张训练图像(10份)/每类,800张测试图像/每类。
4.用于无监督学习的100000张无标签图像。这些样本是从相似但分布更广的图像中提取出来的。例如,10类标签中的动物外,它还包含其5.他类型的动物(熊、兔子等)和车辆(火车、公共汽车等)。
图像是从ImageNet上标记的样本中获取的。

官网提供了matlab 版本(.mat)和python 版本(二进制文件)的数据文件,(我用的是python版本的文件)

二进制文件有数据文件标签文件:train_X.bin(数据文件)、train_y.bin(标签文件)、test_X.bin和test_y.bin。在每个值中,数据存储格式:uint8的数组。图像以列主顺序存储,一次一个通道。也就是说,前9696值是红色通道,后9696值是绿色,最后一个是蓝色。标签在1到10之间。未标记的数据集unlabeld.bin的格式相同,但不存在“y.bin”文件。

提供一个class_names.txt文件供参考,每行一个类名。

文件fold_index.txt包含用于训练的每个fold的(0开始)索引。第一行包含第一个fold、第二行、第二个fols索引等等等。

感谢Martin Tutek为加载/查看STL-10提供代码!链接:https://github.com/mttk/STL10
stl10在pytorch 中对应的数据载入接口:torchvision.datasets.STL10(root: str, split: str = ‘train’, folds: Optional[int] = None, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, download: bool = False)

4.Imagenet

网址:http://www.image-net.org/download.php
ImageNet是一个根据WordNet层次结构(目前只有名词)组织的图像数据库,其中每个节点都由成百上千的图像描述。目前平均每个节点有500多个图像。
1500万张,数据大小1TB,但是算力不够的情况下只会用到其中的一些子集.

光imaget 2012 就是150G(下不动,下不动)

pytorch 提供的数据接口针对:ImageNet 2012 Classification Dataset.

要注册,才能下载图像,知乎操作:https://zhuanlan.zhihu.com/p/42696535

5.L-Sun

官网:https://www.yf.io/p/lsun-介绍l-sun 文章,比赛,数据集,有链接直转到数据下载github仓库
github:https://github.com/fyu/lsun

l-sun 是一个场景数据库,包括10个场景.场景和对应的序号为:

bedroom 0 # --40G
bridge 1
church_outdoor 2
classroom 3
conference_room 4
dining_room 5
kitchen 6
living_room 7
restaurant 8
tower 9 #train+test --13.9G

tower-train-Minibatch_size为64,有11067个batch,约合70w张图片)

6.caltech-101

官网:http://www.vision.caltech.edu/Image_Datasets/Caltech101/
加利福尼亚理工学院101类图像数据库,有101类物体的图片。每个类别大约有40到800个图像。大多数类别都有大约50张图片。2003年9月由李飞飞、安德烈托和兰扎托收藏。每个图像的大小大约为300 x 200像素。(9144张,平均每个类别90张)
制作者们仔细点击了这些图片中每个对象的轮廓,轮廓信息包含在“Annotations.tar”下面,有一个matlab脚本可以查看注释,
“show_annotations.m”。

caltech-256,30607张图片,1.2G(平均每个类别119张.)

101 object, 256 object 都是folder 数据集合,使用pytorch dset.ImageFolder接口即可.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/445218.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

大数据学习(09)--spark学习

文章目录目录1.spark介绍1.1 spark介绍1.2 scale介绍1.3 spark和Hadoop比较2.spark生态系统3.spark运行框架3.1 基本概念3.2 架构的设计3.3 spark运行基本流程3.4 spark运行原理3.5 RDD运行原理3.5.1 设计背景3.5.2 RDD概念和特性3.5.3 RDD之间的依赖关系3.5.4 stage的划分3.5.…

机器学习中的聚类方法总结

聚类定义 定义 聚类就是对大量未知标注 的数据集,按数据 的内在相似性将数据集划分为多个类别,使 类别内的数据相似度较大而类别间的数据相 似度较小。是无监督的分类方式。 聚类思想 给定一个有N个对象的数据集,构造数据的k 个簇&#x…

关系数据库——关系数据语言

关系 域:一组具有相同数据类型的值的集合(即取值范围) 笛卡尔积:域上的一种集合运算。结果为一个集合,集合的每一个元素是一个元组,元组的每一个分量来自不同的域。 基数:一个域允许的不同取值…

机器学习问题总结(01)

文章目录1.请描述推荐系统中协同过滤算法CF的原理2.请描述决策树的原理、过程、终止条件,以及如何防止过拟合2.1决策树生成算法2.2 剪枝处理(防止过拟合)2.3 停止条件2.4 棵决策树的生成过程2.5 决策树的损失函数3.请描述K-means的原理&#…

Python实例讲解 -- 解析xml

Xml代码 <?xml version"1.0" encoding"utf-8"?> <info> <intro>信息</intro> <list id001> <head>auto_userone</head> <name>Jordy</name> <number&g…

python(22)--面向对象1-封装

python面向对象1面向过程/面向对象2面向对象核心概念-类3类的设计3.1类三要素-类名、属性、方法3.2面向对象基础语法3.2.1查看对象的常用方法3.2.2类定义3.2.3创建类对象3.2.4__init__()方法3.2.5 self参数3.2.6类内置方法和属性_del_()方法--销毁对象_str_()方法--定制化输出对…

机器学习问题总结(02)

文章目录1.stacking模型以及做模型融合的知识1.1 从提交结果中融合1.2 stacking1.3 blending2. 怎样去优化SVM算法模型的&#xff1f;2.1 SMO优化算法2.2 libsvm 和 Liblinear3.现有底层是tensorflow的keras框架&#xff0c;如果现在有一个tensorflow训练好的模型&#xff0c;k…

C/C++常见面试题(四)

C/C面试题集合四 目录 1、什么是C中的类&#xff1f;如何定义和实例化一个类&#xff1f; 2、请解释C中的继承和多态性。 3、什么是虚函数&#xff1f;为什么在基类中使用虚函数&#xff1f; 4、解释封装、继承和多态的概念&#xff0c;并提供相应的代码示例 5、如何处理内…

机器学习问题总结(03)

文章目录1.struct和class区别&#xff0c;你更倾向用哪个2.kNN&#xff0c;朴素贝叶斯&#xff0c;SVM的优缺点&#xff0c;各种算法优缺点2.1 KNN算法2.2 朴素贝叶斯2.3SVM算法2.4 ANN算法2.5 DT算法3. 10亿个整数&#xff0c;1G内存&#xff0c;O(n)算法&#xff0c;统计只出…

redis——新版复制

sync虽然解决了数据同步问题&#xff0c;但是在数据量比较大情况下&#xff0c;从库断线从来依然采用全量复制机制&#xff0c;无论是从数据恢复、宽带占用来说&#xff0c;sync所带来的问题还是很多的。于是redis从2.8开始&#xff0c;引入新的命令psync。 psync有两种模式&a…

Python(23)-面向对象2-继承,多态

面向对象基本概念2--继承、多态1.继承基本概念2.子类重写父类方法2.1完全重写2.2扩展父类方法--super()3.多继承4.新式类和旧式类5.多态基本概念6.类属性、类方法-classmethod6.1类属性6.2类方法classmethod7.静态方法staticmethod8.案例分析本系列博文来自学习《Python基础视频…

机器学习问题总结(04)

文章目录1、MLP的BP过程2、maxpool层BP怎么做的2.1 **mean pooling**2.2 max pooling3、opencv遍历像素的方式&#xff0c;讲两种&#xff1f;4、传统图像处理有了解过吗&#xff0c;比如去噪 特征提取5、问在linux下写过代码吗&#xff1f; 问用了什么软件工具6、LDA&#xff…

持续更新的Zookeeper知识总结

简介 Zookeeper为分布式应用 提供了高效且可靠的分布式协调服务&#xff0c;提供了诸如统一命名服务、发布订阅、负载均衡、配置管理和分布式锁等分布式的基础服务。 设计目标是将那些复杂且容易出错的分布式一致性服务封装起来&#xff0c;构成一个高效可靠的原语集&#xf…

机器学习问题总结(05)

文章目录1. Hadoop、Spark1.1 hadoop1.2 spark1.3 MapReduce1.3.1 概念1.3.1 MapReduce执行流程2、机器学习场景3、推荐系统&#xff08;预测电影等级&#xff09;4、CTR&#xff08;点击通过率 -> 广告&#xff09;5、SVM5.1 svm的原理5.2 SVM的核技巧6、K-means6.1 K-mean…

基于Socket的UDP和TCP编程介绍

一、概述 TCP(传输控制协议)和UDP(用户数据报协议是网络体系结构TCP/IP模型中传输层一层中的两个不同的通信协议。 TCP:传输控制协议,一种面向连接的协议,给用户进程提供可靠的全双工的字节流,TCP套接口是字节流套接口(streamsocket)的一种。 UDP:用户数据报协议。U…

Java多线程——基本概念

线程和多线程 程序&#xff1a;是一段静态的代码&#xff0c;是应用软件执行的蓝本 进程&#xff1a;是程序的一次动态执行过程&#xff0c;它对应了从代码加载、执行至执行完毕的一个完整过程&#xff0c;这个过程也是进程本身从产生、发展至消亡的过程 线程&#xff1a;是比…

textCNN初探

文章目录目录1.什么是textCNN1.1 textCNN 提出的背景1.2 textCNN 合理性分析2.textCNN相比于传统图像领域的CNN有什么特点&#xff1f;3.textCNN例子讲解3.1 参数和超参数3.2 textCNN的数据3.3 textCNN的网络结构定义3.4 代码目录 1.什么是textCNN 1.1 textCNN 提出的背景 我…

词嵌入初探

文章目录目录1.词嵌入产生的背景1.1 NLP关键&#xff1a;语言的表示1.2 NLP词的表示方法类型1.2.1 独热表示one-hot1.2.2 词的分布式表示distributed representation1.3 NLP中的语言模型1.4 词的分布表示1.4.1 基于矩阵的分布表示1.4.2 基于聚类的分布表示1.4.3 基于神经网络的…

VIM使用系列之一——配置VIM下编程和代码阅读环境

作者&#xff1a;gnuhpc from http://blog.csdn.net/gnuhpc http://gnuhpc.wordpress.com/ 本文环境&#xff1a;ubuntu 10.10/vim7.2 前言&#xff1a;一年前写过一篇关于VIM的C/C编程环境的文字&#xff0c;一年中又接触了很多东西&#xff0c;深入使用中发现其实还是需要有…

fastText初探

目录&#xff1a;1、应用场景2、优缺点3、FastText的原理4、FastText词向量与word2vec对比 目录&#xff1a; 1、应用场景 fastText是一种Facebook AI Research在16年开源的一个文本分类器。 其特点就是fast。相对于其它文本分类模型&#xff0c;如SVM&#xff0c;Logistic …