【计算机视觉】深度学习视觉领域常用数据集汇总

本文结合笔者在研究生学习、科研期间使用过以及阅读文献了解到的深度学习视觉领域常用的开源数据集，进行介绍和汇总。

MNIST

深度学习视觉领域常用数据集汇总

深度学习领域的“Hello World!”，入门必备！MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集，每个样本图像的宽高为28*28。此数据集是以二进制存储的，不能直接以图像格式查看，不过很容易找到将其转换成图像格式的工具。

最早的深度卷积网络LeNet便是针对此数据集的，当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程，其中Tensorflow关于MNIST的教程非常详细。

数据集大小：~12MB

下载地址：

http://yann.lecun.com/exdb/mnist/index.html

Imagenet

深度学习视觉领域常用数据集汇总

MNIST将初学者领进了深度学习领域，而Imagenet数据集对深度学习的浪潮起了巨大的推动作用。深度学习领域大牛Hinton在2012年发表的论文《ImageNet Classification with Deep Convolutional Neural Networks》在计算机视觉领域带来了一场“革命”，此论文的工作正是基于Imagenet数据集。

Imagenet数据集有1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置的标注，具体信息如下：

1）Total number of non-empty synsets: 21841

2）Total number of images: 14,197,122

3）Number of images with bounding box annotations: 1,034,908

4）Number of synsets with SIFT features: 1000

5）Number of images with SIFT features: 1.2 million

Imagenet数据集是目前深度学习图像领域应用得非常多的一个领域，关于图像分类、定位、检测等研究工作大多基于此数据集展开。Imagenet数据集文档详细，有专门的团队维护，使用非常方便，在计算机视觉领域研究论文中应用非常广，几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。

与Imagenet数据集对应的有一个享誉全球的“ImageNet国际计算机视觉挑战赛(ILSVRC)”，以往一般是google、MSRA等大公司夺得冠军，今年（2016）ILSVRC2016中国团队包揽全部项目的冠军。

Imagenet数据集是一个非常优秀的数据集，但是标注难免会有错误，几乎每年都会对错误的数据进行修正或是删除，建议下载最新数据集并关注数据集更新。

数据集大小：~1TB（ILSVRC2016比赛全部数据）

下载地址：

http://www.image-net.org/about-stats

COCO

深度学习视觉领域常用数据集汇总

COCO(Common Objects in Context)是一个新的图像识别、分割和图像语义数据集，它有如下特点：

1）Object segmentation

2）Recognition in Context

3）Multiple objects per image

4）More than 300,000 images

5）More than 2 Million instances

6）80 object categories

7）5 captions per image

8）Keypoints on 100,000 people

COCO数据集由微软赞助，其对于图像的标注信息不仅有类别、位置信息，还有对图像的语义文本描述，COCO数据集的开源使得近两三年来图像分割语义理解取得了巨大的进展，也几乎成为了图像语义理解算法性能评价的“标准”数据集。

Google开源的开源了图说生成模型show and tell就是在此数据集上测试的，想玩的可以下下来试试哈。

数据集大小：~40GB

下载地址：http://mscoco.org/

PASCAL VOC

深度学习视觉领域常用数据集汇总

PASCAL VOC挑战赛是视觉对象的分类识别和检测的一个基准测试，提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。PASCAL VOC图片集包括20个目录：人类；动物（鸟、猫、牛、狗、马、羊）；交通工具（飞机、自行车、船、公共汽车、小轿车、摩托车、火车）；室内（瓶子、椅子、餐桌、盆栽植物、沙发、电视）。PASCAL VOC挑战赛在2012年后便不再举办，但其数据集图像质量好，标注完备，非常适合用来测试算法性能。

数据集大小：~2GB

下载地址：

http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html

CIFAR

深度学习视觉领域常用数据集汇总

CIFAR-10包含10个类别，50,000个训练图像，彩色图像大小：32x32，10,000个测试图像。CIFAR-100与CIFAR-10类似，包含100个类，每类有600张图片，其中500张用于训练，100张用于测试；这100个类分组成20个超类。图像类别均有明确标注。CIFAR对于图像分类算法测试来说是一个非常不错的中小规模数据集。

数据集大小：~170MB

下载地址：

http://www.cs.toronto.edu/~kriz/cifar.html

Open Image

深度学习视觉领域常用数据集汇总

过去几年机器学习的发展使得计算机视觉有了快速的进步，系统能够自动描述图片，对共享的图片创造自然语言回应。其中大部分的进展都可归因于 ImageNet 、COCO这样的数据集的公开使用。谷歌作为一家伟大的公司，自然也要做出些表示，于是乎就有了Open Image。

Open Image是一个包含~900万张图像URL的数据集，里面的图片通过标签注释被分为6000多类。该数据集中的标签要比ImageNet（1000类）包含更真实生活的实体存在，它足够让我们从头开始训练深度神经网络。

谷歌出品，必属精品！唯一不足的可能就是它只是提供图片URL，使用起来可能不如直接提供图片方便。

此数据集，笔者也未使用过，不过google出的东西质量应该还是有保障的。

数据集大小：~1.5GB（不包括图片）

下载地址：

https://github.com/openimages/dataset

Youtube-8M

深度学习视觉领域常用数据集汇总

Youtube-8M为谷歌开源的视频数据集，视频来自youtube，共计8百万个视频，总时长50万小时，4800类。为了保证标签视频数据库的稳定性和质量，谷歌只采用浏览量超过1000的公共视频资源。为了让受计算机资源所限的研究者和学生也可以用上这一数据库，谷歌对视频进行了预处理，并提取了帧级别的特征，提取的特征被压缩到可以放到一个硬盘中（小于1.5T）。

此数据集的下载提供下载脚本，由于国内网络的特殊原因，下载此数据经常断掉，不过还好下载脚本有续传功能，过一会儿重新连接就能再连上。可以写一个脚本检测到下载中断后就sleep一段时间然后再重新请求下载，这样就不用一直守着了。（截至发文，断断续续的下载，笔者表示还没下完呢……）

数据集大小：~1.5TB

下载地址：https://research.google.com/youtube8m/

以上是笔者根据学习科研和文献阅读经历总结的目前深度学习视觉领域研究人员常用数据集。由于个人学识有限，难免有疏漏和不当的地方，望读者朋友们不吝赐教。

如果以上数据集还不能满足你的需求的话，不妨从下面找找吧。

1.深度学习数据集收集网站

http://deeplearning.net/datasets/**

收集大量的各深度学习相关的数据集，但并不是所有开源的数据集都能在上面找到相关信息。

2、Tiny Images Dataset

http://horatio.cs.nyu.edu/mit/tiny/data/index.html

包含8000万的32x32图像，CIFAR-10和CIFAR-100便是从中挑选的。

3、CoPhIR

http://cophir.isti.cnr.it/whatis.html

雅虎发布的超大Flickr数据集，包含1亿多张图片。

4、MirFlickr1M

http://press.liacs.nl/mirflickr/

Flickr数据集中挑选出的100万图像集。

5、SBU captioned photo dataset

http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/

Flickr的一个子集，包含100万的图像集。

6、NUS-WIDE

http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm

Flickr中的27万的图像集。

7、Large-Scale Image Annotation using Visual Synset(ICCV 2011)

http://cpl.cc.gatech.edu/projects/VisualSynset/

机器标注的一个超大规模数据集，包含2亿图像。

8、SUN dataset

http://people.csail.mit.edu/jxiao/SUN/

包含13万的图像的数据集。

9、MSRA-MM

http://research.microsoft.com/en-us/projects/msrammdata/

包含100万的图像，23000视频；微软亚洲研究院出品，质量应该有保障。

中国是一个“数据大国”，中国的数据开放在政府部门以北京、上海等地为首，陆续开放了交通、天气等数据集；在企业中以新浪微博等为首，开放了真实、有效的数据给研究人员提供了极大的便利；但就计算机视觉领域来说，国内数据集的开放水平和国外相比仍有一定差距。希望国内相关企业和组织能够开放更多优秀的数据集，促进相关行业研究进展，提升中国在相关研究领域的影响力，为推动全人类科学技术的进步贡献自己的一份力量。

参考文献：

[1] http://yann.lecun.com/exdb/mnist/index.html

[2] http://www.image-net.org/about-stats

[3] http://mscoco.org/

[4] http://host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html

[5] http://www.cs.toronto.edu/~kriz/cifar.html

[6] https://github.com/openimages/dataset

[7] https://research.google.com/youtube8m/

[8] http://blog.csdn.net/qq_26898461/article/details/50593328

转载于:https://www.cnblogs.com/huty/p/8516961.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/367914.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

CSS Hack 汇总速查一览

CSS Hack 汇总速查一览

由于浏览器之间存在兼容性问题，在制作网页的时候，为了使页面能在不同浏览器中显示相对一致或者其他原因，网页制作人员总结了种种 Hack 方法；在解 决兼容性问题之前，这些方法还经常会用到。接下来，大前端将给…
阅读更多...
玩游戏4g计算机的内存不足,玩游戏时出现存储空间不足, 无法完成此操作, 到底是何原因?...

玩游戏4g计算机的内存不足,玩游戏时出现存储空间不足, 无法完成此操作, 到底是何原因?...

游戏是Just Cause 2(即《正当防卫2》, 对不？这款游戏需要很高的硬件配置，显卡必须在DirectX10以上才行;你的是什么显卡？请确保安装了最新的.NET和DX10；另我搜索到下面的解决方法，仅供参考：解决方法&#xf…
阅读更多...
win10安装opcenum_Win10提示Windows无法安装到GPT分区形式磁盘

win10安装opcenum_Win10提示Windows无法安装到GPT分区形式磁盘

Win10系统提示Windows无法安装到GPT分区形式磁盘该怎么办？最近有用户反映说在安装Win10原版系统的时候，采用的是U盘安装Win10的方法，到磁盘选择这一项的时候，选中C盘不能安装，提示：Windows无法安装到这个磁…
阅读更多...
JPA 2 | EntityManagers，事务及其周围的一切

JPA 2 | EntityManagers，事务及其周围的一切

介绍 对我来说，最令人困惑和不清楚的事情之一是，作为Java开发人员，一直是围绕事务管理的谜团，尤其是JPA如何处理事务管理。 事务什么时候开始，什么时候结束，实体的持久化方式，持久性上下文等等。…
阅读更多...
JavaScript高级特征之面向对象笔记

JavaScript高级特征之面向对象笔记

Javascript面向对象：函数： * Arguments对象： * Arguments对象是数组对象 * Arguments对象的length属性可以获取参数的个数 * 利用Arguments对象模拟函数的重载效果（javascript中不存在函…
阅读更多...
Object.prototype.hasOwnProperty与Object.getOwnPropertyNames

Object.prototype.hasOwnProperty与Object.getOwnPropertyNames

Object.prototype.hasOwnProperty() 所有继承了 Object 的对象都会继承到 hasOwnProperty 方法。这个方法可以用来检测一个对象是否含有特定的自身属性；和 in 运算符不同，该方法会忽略掉那些从原型链上继承到的属性。 使用 hasOwnProperty 方法判断属自身…
阅读更多...
IE9真的支持CSS3和HTML5？

IE9真的支持CSS3和HTML5？

微软昨天在其2009年专业开发者大会上展示 了下一个版本的Internet Explorer浏览器IE9。 尽管只是一个早期版本，IE开发团队还是比较高调的宣布了IE9的一些改 进，比如速度比之前的IE版本都更快些，缩小与FF和webkit之间的差距(也就是还是赶不上了…
阅读更多...
绘图用计算机软件的基本种类有,主编教您电脑绘图软件有哪些

绘图用计算机软件的基本种类有,主编教您电脑绘图软件有哪些

绘图软件是指专业人员根据一定准则设计的用于计算机绘图软件程序，种类非常多，通过它们可以满足足广大用户的基本绘图要求。下面，我就给大家介绍电脑绘图软件有哪些。电脑是根据指令进行高速计算的电子设备，功能强大，时…
阅读更多...
python安装math库_Python-math库

python安装math库_Python-math库

导入函数import mathe#表示一个常量>>> math.e2.718281828459045exp#返回math.e,也就是2.71828的x次方exp(x)>>> math.exp(1)2.718281828459045>>> math.exp(2)7.38905609893065>>> math.exp(3)20.085536923187668pi#数字常量，…
阅读更多...
使用Encog，ROME，JSoup和Google Guava进行博客分类

使用Encog，ROME，JSoup和Google Guava进行博客分类

继续使用Programming Collection Intelligence （PCI），下一个练习是使用距离得分根据相关博客中使用的单词确定博客列表。 我已经找到Encog作为AI /机器学习算法的框架，为此，我需要一个RSS阅读器和一个HTML解析器。 我…
阅读更多...
HTML浮动导致高度塌陷,HTML 文档流，设置元素浮动，导致父元素高度无法自适应的解决方法（高度欺骗）...

HTML浮动导致高度塌陷,HTML 文档流，设置元素浮动，导致父元素高度无法自适应的解决方法（高度欺骗）...

元素浮动定义float 属性定义元素在哪个方向浮动。以往这个属性总应用于图像，使文本围绕在图像周围，不过在 CSS 中，任何元素都可以浮动。浮动元素会生成一个块级框，而不论它本身是何种元素。如果浮动非替换元素，则要指定…
阅读更多...
Python API简单验证

Python API简单验证

前言 因为CMDB内部的需求，需要一个API进行数据传输，用来传递需要抓取的服务端信息信息给抓取的autoclient，autoclient抓取好之后再通过API传输到服务器，保存到数据库。但是为了防止恶意的API访问，需要做一个验证。 设想…
阅读更多...
完全CSS实现鼠标移上出现层的效果（超简单）

完全CSS实现鼠标移上出现层的效果（超简单）

看过许多鼠标事件，都很复杂，太多的文件和繁杂的代码,而且好多都是用js实现，加载速度很慢。 这几天一直在找一种简单的实现效果，完全 CSS编写的效果，现在找到了，非常的少。 这就是完全 CSS实现的层效果&am…
阅读更多...
搜索引擎学习日志

搜索引擎学习日志

了解是什么：Google的咖啡因系统、Megastore云存储系统、Pregel云图计算模型、暗网爬取技术、Web2.0网页作弊、机器学习排序、情景搜索、社会化搜索 学习思想：先全局、再细节 《这就是搜索引擎：核心技术详解》page 33 / 315 开始第二章&#x…
阅读更多...
前端微信签名验证工具_微信小程序API 用户数据的签名验证和加解密

前端微信签名验证工具_微信小程序API 用户数据的签名验证和加解密

用户数据的签名验证和加解密数据签名校验为了确保 开放接口 返回用户数据的安全性，微信会对明文数据进行签名。开发者可以根据业务需要对数据包进行签名校验，确保数据的完整性。签名校验算法涉及用户的session_key，通过 wx.login 登录流程获取…
阅读更多...
会计电算化的过程 实质上是用计算机,会计电算化的过程，实质上是用计算机（)的过程。A．单一地替代手工会计操作B．单一地替代对会计进行分...

会计电算化的过程 实质上是用计算机,会计电算化的过程，实质上是用计算机（)的过程。A．单一地替代手工会计操作B．单一地替代对会计进行分...

会计电算化的过程，实质上是用计算机()的过程。A．单一地替代手工会计操作B．单一地替代对会计进行分更多相关问题以下对冷饮操作要求描述错误的是：()客舱网路的功用。()次高速减脂过程中一般每减多少做一个平台过渡()架线施工时弧垂…
阅读更多...
Spring MVC控制器的单元测试：配置

Spring MVC控制器的单元测试：配置

传统上，为Spring MVC控制器编写单元测试既简单又成问题。 尽管编写调用控制器方法的单元测试非常简单，但问题是这些单元测试不够全面。 例如，我们不能仅通过调用已测试的控制器方法来测试控制器映射，验证和异常处理。 Spring MVC…
阅读更多...
css实现鼠标覆盖显示大图

css实现鼠标覆盖显示大图

html <div <a href”#”> <img src”img01.jpg”> <img src”img02.jpg”> </a> </div> css img{border:none;} .pic{position:relative;top:10px;left:10px} .pic a .large{position:absolute;height:0;width:0;} .pic a:hover{di…
阅读更多...
前端js编码

前端js编码

1、首先是encodeURI和encodeURIComponent&#xff1b; 从名字可以清晰的看出他两都是主要用于url编码的&#xff0c;那之间有什么区别呢&#xff1f;唯一区别就是编码的字符范围&#xff0c;其中 encodeURI方法不会对下列字符编码 ASCII字母、数字、~!#$&*():/,;?&#x…
阅读更多...
common lisp的几个基本概念

common lisp的几个基本概念

S-表达式 quote nil 与 () cons car cdr 真假 predicate 谓词与 t 与 nil null 函数 与 not 函数 if then else and 与 or defun recursion 递归 谓词 eql 与 equal format 与 read&#xff1a;format 在函数体内调用不会输出 nil&#xff08;format 函数本身有返回值为 nil) l…
阅读更多...
最新文章

Copyright @ 2022~2023