昇思25天学习打卡营第04天 | 数据集 Dataset

昇思25天学习打卡营第04天 | 数据集 Dataset

文章目录

  • 昇思25天学习打卡营第04天 | 数据集 Dataset
    • 数据集加载
    • 数据集迭代
    • 数据集的变换
      • shuffle
      • map
      • batch
    • 自定义数据集
      • 可随机访问数据集对象
      • 可迭代数据集
      • 生成器
    • 总结
    • 打卡

数据集Dataset对原始数据进行封装、变换,为神经网络提供高质量的输入数据。
mindspore.dataset内置了的文本、图像、音频等数据集的加载接口,也提供创建自定义数据集的方法。

数据集加载

mindspore.dataset仅支持解压后的数据文件,对于压缩包文件,需要先解压才能创建数据集:

from download import downloadurl = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \"notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)					 # 下载并解压到"./"目录下train_dataset = MnistDataset("MNIST_Data/train", shuffle=False)			# 通过数据集的文件目录直接创建dataset

数据集迭代

数据集可以通过create_tuple_iteratorcreate_dict_iterator接口创建迭代器进行访问。
访问的类型默认为Tensor,如果设置output_numpy=True,则访问Numpy

def visualize(dataset):figure = plt.figure(figsize=(4, 4))cols, rows = 3, 3plt.subplots_adjust(wspace=0.5, hspace=0.5)for idx, (image, label) in enumerate(dataset.create_tuple_iterator()):figure.add_subplot(rows, cols, idx + 1)plt.title(int(label))plt.axis("off")plt.imshow(image.asnumpy().squeeze(), cmap="gray")if idx == cols * rows - 1:breakplt.show()

数据集的变换

shuffle

shuffle可以对数据集进行打乱,消除数据排列不均匀的问题。
op-shuffle
mindspore.dataset可以在加载数据集的时候配置shuffle=True,或者通过mindspore.dataset.shuffle(buffer_size)进行打乱。

map

map是数据预处理的关键,可以针对数据集的指定列添加变换,将指定变换应用于该列数据的每个元素,并返回变换后的新元素。

train_dataset = train_dataset.map(vision.Rescale(1.0 / 255.0, 0), input_columns='image')

batch

将数据集中的数据打包为batch有利于在资源受限的情况下使用梯度下降,可以保证梯度下降的随机性和优化计算量。

train_dataset = train_dataset.batch(batch_size = 32)

通过batch后数据增加一维,大小为batch_size

自定义数据集

通过构造自定义数据加载类和自定义数据集生成函数的方法来生成数据集,并通过GeneratorDataset接口实现数据集的加载
GeneratorDataset支持可随机访问数据集对象可迭代数据集对象生成器构造数据集。

可随机访问数据集对象

是指实现了__getitem____len__方法的数据集,可以通过索引/键直接访问对应位置的数据。

class RandomAccessDataset:def __init__(self):self._data = np.ones((5, 2))self._label = np.zeros((5, 1))def __getitem__(self, index):return self._data[index], self._label[index]def __len__(self):return len(self._data)loader = RandomAccessDataset()
dataset = GeneratorDataset(source=loader, column_names=["data", "label"])

可迭代数据集

是指实现了__iter____next__方法的数据集,可以通过迭代的方式获取数据样本,适用于随机访问成本太高或不可行的情况。

class IterableDataset():def __init__(self, start, end):'''init the class object to hold the data'''self.start = startself.end = enddef __next__(self):'''iter one data and return'''return next(self.data)def __iter__(self):'''reset the iter'''self.data = iter(range(self.start, self.end))return selfloader = IterableDataset(1, 5)
dataset = GeneratorDataset(source=loader, column_names=["data"])

生成器

生成器属于可迭代的数据集类型,依赖于python的generator返回数据,直到生成器抛出StopIteration异常。

def my_generator(start, end):for i in range(start, end):yield idataset = GeneratorDataset(source=lambda: my_generator(3, 6), column_names=["data"])

总结

通过这一节的学习,对MindSpore中Dataset的使用方法有了一定的了解,掌握了通过download下载/解压数据并创建数据集,通过迭代器方位数据集中的元素,通过shuffle打乱数据,通过map变换数据以及将数据打包为固定大小的patch。此外,还了解了自定义数据集的创建以及自定义数据集需要实现的方法,为之后的训练数据管理和处理打下了基础。

打卡

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/39357.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux 静态库 和 动态库

在Linux系统上,库文件用于共享和重用代码。根据使用方式和链接方式的不同,库文件可以分为静态库和动态库。 静态库(Static Library) 静态库是在编译时被嵌入到最终可执行文件中的库。静态库的扩展名通常是.a。 特点 独立性&am…

ADOP带你了解:SFP 光模块:构建高速网络的关键技术

在数字化时代,企业运营的效率往往取决于数据传输的速度。因此,构建一个可靠的网络基础架构至关重要。本指南深入探讨了小型可插拔(SFP)光收发器的关键作用,这些设备确保了网络中数据的高效和安全流动。SFP光收发器的设…

【Rust入门教程】hello world程序

文章目录 前言Hello World程序运行总结 前言 对于学习任何一种新的编程语言,我们都会从编写一个简单的Hello World程序开始。这是一个传统,也是一个开始。在这篇文章中,我们将一起学习如何在Rust中编写你的第一个程序:Hello Worl…

【C语言内存函数】

目录 1.memcpy 使用 模拟实现 2.memmove 使用 模拟实现 3.memset 使用 4.memcmp 使用 1.memcpy 使用 void * memcpy ( void * destination, const void * source, size_t num );目的地址 源地址 字节数 destination:指向要复制内…

20240703 每日AI必读资讯

🤖爆火Character AI惨遭阉割 美国00后集体“失恋” - Character AI曾是00后最火爆的社交软件,但用户发现对话模型变得冷淡,失去趣味。 - 用户流失严重,面临成本高、竞争激烈的挑战,甚至遭到挖角。 - 尽管困难重重&a…

淘宝API接口开发系列:淘宝订单详情API接口与物流电子面单API接口概述

淘宝订单详情API接口与物流电子面单API接口概述 在电子商务领域,API(应用程序接口)扮演着至关重要的角色,它们使得不同的系统能够相互通信,实现数据的共享和交换。淘宝作为国内最大的电商平台之一,其提供的…

C# 多线程造成CPU占用率高

当线程多的时候就会造成CPU内存占用率过高 private void button1_Click(object sender, EventArgs e){Thread TH1, TH2, TH3, TH4, TH5;TH1 new Thread(Thread1){IsBackground true};TH2 new Thread(Thread2){IsBackground true};TH3 new Thread(Thread3){IsBackground t…

最小步数模型——AcWing 1107. 魔板

最小步数模型 定义 最小步数模型通常是指在某种约束条件下,寻找从初始状态到目标状态所需的最少操作或移动次数的问题。这类问题广泛存在于算法、图论、动态规划、组合优化等领域。具体来说,它涉及确定一个序列或路径,使得按照特定规则执行…

jenkins在使用pipeline时,为何没有方块形视图

项目场景: 安装完Jenkins时后,通过pipeline创建的项目任务。 问题描述 在立即构建后,没有显示每个阶段的视图。 原因分析: 原因是,刚安装的Jenkins,这个视图不是Jenkins自带的功能,而必须安装…

《5小时吃透小red书》读书笔记之打造爆款笔记原理

1.流量推送逻辑: 一篇笔记发布并审核后,平台根据内容提取关键词,开始小范围发布测试;初次先分发到1000个兴趣用户,根据这1000个用户等反馈决定是否给该笔记更多流量和推荐;考核标准是点击率、完播率、互动…

高校实训室:老年实训室的教学案例

本文以高校老年实训室为研究对象,通过详细分析具体的教学案例,探讨了老年实训室在提升学生专业素养和实践能力方面的重要作用。文中介绍了多个具有代表性的教学案例,包括健康评估、康复护理和心理关怀等方面,阐述了其教学目标、实…

EDA 虚拟机 Synopsys Sentaurus TCAD 2017.09 下载

下载地址(制作不易,下载使用需付费,不能接受的请勿下载): 链接:https://pan.baidu.com/s/1327I58gvV1usWSqSrG7KXw?pwdo03i 提取码:o03i

Boss直聘,无良厂商,乱封号

耽误招工作,瞎吉儿封号 哥们单身 需要女生多的公司 问一下都不行,什么尿性 直接就给你封了 装什么呢 辣鸡boss 倒闭吧赶紧 我是狗子,希望你倒闭!

枚举类示例

package net.cnki.editor.costcenter.pojo.enums;import lombok.Getter;import java.util.Arrays;/*** 费用枚举接口*/ public interface CosttypeEnumInterface {/*** 费用类型和费用信息-> 费用性质, 支付人 , 收取人, 费用信息状态*/Getterenum CosttypePayerAndReceiveE…

使用PHP实现Web爬虫

web爬虫是一种自动化工具,可以浏览互联网上的网页,收集信息并存储在一个数据库中。在今天的大数据时代,web爬虫越来越重要,因为它可以查找大量信息并进行数据分析。在本文中,我们将学习如何使用php编写web爬虫&#xf…

Radxa 学习摘录

文章目录 1、参考资料2、硬件知识CIF 和 ISP 3、shell4、交叉编译工具链5、问题6、DTS7、驱动 1、参考资料 技术论坛(推荐) 官方资料下载 wiki资料 u-boot 文档 u-boot 源码 内核文档 内核源码 原理图 radxa-repo radxa-build radxa-pkg radxa-doc…

寻找最适合你的交易风格

与Eagle Trader一起,您将拥有一位坚不可摧的合作伙伴,为您的交易之路增添坚实信心,并重塑交易体验的每一个细节。我们量身定制的交易环境,更能让您精准捕捉并驾驭符合您独特交易风格的卓越条件,让交易之旅更加自由畅快…

Python容器 之 字典--定义

1.字典的介绍 1, 字典 dict, 使用 {} 表示 2, 字典是由键(key)值(value)对组成的, key: value 3, 一个键值对是一组数据, 多个键值对之间使用 逗号隔开 4, 在一个字典中, 字典的键 是不能重复的,如果重复原数据会被覆盖 5, 字典中的键 主要使用 字符串类型, 可以是…

Mac可以卸载掉系统自带的软件吗 Mac第三方软件无法卸载是为什么

在使用Mac电脑时,有时候我们会发现系统预装的一些应用并不常用或者不符合个人需求,想要将它们卸载掉。然而,对于系统自带的软件,卸载并不简单,需要谨慎对待以免影响系统稳定性和功能正常运行。下面我们来看看Mac可以卸…

Firefox 编译指南2024 Windows10-使用Git 管理您的Firefox(五)

1. 引言 在现代软件开发中,版本控制系统(VCS)是不可或缺的工具,它不仅帮助开发者有效管理代码的变化,还支持团队协作与项目管理。Mercurial 是一个高效且易用的分布式版本控制系统,其设计目标是简洁、快速…