昇思25天学习打卡营第三十四天|Jack578
- 一、数据集Dataset
- (一)数据集加载
- (二)数据集迭代
- (三)数据集常用操作
一、数据集Dataset
数据是深度学习的基础,MindSpore提供基于Pipeline的数据引擎,通过数据集和数据变换实现高效的数据预处理。
(一)数据集加载
以Mnist数据集为样例,先通过download库下载数据集并解压,然后再通过MnistDataset加载数据
(二)数据集迭代
加载数据集后,可以使用create_tuple_iterator或create_dict_iterator创建数据迭代器,对数据进行迭代处理
注意:dataset为加载到的数据集
(三)数据集常用操作
数据集常用操作主要有:
- shuffle,数据随机排列
- map,对数据集进行数据变换
- batch,将数据集进行打包