昇思25天学习打卡营第4天|数据变换（Transforms）

 一、简介：

数据变换是指将已有的数据转换成可以提供给模型直接训练和验证的数据格式，在深度学习中一般被称为数据预处理，之前在昇思25天学习打卡营第3天|数据集Dataset-CSDN博客 介绍数据集的时候已经有了一个简单的使用，下面将具体介绍如何使用MindSpore中已有的方法，对数据进行处理。再次感谢华为昇思提供的支持和指导（日常感谢，手动狗头了）。

二、环境依赖：

老规矩，先把我们需要的包和环境准备好：

import time
import numpy as np
from PIL import Image
from download import download
from mindspore.dataset import transforms, vision, text
from mindspore.dataset import GeneratorDataset, MnistDataset

如果还没有安装MindSpore框架的宝子，可以回看我的第一天打卡博客：昇思25天学习打卡营第1天|快速入门，安装很简单，自行操作一下（dog）,安装完成之后，我们先下载用于预处理操作的数据集Mnist:

url = "https://mindspore-website.obs.cn-north-4.myhuaweicloud.com/" \"notebook/datasets/MNIST_Data.zip"
path = download(url, "./", kind="zip", replace=True)train_dataset = MnistDataset('MNIST_Data/train')image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

三、常用的预处理方法：

MindSpore提供了很多封装好的方法用于数据预处理(和pytorch一样)，这里我们主要介绍：Common Transforms，Vision Transforms，Text Transforms和Lamda Transforms四种常用的方法。

1、Common Transforms:

mindspore.dataset.transforms模块支持一系列通用Transforms。这里我们以Compose为例，介绍其使用方式:

composed = transforms.Compose([vision.Rescale(1.0 / 255.0, 0),vision.Normalize(mean=(0.1307,), std=(0.3081,)),vision.HWC2CHW()]
)train_dataset = train_dataset.map(composed, 'image')
image, label = next(train_dataset.create_tuple_iterator())
print(image.shape)print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

代码中很多方法在第一天打卡和第三天打卡的博客中已经介绍，这里只做简单说明：使用mindspore自带的transforms.Compose()方法，将输入的数据先进行灰度化处理，再进行归一化，并将图片的维度顺序调整成适合GPU处理的格式。 

2、Vision Transforms:

(1) Rescale:

Rescale变换用于调整图像像素值的大小，包括两个参数：

  • rescale：缩放因子。
  • shift：平移因子。

图像的每个像素将根据这两个参数进行调整，输出的像素值为𝑜𝑢𝑡𝑝𝑢𝑡𝑖=𝑖𝑛𝑝𝑢𝑡𝑖∗𝑟𝑒𝑠𝑐𝑎𝑙𝑒+𝑠ℎ𝑖𝑓𝑡𝑜𝑢𝑡𝑝𝑢𝑡𝑖=𝑖𝑛𝑝𝑢𝑡𝑖∗𝑟𝑒𝑠𝑐𝑎𝑙𝑒+𝑠ℎ𝑖𝑓𝑡。这里我们先使用numpy随机生成一个像素值在[0, 255]的图像，将其像素值进行缩放。

random_np = np.random.randint(0, 255, (48, 48), np.uint8)
random_image = Image.fromarray(random_np)
print(random_np)print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

np.random.randint(0, 255, (48, 48), np.uint8)使用NumPy库生成了一个48x48像素的随机整数数组，每个像素的值在0到254之间，数据类型为无符号8位整数（uint8）。

random_image = Image.fromarray(random_np)将这个数组转换为一个PIL图像对象，这个图像的每个像素值都是之前生成的随机整数，因此它看起来会是一幅随机的像素图。 

rescale = vision.Rescale(1.0 / 255.0, 0)
rescaled_image = rescale(random_image)
print(rescaled_image)
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

(2) Normlize:

Normlize变换用于对输入图像的归一化，包括三个参数：

  • mean：图像每个通道的均值。
  • std：图像每个通道的标准差。
  • is_hwc：bool值，输入图像的格式。True为(height, width, channel)，False为(channel, height, width)。

图像的每个通道将根据mean和std进行调整，计算公式为𝑜𝑢𝑡𝑝𝑢𝑡𝑐=𝑖𝑛𝑝𝑢𝑡𝑐−𝑚𝑒𝑎𝑛𝑐𝑠𝑡𝑑𝑐𝑜𝑢𝑡𝑝𝑢𝑡𝑐=𝑖𝑛𝑝𝑢𝑡𝑐−𝑚𝑒𝑎𝑛𝑐𝑠𝑡𝑑𝑐，其中 𝑐𝑐代表通道索引。

normalize = vision.Normalize(mean=(0.1307,), std=(0.3081,))
normalized_image = normalize(rescaled_image)
print(normalized_image)
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

(3) HWC2CHW:

HWC2CHW变换用于转换图像格式。在不同的硬件设备中可能会对(height, width, channel)或(channel, height, width)两种不同格式有针对性优化。MindSpore设置HWC为默认图像格式，在有CHW格式需求时，可使用该变换进行处理。

hwc_image = np.expand_dims(normalized_image, -1)
hwc2chw = vision.HWC2CHW()
chw_image = hwc2chw(hwc_image)
print(hwc_image.shape, chw_image.shape)print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

3、Text Transforms:

mindspore.dataset.text()模块提供一系列针对文本数据的Transforms。与图像数据不同，文本数据需要有分词（Tokenize）、构建词表、Token转Index等操作。

（1）PythonTokenizer:

分词（Tokenize）操作是文本数据的基础处理方法，MindSpore提供多种不同的Tokenizer。这里我们选择基础的PythonTokenizer举例，此Tokenizer允许用户自由实现分词策略。随后我们利用map操作将此分词器应用到输入的文本中，对其进行分词。

# 先用GeneratorDataset()生成实验用的文本数据和对应标签
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')def my_tokenizer(content):
#  按空格划分return content.split()test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

 （3）Lookup：

Lookup为词表映射变换，用来将Token转换为Index。在使用Lookup前，需要构造词表，一般可以加载已有的词表，或使用Vocab生成词表。这里我们选择使用Vocab.from_dataset方法从数据集中生成词表。

vocab = text.Vocab.from_dataset(test_dataset)print(vocab.vocab())
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

 生成词表后，可以配合map方法进行词表映射变换，将Token转为Index：

test_dataset = test_dataset.map(text.Lookup(vocab))
print(next(test_dataset.create_tuple_iterator()))
print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

 

4、Lambda Transforms:

Lambda Transforms是将python当中的匿名函数和数据预处理相结合，利用Lambda函数的灵活便捷，提高代码的自定义水平和开发效率。

test_dataset = GeneratorDataset([1, 2, 3], 'data', shuffle=False)
test_dataset = test_dataset.map(lambda x: x * 2)
print(list(test_dataset.create_tuple_iterator()))def func(x):return x * x + 2test_dataset = test_dataset.map(lambda x: func(x))print(list(test_dataset.create_tuple_iterator()))print(time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time())), "VertexGeek")

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/32228.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

docker 基本用法及跨平台使用

docker 基本用法及跨平台使用

一、Docker的优点 docker 主要解决的问题就是程序开发过程中编译和部署中遇到的环境配置的问题。 1.1 Docker与其他虚拟机层次结构的区别** 运行程序重点关注点在于环境。 VM虚拟机是基于Hypervisor虚拟化服务运行的。 Docker是基于内核的虚拟化技术实现的。 1.2 Docker的技…
阅读更多...
基于uniapp的h5接入企业微信客服在线聊天

基于uniapp的h5接入企业微信客服在线聊天

首先说下企业微信接入场景,支持的接入场景有以下几种,基本上涵盖了微信生态大部分场景: 接入步骤 1.创建企业微信号 按照官方操作步骤注册,需要注意的是未认证仅支持接入100人,已认证支持接入2000人. 2.创建客服账号 每个客服账号支持配置人工或是机器人或是人工机器人回复…
阅读更多...
分享uniapp + Springboot3+vue3小程序项目实战

分享uniapp + Springboot3+vue3小程序项目实战

分享uniapp Springboot3vue3小程序项目实战 经过10天敲代码，终于从零到项目测试完成，一个前后端分离的小程序实战项目学习完毕 时间从6月12日 到6月22日，具有程序开发基础，第一次写uniapp,Springboot以前用过，VUE3也…
阅读更多...
C++ (week8)：数据库

C++ (week8)：数据库

文章目录 一、数据库简介1.数据库2.MySQL(1)数据库的结构(2)MySQL的三种使用方式(3)命令行(4)Navicat Premium 二、SQL1.SQL (Structured Query Language)，即结构化查询语言2.数据定义语言 DDL (Data Definition Language) ，创建、修改、删除数据库、表结…
阅读更多...
dex文件结构（二）：dex文件加载基本原理

dex文件结构（二）：dex文件加载基本原理

return mClassLoader; } 1.3 ApplicationLoaders.getClassLoader public ClassLoader getClassLoader(String zip, String libPath, ClassLoader parent){ //Class.getSystemClassLoader返回的是一个PathClassLoader //baseParent是BootClassLoader ClassLoader basePare…
阅读更多...
刷代码随想录有感（113）：动态规划——爬楼梯plus

刷代码随想录有感（113）：动态规划——爬楼梯plus

题干&#xff1a; 代码&#xff1a; #include<bits/stdc.h> using namespace std;int main(){int n,m;cin>>n>>m;vector<int>dp(n 1, 0);dp[0] 1;for(int j 0; j < n; j){for(int i 1; i < m; i){if(j > i)dp[j] dp[j - i];}}cout<&…
阅读更多...
2001NOIP普及组真题 1. 数的计数

2001NOIP普及组真题 1. 数的计数

线上OJ&#xff1a; 【01NOIP普及组】数的计数 核心思想&#xff1a; 1、样例中给到了 f[6] 6。其实这里包含了 f[3]2&#xff0c; f[2]2, f[1]1, 以及6本身。 注解&#xff1a;按照题意&#xff0c;6前面的数字只能是3,2,1&#xff0c;或者不放&#xff08;不放就是6本身&am…
阅读更多...
Python爬虫实战：批量下载网站图片

Python爬虫实战：批量下载网站图片

1.获取图片的url链接 首先&#xff0c;打开百度图片首页&#xff0c;注意下图url中的index 接着&#xff0c;把页面切换成传统翻页版&#xff08;flip&#xff09;&#xff0c;因为这样有利于我们爬取图片&#xff01; 对比了几个url发现&#xff0c;pn参数是请求到的数量。…
阅读更多...
Admin

Admin

目录 1、 Admin 2、 Contact 3、 Registration 4、 Course Admin
阅读更多...
6.22面试问题【1】长链表排序选择归并还是快排

6.22面试问题【1】长链表排序选择归并还是快排

先问快排和归并的思路&#xff1f; 快速排序 快速排序的基本思想是通过一个划分操作&#xff0c;将待排序的数组分为两个部分&#xff0c;其中一部分的所有数据都比另一部分的所有数据要小&#xff0c;然后再递归地对这两部分数据分别进行快速排序&#xff0c;整个排序过程可以…
阅读更多...
cocos 如何使用九宫格图片，以及在微信小程序上失效。

cocos 如何使用九宫格图片，以及在微信小程序上失效。

1.在图片下方&#xff0c;点击edit。 2.拖动线条&#xff0c;使四角不被拉伸。 3.使用。 其他 在微信小程序上失效&#xff0c;需要将packable合图功能取消掉。
阅读更多...
IOS Swift 从入门到精通: 类和继承

IOS Swift 从入门到精通: 类和继承

文章目录 创建自己的类类继承覆盖方法final 类复制对象反初始化器可变性总结 创建自己的类 类与结构类似&#xff0c;因为它们允许您创建具有属性和方法的新类型&#xff0c;但它们有五个重要的区别&#xff0c;我将逐一介绍每个区别。 类和结构体之间的第一个区别是&#xf…
阅读更多...
速度测试分析软件MySpeed

速度测试分析软件MySpeed

什么是 MySpeed &#xff1f; MySpeed 是一款速度测试分析软件&#xff0c;可记录您长达 30 天的互联网速度。使用 MySpeed&#xff0c;您可以轻松生成有关速度、ping 等的清晰统计数据。配置运行状况检查&#xff0c;以便在出现错误或停机时通过 Gotify、Discord、WhatsApp 或…
阅读更多...
海报设计师的福音来了，微软联合清华北大提出Glyph-ByT5-v2，可支持多国语言图文海报生成，效果惊艳！

海报设计师的福音来了，微软联合清华北大提出Glyph-ByT5-v2，可支持多国语言图文海报生成，效果惊艳！

清华&北大&微软&利物浦大学联合提出Glyph-ByT5-v2这款工具支持多语言图文生成&#xff0c;包括英语、中文、日文、韩文、法文、德文、西班牙文、意大利文、葡萄牙文和俄文。 以下分别展示中、英、日、韩图文的视觉文本结果一起带大家感受一下。 相关链接 论文地址…
阅读更多...
Linux源码阅读笔记03-调度器及CFS调度器

Linux源码阅读笔记03-调度器及CFS调度器

调度器 调度器&#xff1a;Linux内核中用来安排调度进程&#xff08;一段程序的执行过程&#xff09;执行的模块成为调度器&#xff0c;他可以切换进程状态。比如&#xff1a;执行、可中断睡眠、不可中断睡眠、退出、暂停等&#xff1b; 调度器的主要职责&#xff1a;选择某些…
阅读更多...
gbase8s关于客户端和数据库连接的方式和应用建立连接的简单线索分工

gbase8s关于客户端和数据库连接的方式和应用建立连接的简单线索分工

应用和数据库的连接分为本地连接和远程连接&#xff0c;当应用程序和数据库在同一台服务器上为本地连接&#xff0c;不在一台服务器上为远程连接 1. 本地连接 本地连接三种方式&#xff1a; 通过共享内存消息系统&#xff1a;应用和数据库在同一台服务器上&#xff0c;应用程…
阅读更多...
判别式模型 vs 生成式模型

判别式模型 vs 生成式模型

判别式模型 vs 生成式模型 在机器学习中&#xff0c;判别式模型和生成式模型是两种重要的模型类型。让我们用简单的语言来理解它们的原理、特点和应用场景。 判别式模型&#xff08;Discriminative Model&#xff09; 什么是判别式模型&#xff1f; 判别式模型专注于区分类别…
阅读更多...
C语言 | Leetcode C语言题解之第165题比较版本号

C语言 | Leetcode C语言题解之第165题比较版本号

题目&#xff1a; 题解&#xff1a; int compareVersion(char * version1, char * version2){int len1 strlen(version1);int len2 strlen(version2);int i 0;int j 0;while (i < len1 || j < len2) {int num1 0;int num2 0;while (i < len1 && versio…
阅读更多...
C#实现音乐在线播放和下载——Windows程序设计作业3

C#实现音乐在线播放和下载——Windows程序设计作业3

1. 作业内容 编写一个C#程序&#xff0c;在作业二实现的本地播放功能的基础上&#xff0c;新增在线播放和在线下载功能&#xff0c;作业二博客地址&#xff1a;C#实现简单音乐文件解析播放——Windows程序设计作业2 2. 架构选择 考虑到需求中的界面友好和跨版本兼容性&#xf…
阅读更多...
【ThreeJS】Threejs +Vue3 开发基础

【ThreeJS】Threejs +Vue3 开发基础

目前流行的前端3D框架以以Three.js、Babylon.js、A-Frame和ThingJS为例&#xff1a; 1.Three.js 功能&#xff1a; 提供了大量的3D功能&#xff0c;包括基本几何形状、材质、灯光、动画、特效等。 易用性&#xff1a; 功能强大且易于使用&#xff0c;抽象了复杂的底层细节&…
阅读更多...
最新文章

Copyright @ 2022~2023