pytorch中的维度变换操作性质大总结:view, reshape, transpose, permute

在深度学习中,张量的维度变换是很重要的操作。在pytorch中,有四个用于维度变换的函数,view, reshape, transpose, permute。其中view, reshape都用于改变张量的形状,transpose, permute都用于重新排列张量的维度,但它们的功能和使用场景有所不同,下面将进行详细介绍,并给出测试验证代码,经过全面的了解,我们才能知道如何正确的使用这四个函数。

这里写目录标题

    • 1. torch.Tensor.view
    • 2. torch.reshape
    • 3. torch.transpose
    • 4. torch.permute
    • 5. torch.transpose与torch.permute的性质与原理

1. torch.Tensor.view

文档:Doc

  • view 方法返回一个新的张量,具有与原始张量相同的数据,但改变了形状。所以view返回的是原始数据的一个新尺寸的视图,这也就是为什么叫做view。
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
    # 将其调整为3x4的形状
    y = x.view(3, 4)
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    # 判断新旧张量是否数据是相同的
    print(x.data_ptr() == y.data_ptr())
    
    输出:
    x shape:  torch.Size([2, 6])
    y shape:  torch.Size([3, 4])
    True
    
  • view 要求原始张量是连续的(即在内存中是按顺序存储的),否则会抛出错误。
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
    # 将向量转置,此时x不再是连续的
    x = x.T
    # 在不连续的张量上进行view将会报错
    y = x.view(3, 4)
    
    报错输出:
    RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
    
  • 如果张量不是连续的,可以使用 contiguous 方法先将其转换为连续的。

2. torch.reshape

文档:Doc

  • reshape不要求原始张量是连续的
  • 如果原始张量是连续的,那么实现的功能和view一样
  • 如果原始张量不是连续的,那么reshape就是tensor.contigous().view(),也就是会重新开辟一块内存空间,拷贝原始张量,使其连续;
  • 在连续张量上,view 和 reshape 性能相同。在非连续张量上,reshape 可能会稍慢一些,因为它可能需要创建新的连续张量。
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],[7, 8, 9, 10, 11, 12]])
    # 将向量转置,此时x不再是连续的
    x = x.T
    # 在不连续的张量上可以进行reshape
    y = x.reshape(3, 4)
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    # 但reshape返回的是新的内存中的张量
    print(x.data_ptr() == y.data_ptr())
    
    输出:
    x shape:  torch.Size([6, 2])
    y shape:  torch.Size([3, 4])
    False
    

3. torch.transpose

Doc

  • 功能:仅用于交换两个维度。它接受两个维度参数,分别表示要交换的维度。
  • 不改变数据:不会改变数据本身,只是改变数据的视图(即不复制数据)。
  • 生成的新张量也通常不是连续的。它只是交换两个维度的顺序,不改变数据在内存中的实际存储顺序。
  • 对原始张量是不是连续的没有要求
    import torch
    # 创建一个3x4的张量
    x = torch.tensor([[1, 2, 3, 4],[5, 6, 7, 8],[9, 10, 11, 12]])
    print(x.is_contiguous())
    # 交换第一个和第二个维度
    y = torch.transpose(x, 0, 1)
    print(y.is_contiguous())
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    print(x.data_ptr() == y.data_ptr())
    
    输出:
    True
    False
    x shape:  torch.Size([3, 4])
    y shape:  torch.Size([4, 3])
    True
    

4. torch.permute

Doc

  • 可以重新排列任意数量的维度,适用于复杂的维度变换。接受一个shape元组作为参数
  • 不改变数据:不会改变数据本身,只是改变数据的视图(即不复制数据)
  • 生成的新张量通常不是连续的。因为它仅改变维度顺序,不改变数据在内存中的实际顺序。
  • 对原始张量是不是连续的没有要求
    	import torch# 创建一个3x4x5的张量x = torch.randn(3, 4, 5)# 将其第一个和第二个维度交换y = torch.permute(x, (1, 0, 2))print(y.is_contiguous())print(x.data_ptr() == y.data_ptr())print(y.size())  # 输出:torch.Size([4, 3, 5])
    
    输出:
    False
    True
    torch.Size([4, 3, 5])
    

5. torch.transpose与torch.permute的性质与原理

这两者的功能和各方面的性质基本是相同的,只是一个只能交换两个维度,一个能进行更复杂的维度排列。他们的原理是:transpose 和 permute 通过改变张量的 strides(步幅)来重新排列维度。strides 定义了在内存中沿着每个维度移动的步长。它们不改变张量的数据,只是改变了访问数据的方式。因此,这些操作可以应用于任何张量,无论它们是否连续。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/23539.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

《python-配置》在ubuntu系统上安装pycham并破解

阿丹: 因为ai开发要使用ubuntu系统,整理和总结一下如何在这里安装pycham 官网下载:pycham下载地址 PyCharm: the Python IDE for data science and web development 官网操作流程: 1,点击下载 2、下载其他版本 3、…

python中使用set()创建集合

python中set是一种无序且不重复的元素集合。Python 集合会将所有元素放在一对大括号 {} 中,相邻元素之间用“,”分隔 Python 中的序列类型包括列表(list)、元组(tuple)、字典(dict)和集合&…

如何理解与学习数学分析——第二部分——数学分析中的基本概念——第9章——可积性

第2 部分:数学分析中的基本概念 (Concepts in Analysis) 9. 可积性(Integrability) 本章讨论了可积性(integrability)的概念(它不同于积分过程)。研究了反导数(antiderivative,或称原函数)和函数图像下面积之间的关系,然后通过对面积的近似…

应用解析 | 面向智能网联汽车的产教融合解决方案

背景介绍 随着科技的飞速发展,智能网联汽车已成为汽车产业的新宠,引领着未来出行的潮流。然而,行业的高速发展也带来了对高素质技术技能人才的迫切需求。为满足这一需求,推动教育链、人才链与产业链、创新链的深度融合&#xff0…

\ufeff 这是个什么

在你的CSV文件中,可能包含了一个隐藏的字节序标记(Byte Order Mark,BOM),这是一个Unicode字符(\ufeff),通常出现在文件的开头,用于指示文件的编码方式。这个字符在文件中…

文件加密软件排行榜前五名|好用的五款文件加密软件分享

你的公司是否存在这些问题: 数据泄露事件常有发生,数据安全的重要性日益凸显,而文件加密软件则是保护数据安全的重要工具。 市场上存在众多文件加密软件,每款都有其独特的特点和优势。 本文将为您分享五款好用的文件加密软件&…

针对多智能体协作框架的元编程——METAGPT

M ETA GPT: M ETA P ROGRAMMING FOR M ULTI -A GENT COLLABORATIVE F RAMEWORK 1.概述 现有的多智能体系统主要面临以下问题: 复杂性处理不足:传统的多智能体系统主要关注简单任务,对于复杂任务的处理能力有限,缺乏深入探索和…

C++中的priority_queue和deque以及适配器

C中的priority_queue和deque 一丶 priority_queue1.1 priority_queue的介绍1.2 priority_queue的使用1.3 priority_queue的模拟实现 二丶 deque2.1 deque的简单介绍2.2 deque的缺陷2.3 为什么要选择deque作为stack和queue的迭代器 三丶 容器适配器3.1 什么是适配器3.2 STL标准库…

递推7-2 sdut-C语言实验-养兔子分数

7-2 sdut-C语言实验-养兔子 分数 20 全屏浏览 切换布局 作者 马新娟 单位 山东理工大学 这是一个编程题模板。 一对成熟的兔子每天能且只能产下一对小兔子,每次都生一公一母,每只小兔子的成熟期是1天,小兔子出生后隔一天才能再生小兔子。…

GlaDS缘起

题目:Modeling channelized and distributed subglacial drainage in two dimensions 近年来,冰盖表面融化与冰盖动态之间的联系及其对海平面上升的影响引起了广泛关注。特别是格陵兰冰盖的研究显示,表面融水显著影响冰川移动速度,而冰下排水系统对冰川动力学及冰川水文学…

【WP】猿人学_13_入门级cookie

https://match.yuanrenxue.cn/match/13 抓包分析 抓包分析发现加密参数是cookie中有一个yuanrenxue_cookie 当cookie过期的时候&#xff0c;就会重新给match/13发包&#xff0c;这个包返回一段js代码&#xff0c;应该是生成cookie的 <script>document.cookie(y)(u)(a…

Edge工作区按钮消失了,又出现了

在edge的设置中的自定义工具栏处的显示工作区&#xff0c;打开&#xff0c;右上角就有一个工作区的标志然后就可以进入工作区了

07_查找

查找概念 查找表&#xff08;Search Table&#xff09;是由同一类型的数据元素(或记录)构成的集合。 关键字&#xff08;Key&#xff09;是数据元素中某个数据项的值&#xff0c;又称为键值。可以标识一个数据元素&#xff0c;也可以标识一个记录中的某个数据项。 若关键字可以…

产业,到底需要什么大模型?

[ 产业究竟需要怎样的大模型&#xff1f;关于这个问题&#xff0c;本文作者便提出了他的看法&#xff0c;并总结了产业大模型目前阶段的三点落地挑战。一起来看看&#xff0c;或许可以帮助你更好地理解大模型与行业、与产业的融合。 写下这篇的起因&#xff0c;是前不久的一件事…

SAP ABAP下拉筛选框实现

1.屏幕定义 PARAMETERS: p_1 AS LISTBOX VISIBLE LENGTH 10.2.初始化下拉框 INITIALIZATION.PERFORM frm_sc_init.FORM frm_sc_init.DATA: list TYPE vrm_values. "定义list内表 要在TOP中定义&#xff0c;我写在了这里REFRESH:list[]."初始化下拉列表值…

C++STL---list模拟实现

本文我们模拟实现STL中的list&#xff0c;为了模拟实现list&#xff0c;实际上我们需要实现三个类&#xff0c;分别为&#xff1a;_list_node , _list_iterator , list。 我们先看一下这三个类的基本组成&#xff0c;主要是看看每个类中包含的变量有什么&#xff1a; namespa…

[已解决]FinalShell连接CentOS失败:java.net.UnknownHostException: centos

报错&#xff1a; 解决办法&#xff1a; 1.查看Windows:C:\Windows\System32\drivers\etc\ 2.拷贝hosts文件&#xff0c;用记事本打开hosts文件 3.添加主机名centos及对应IP地址&#xff0c;保存并粘贴覆盖C:\Windows\System32\drivers\etc\中的hosts文件 4.打开cmd命令窗口输…

Mac下删除系统自带输入法ABC,正解!

一、背景说明 MacOS 在 14.2 以下的系统存在中文输入法 BUG&#xff0c;会造成系统卡顿&#xff0c;出现彩虹圆圈。如果为了解决这个问题&#xff0c;有两种方法&#xff1a; 升级到最新的 14.5 系统使用第三方输入法 在使用第三方输入法的时候&#xff0c;会发现系统自带的 …

自定义一个自己的桌面挂件

"在这个信息纷繁的时代&#xff0c;每个人都在寻找那些能让日常生活更加便捷、高效的小工具。今天&#xff0c;我想邀请您加入一个温暖而富有创造力的项目——开发一款旨在提升工作与生活品质的桌面挂件。我们的目标很简单&#xff1a;创造一些小巧却强大的助手&#xff0…

RabbitMQ启动报错:Error during startup: {error, {schema_integrity_check_failed,

报错信息如下&#xff1a; Error during startup: {error,{schema_integrity_check_failed,[{table_attributes_mismatch,rabbit_user,[username,password_hash,tags,hashing_algorithm,limits],[username,password_hash,tags,hashing_algorithm]},{table_attributes_mismatch…