广播语义学许多PyTorch操作支持NumPy的广播语义。python编程 人工智能 神经网络

广播语义学

许多PyTorch操作支持NumPy的广播语义。看见https://numpy.org/doc/stable/user/basics.broadcasting.html详情请见。

简而言之,如果PyTorch操作支持广播,那么它的张量参数可以自动扩展为相同的大小(无需复制数据)。

普通语义学

如果下列规则成立,则两个张量是“可广播的”:

  • 每个张量至少有一维。

  • 当迭代维度大小时,从尾部维度开始,维度大小必须相等,其中一个为1,或者其中一个不存在。

例如:

>>> x=torch.empty(5,7,3)
>>> y=torch.empty(5,7,3)
# same shapes are always broadcastable (i.e. the above rules always hold)>>> x=torch.empty((0,))
>>> y=torch.empty(2,2)
# x and y are not broadcastable, because x does not have at least 1 dimension# can line up trailing dimensions
>>> x=torch.empty(5,3,4,1)
>>> y=torch.empty(  3,1,1)
# x and y are broadcastable.
# 1st trailing dimension: both have size 1
# 2nd trailing dimension: y has size 1
# 3rd trailing dimension: x size == y size
# 4th trailing dimension: y dimension doesn't exist# but:
>>> x=torch.empty(5,2,4,1)
>>> y=torch.empty(  3,1,1)
# x and y are not broadcastable, because in the 3rd trailing dimension 2 != 3

如果两个张量xy是“可广播的”,结果张量大小计算如下:

  • 如果的维数xy不相等,则在维数较少的张量的维数前加1,使它们长度相等。

  • 然后,对于每个维度大小,生成的维度大小是xy沿着那个维度。

例如:

# can line up trailing dimensions to make reading easier
>>> x=torch.empty(5,1,4,1)
>>> y=torch.empty(  3,1,1)
>>> (x+y).size()
torch.Size([5, 3, 4, 1])# but not necessary:
>>> x=torch.empty(1)
>>> y=torch.empty(3,1,7)
>>> (x+y).size()
torch.Size([3, 1, 7])>>> x=torch.empty(5,2,4,1)
>>> y=torch.empty(3,1,1)
>>> (x+y).size()
RuntimeError: The size of tensor a (2) must match the size of tensor b (3) at non-singleton dimension 1

原地语义

一个复杂的问题是,原位操作不允许原位张量由于广播而改变形状。

例如:

>>> x=torch.empty(5,3,4,1)
>>> y=torch.empty(3,1,1)
>>> (x.add_(y)).size()
torch.Size([5, 3, 4, 1])# but:
>>> x=torch.empty(1,3,1)
>>> y=torch.empty(3,1,7)
>>> (x.add_(y)).size()
RuntimeError: The expanded size of the tensor (1) must match the existing size (7) at non-singleton dimension 2.

向后兼容性

PyTorch的早期版本允许在不同形状的张量上执行某些逐点函数,只要每个张量中的元素数量相等。逐点运算将通过把每个张量看作一维来进行。PyTorch现在支持广播,并且“一维”逐点行为被认为是不推荐的,并且在张量不可广播但具有相同数量的元素的情况下会生成Python警告。

请注意,在两个张量不具有相同的形状,但可广播并具有相同数量的元素的情况下,广播的引入会导致向后不兼容的变化。例如:

>>> torch.add(torch.ones(4,1), torch.randn(4))

会产生一个大小为torch的张量。Size([4,1]),但现在产生了一个带Size的张量:torch。大小([4,4])。为了帮助识别代码中可能存在由广播引入的向后不兼容的情况,可以将torch . utils . back compat . broadcast _ warning . enabled到真实的,这将在这种情况下生成python警告。

例如:

>>> torch.utils.backcompat.broadcast_warning.enabled=True
>>> torch.add(torch.ones(4,1), torch.ones(4))
__main__:1: UserWarning: self and other do not have the same shape, but are broadcastable, and have the same number of elements.
Changing behavior in a backwards incompatible manner to broadcasting rather than viewing as 1-dimensional.

然后​编辑​编辑以前的

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/51628.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

#QT 笔记一

重点:面试考试大概率涉及,需要不借助任何资料掌握。掌握:面试考试可能涉及,需要不借助任何资料掌握。熟悉:面试考试可能涉及,可以稍微参考资料掌握。了解:面试考试小概率涉及,面试拔…

本地缓存Caffeine框架的学习笔记

Caffeine是一个高性能的Java本地缓存框架,它采用了W-TinyLFU算法,结合了LRU和LFU算法的优点,实现了缓存高命中率和内存低消耗。Caffeine的设计理念是尽可能地高效,它通过一些巧妙的算法,确保最常访问的数据始终可用&am…

智能优化特征选择|基于鹦鹉优化(2024年新出优化算法)的特征选择(分类器选用的是KNN)研究Matlab程序 【优化算法可以替换成其他优化方法】

智能优化特征选择|基于鹦鹉优化(2024年新出优化算法)的特征选择(分类器选用的是KNN)研究Matlab程序 【优化算法可以替换成其他优化方法】 文章目录 一、PO基本原理PO基本原理基本流程示例应用 二、实验结果三、核心代码四、代码获…

某张卡NR only下可以驻网 AUTO模式下在2G/3G工作

结论:需要终端设置为data centric,或ps only。 从日志看,5G下的注册收到REGISTRATION ACCEPT。但是没有携带ims support。 正常网络: ims_Vops_3GPP 1 (0x1) nwk_feature_supp_inc 1 (0x1)nwk_feature_supportedlength 2 (0x2)mpsi 0 (0…

ubuntu c++ http服务端event使用

程序&#xff1a; #ifndef PLATFROMCOMMUNICATION_H #define PLATFROMCOMMUNICATION_H#include <iostream> #include <fstream> #include <unistd.h> #include <curl/curl.h>#include <net/if.h> #include <sys/ioctl.h> #include <ar…

【HarmonyOS NEXT开发】鸿蒙开发环境准备,ArkTS基础语法入门

文章目录 鸿蒙开发环境准备&#xff0c;ArkTS基础语法入门大纲简介DevEco Studio简介运行环境要求 安装与配置开发工具下载Harmony OS 和 OpenHarmony 的区别Previewer汉化插件的配置 ArkTS基础快速入门1. 解释说明2. 变量与常量3. 变量命名规则4. 数组5. 函数定义函数调用函数…

Win10 安装 Rabbitmq

参考文档&#xff1a;https://www.rabbitmq.com/docs/install-windows 一、安装 Erlang 语言 安装 RabbitMQ 需要该语言的支持才能安装 下载地址&#xff1a;https://erlang.org/download/otp_versions_tree.html 点击这里下载最新版本&#xff1a;27.0.1 直接默认 next 更…

2d像素游戏基本架构

目录 2D像素游戏的基本架构通常包括以下几个关键部分 Unity和虚幻引擎在2D游戏开发中的性能比较 Unity的2D工具设计复杂的地图和场景 创建和管理地图资源&#xff1a; 使用TileMap工具&#xff1a; 构建复杂场景&#xff1a; 添加碰撞体和物理效果&#xff1a; 优化和…

DNS工作流程

DNS&#xff08;域名系统&#xff09; DNS&#xff08;域名系统&#xff09;的工作流程是将人类可读的域名&#xff08;如 www.example.com&#xff09;转换为机器可读的IP地址&#xff08;如 192.0.2.1&#xff09;&#xff0c;以便计算机能够相互通信。DNS查询过程可以分为递…

企业微信自动回复机器人:提升客户服务与工作效率的智能新篇章

在快节奏的现代商业环境中&#xff0c;企业如何高效、准确地响应客户需求&#xff0c;成为了衡量其竞争力的重要指标之一。企业微信作为企业内部沟通与客户服务的重要平台&#xff0c;其自动回复机器人的出现&#xff0c;无疑为企业带来了革命性的变革。本文将深入探讨企业微信…

Android settings命令讲解和实战

1&#xff0c;简介 在Android系统中&#xff0c;settings命令用于管理设备设置。这些命令可以与Settings提供者&#xff08;Settings provider&#xff09;交互&#xff0c;后者是一个用于存储和检索系统设置的系统服务。Settings provider在Android系统中可以被看作是一个特殊…

接口测试用例设计:关键步骤与注意事项

接口测试是软件测试中至关重要的一部分,它主要验证不同系统或组件之间的数据交换是否准确无误。相比于UI测试,接口测试更早发现问题,因为它直接验证系统的核心逻辑和数据处理。本文将从接口测试用例设计的关键步骤和注意事项展开讨论,并通过具体案例帮助大家更好地理解如何…

携程:从MySQL迁移OceanBase的数据库发布系统实践

作者简介&#xff1a;杨晓军 现就职于携程的数据库团队&#xff0c;主要负责携程数据库的研发与管理&#xff0c;专注于提升数据库的稳定性。 自分布式关系型数据库OceanBase开源以来&#xff0c;携程已经在线上环境中进行了广泛的应用&#xff0c;取代了原先以MySQL为主力的业…

Mysql,sqllite表结构对比

本代码用C#实现&#xff0c;对比有差异的字段 &#xff0c;调用类方法Comare 即可获取结果。 public class CompareDataBaseHelper { string mysqlConnectionString "Server127.0.0.1;Databasetestdb;Uidroot;Pwd123456;charsetutf8;"; string sqliteCo…

组件通信 Vue3

1.props 1.child <template><div class"child"><h3>子组件</h3><h4>玩具&#xff1a;{{ toy }}</h4><h4>父给的车&#xff1a;{{ car }}</h4><button click"sendToy(toy)">把玩具给父亲</butt…

通过visual studio进行dump文件调试和分析

0、前言 很多时候程序crash之后需要分析原因。对于C/C程序&#xff0c;一般最常见的场景和方法就是根据dump文件进行分析。 1、分析的前提条件 进行dump文件分析&#xff0c;需要以下文件&#xff1a; 进程crash时产生的dump文件程序源码进程对应的程序exe文件编译exe文件时产…

【赵渝强老师】MongoDB的存储引擎

存储引擎&#xff08;Storage Engine&#xff09;是MongoDB的核心组件&#xff0c;它负责管理数据如何存储在硬盘&#xff08;Disk&#xff09;和内存&#xff08;Memory&#xff09;上。从MongoDB 3.2 版本开始&#xff0c;MongoDB支持多种类型的数据存储引擎。 视频讲解如下&…

【ubuntu24.04】腾达U12 8812au无线网卡成功安装

U12是腾达2019年的产品 参考:台式机Ubuntu20.04系统下安装Tenda U12 无线网卡驱动当时不支持6.x的内核。官方的ubuntu驱动看起来不能用了。ipconfig /all 查看 Wireless LAN adapter WLAN 2:Connection-specific DNS Suffix . :Description . . . . .

linux-----内核(Kernel)与文件系统(File System)

一、内核作用 1.资源管理&#xff1a; 内核负责管理系统资源&#xff0c;包括CPU、内存、设备驱动和网络通信等。它为用户空间提供了一组接口&#xff0c;使得应用程序能够访问底层硬件&#xff0c;而不需要直接与硬件交互。 2.进程管理 内核负责进程的创建、调度、终止等操作…

使用twilio向手机发短信做监控报警

最近遇到个需求&#xff0c;就是夜班HW希望有个监控系统指标&#xff0c;如果异常就向监控人手机打电话的需求。在考察以后&#xff0c;发现目前由于国内防电信诈骗的原因&#xff0c;所以想要使用云通讯功能必须由企业去申请&#xff0c;但作为一个个人的监控项目来说太大了。…