矩阵相乘torch.einsum()

einsumEinstein summation 的缩写,来源于爱因斯坦求和约定(Einstein summation convention)。这是物理学家阿尔伯特·爱因斯坦引入的一种简便记号,用于描述张量运算,特别是涉及多维数组的运算。

示例1:矩阵乘法

矩阵乘法 C=AB

A = torch.randn(2, 3)
B = torch.randn(3, 4)
C = torch.einsum('ik,kj->ij', A, B)
print(C.size())  # 输出: torch.Size([2, 4])

 这里,'ik,kj->ij' 的含义是:

  • A 的形状为 (2, 3),对应 ikik 分别表示第一个和第二个维度。
  • B 的形状为 (3, 4),对应 kjkj 分别表示第一个和第二个维度。
  • ->ij 表示输出张量的模式,结果为 (2, 4)
示例2:向量点积

向量点积 c=a⋅b

a = torch.randn(3)
b = torch.randn(3)
c = torch.einsum('i,i->', a, b)
print(c.size())  # 输出: torch.Size([])

这里,'i,i->' 的含义是:

  • ab 都是向量,对应模式 i
  • -> 后面为空,表示结果是一个标量。
示例3:批量矩阵乘法

批量矩阵乘法

A = torch.randn(10, 2, 3)
B = torch.randn(10, 3, 4)
C = torch.einsum('bij,bjk->bik', A, B)
print(C.size())  # 输出: torch.Size([10, 2, 4])

这里,'bij,bjk->bik' 的含义是:

  • A 的形状为 (10, 2, 3),对应 bijb 表示批次维度,ij 分别表示矩阵的行和列。
  • B 的形状为 (10, 3, 4),对应 bjkb 表示批次维度,jk 分别表示矩阵的行和列。
  • ->bik 表示输出张量的模式,结果为 (10, 2, 4)

示例4:逐元素相乘(哈达玛积)A.B或A × B

A = torch.randn(3, 4)
B = torch.randn(3, 4)C = torch.einsum('ij,ij->ij', A, B)
print(C.size())  # 输出: torch.Size([3, 4])

'ij,ij->ij' 表示:

  • AB 都是形状为 [3, 4] 的矩阵,用 ij 表示。
  • 结果 C 也是形状为 [3, 4] 的矩阵。
  • 没有重复索引,所以不进行求和。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/22737.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

深入理解Python中的*args和**kwargs参数

在Python世界里,*args和**kwargs是两个经常遭到新手困惑但又极富魅力的概念。今天,我们将一起探索它们的神秘面纱,了解如何在日常开发中利用这两个强大的工具来编写更加灵活和强大的代码。 *args:处理不定数量的位置参数 在Pyth…

产品推荐 | 基于Lattice USB3-GbE VIP IO技术赋能视频接口开发板

1、产品概述 支持视频接口平台 (VIP) – 为莱迪思VIP提供USB 3.0 和千兆以太网网络互连 灵活的快速原型设计和开发– 两个标准的高速连接器实现嵌入式视觉原型系统的简便快速硬件配置 可靠、经验证的即时使用设计– 莱迪思演示设计通过USB 3.0和工业千兆以太网接口实现快速视…

Linux C语言: 数据类型

一、 为什么要引入数据类型 • 计算机中每个字节都有一个地址(类似门牌号) • CPU通过 地址 来访问这个字节的空间 0x20001103 1 0 0 1 0 0 1 1 0x20001102 1 1 1 0 1 1 1 0 0x20001101 1 1 1 1 0 1 0 1 0x20001100 0 …

accelerate 笔记:梯度同步的时间效率

1 介绍 PyTorch 的分布式模块通过在系统中所有GPU之间进行来回通信来操作。 这种通信需要时间,并且确保所有进程了解彼此的状态在使用ddp模块时会在特定的触发点发生 这些触发点被添加到PyTorch模型中,特别是它们的 forward() 和 backward() 方法中当通…

2024-06-05 Android app jni里面c语言函数申请的局部变量数组过大会导致程序崩溃的问题分析

一、下面是一个app jni里面一个函数,函数里面定义一个数组,实际运行的时候发现数组过大的时候会导致app崩溃。 JNIEXPORT jint JNICALL JNI_FUNCTION(native_1getcapture_1data)(JNIEnv *env, jobject obj,jbyteArray des_data,jbyteArray src_data,jin…

Linux 多线程 生产者消费者 问题

在 Linux 系统中,生产者和消费者问题是一个经典的多线程同步问题,用于描述如何在多线程环境中协调多个线程对共享资源的访问。这个问题通常涉及两个类型的线程:生产者线程和消费者线程。生产者线程负责生成数据并将其放入缓冲区,而…

3D开发工具HOOPS助力PLM/PDM系统创新,高效实现复杂数据精细处理、3D模型交互可视化!

在现代制造和工程领域,PLM(产品生命周期管理)和PDM(产品数据管理)已成为企业优化流程和提升竞争力的关键工具。 随着技术的飞速发展,PLM和PDM应用程序需要更先进的工具来处理复杂的CAD数据、实现高效的3D可…

九泰智库-注册讲堂 | 浙江省eRPS系统上线后提交文件要求

浙械eRPS系统(https://ylqx.certca.cn/ylqxonline/)已正式上线启用。 在过渡期内,注册申请人需要同时进行线上医疗器械注册电子申报和提交纸质资料,以确保审评审批工作的顺利进行。过渡期结束时间另行通知。 以下是对电子申报资料格式要求的总结&#…

从零开始:如何通过美颜SDK构建自己的直播美颜工具

今天,我将详细介绍如何通过美颜SDK从零开始构建自己的直播美颜工具。 一、了解美颜SDK 什么是美颜SDK 开发者可以通过集成SDK,快速在应用中实现这些功能,而无需从头编写复杂的图像处理算法。 选择合适的美颜SDK 选择时可以根据以下几个方…

南京观海微电子-----555函数信号发生器电路分析

电路图 整个电路的工作过程: 首先,555芯片通过外围电阻电容组成一个多谐振荡器,输出一个方波。 555多谐振荡器输出方波后,经电容C1耦合到由R3,C3组成的积分网络。输出三角波。这也是一个电容充放电的过程&#xff0c…

第44集《摄大乘论》

请大家打开《讲义》第一四三页,我们看第一行的地方: 庚一、地前位 谓此菩萨,不着财位,不犯尸罗,于苦无动,于修无懈。于如是等散动因中不现行时,心专一境,便能如理简择诸法&#xf…

学生问的一道CSS3媒体查询,实现响应式设计的题

目录 题目要求: 解题思路: 解题: 1)大屏、3个DIV水平排列 2)中屏、前2个DIV水平占一半,第三个另起一行,宽度占满 3)小屏,3个DIV铺满,垂直排列 题目要求&…

2024年端午节放假通知

致尊敬的客户以及全体同仁: 2024年端午节将至,根据国务院办公厅通知精神,结合公司的实际情况,现将放假事宜通知如下: 2024年6月8日(星期六)至6月10日(星期一)&#xff…

科普丨什么是数字孪生灌区(平台)?如何建设?有何好处?

在农业发展的新时代,数字孪生灌区的概念逐渐走进大众视野,成为推动农业现代化、提升粮食安全保障能力的关键力量。那么,究竟什么是数字孪生灌区?它又是如何建设的?又能为我们带来哪些好处呢? 数字孪生灌区…

Java基础教程 - 10 异常

更好的阅读体验:点这里 ( www.doubibiji.com ) 10 异常 10.1 异常的概念 什么是异常? 异常(Exceptions)是指在程序执行过程中出现的错误或异常情况,导致程序无法继续正常执行的事件。 但是…

R_AARCH64_ADR_PREL_PG_HI21问题说明

目录 问题现象: 问题原因 问题机理 问题现象: 客户现场加载out文件出现如下问题: 打印“Relocation of type ‘R_AARCH64_ADR_PREL_PG_HI22…..’”,明确是ARDP指令引起的问题 问题原因 ARDP的寻址范围是4GB范围,加载的位置…

Linux C语言学习:数据类型

一、 为什么要引入数据类型 • 计算机中每个字节都有一个地址(类似门牌号) • CPU通过 地址 来访问这个字节的空间 0x20001103 1 0 0 1 0 0 1 1 0x20001102 1 1 1 0 1 1 1 0 0x20001101 1 1 1 1 0 1 0 1 0x20001100 0 …

密码学基本概念(补充)

BiBa模型的*特性规则:主体不能修改更高完整级的客体(主题不能向上写) Diffie-Hellman密钥交换协议的安全性基于求解离散对数的困难性,既对于C^d M mod P,在已知C和P的前提下,由d求M很容易,但是…

js:关于颜色处理的一些常用函数

解析字符串css样式 const themeColor --btn-radius: 44rpx;--theme-color: #41c2a6;--theme-color-op: rgba(55, 176, 172, 0.3);/*** 根据key获取value* param {string} themeColor * param {string} key * returns value*/ const getThemeColor (themeColor, key) > {c…

Transformer系列:图文详解KV-Cache,解码器推理加速优化

前言 KV-Cache是一种加速Transformer推理的策略,几乎所有自回归模型都内置了KV-Cache,理解KV-Cache有助于更深刻地认识Transformer中注意力机制的工作方式。 自回归推理过程知识准备 自回归模型采用shift-right的训练方式,用前文预测下一个…