我们经常在论文中看到 ⊕、⊗和 ⊙ 符号,那么有下面两个问题:
这三个符号有什么作用呢?
如何在论文中正确使用这三个数学符号
1. 两种符号的解释
1.1 逐元素相加:⊕
⊕ 在论文中表示逐元素相加,如果用两个矩阵表示,即:
从公式可以看到,⊕ 表示对应元素相加,即两个矩阵的形状必须相同。
1.2 矩阵乘法:⊗
圈乘 ⊗ 表示传统线性代数学的矩阵乘法,用公式即:
可以看到就是普通的矩阵乘法,要求 A 矩阵第二维度与 B 矩阵第一维度相等。
1.3 矩阵点乘:⊙
矩阵点乘 ⊙表示矩阵对应位置元素相乘,例子如下:
与矩阵加法 ⊕类似,也是要求两个矩阵的维度必须相同。
2. 两种符号的代码表示
名称 | 符号 | PyTorch 代码 | 含义 | 条件 |
矩阵乘法(element-wise) | ⊗ | torch.mm() 或 torch.matmul() | 矩阵乘法(自动广播) | 形状相同或满足广播机制 |
矩阵加法(element-wise) | ⊕ | + 或 torch.add(A, B) | 两个矩阵对应位置元素相加 | 形状相同或满足广播机制 |
矩阵点乘 | ⊙ | * 或 torch.mul(A, B) | 两个矩阵对应位置元素相乘(自动广播) | 形状相同或满足广播机制 |
参考原文链接:https://blog.csdn.net/weixin_44878336/article/details/124501040