【PyTorch][chapter 26][李宏毅深度学习][attention-2]

前言:

   Multi-Head Attention 主要作用:将Q,K,V向量分成多个头,形成多个子语义空间,可以让模型去关注不同维度语义空间的信息


目录:

  1. attention 机制
  2.  Multi-Head Attention 

一 attention 注意力

       Self-Attention(自注意力机制):使输入序列中的每个元素能够关注并加权整个序列中的其他元素,生成新的输出表示,不依赖外部信息或历史状态。

       将查询Query,键Key,值Value 映射 到输出。

       查询Query,键Key, 值Value  都是向量.

       其输出为 值的加权求和。

   

   1.1 mask 作用

1.2 scale 作用

# -*- coding: utf-8 -*-
"""
Created on Tue Jul 16 11:21:33 2024@author: chengxf2
"""
import torch
import mathdef attention(query,key ,value, mask=None):#[batchSize, seq_num, query_dim]d_k = query.size(-1)print(d_k)attentionMatrix = torch.matmul(query, key.transpose(-2,-1))scores = attentionMatrix/math.sqrt(d_k)if mask is not None:scores = scores.mask_fill(mask==0, -1e9)p_attn = torch.softmax(scores, dim=-1)out = torch.matmul(p_attn, value)return outseq_len = 5
hid_dim = 10
out_len =3query = torch.rand((seq_len,hid_dim))
key =  torch.rand_like(query)
value = torch.rand((seq_len, out_len))attention(query, key, value)

二 Multi-Head Attention 

          多头注意力机制的理论基础之一是信息多元化处理的思想。通过将输入向量投影到不同的子空间,每个子空间执行自注意力操作,这样模型能够并行地学习不同类型的特征或依赖关系,增强了模型的表达能力。

2,1  第一步:查询Q、键K 和值V 矩阵的 生成

         输入:

                 张量A 

                 shape: [batch, seq_len, input_dim]

         输出:

                Q,K,V

                shape:[batch,seq_len, query_dim]

            

        (下面以输入seq_len=2 ,为例)

     

       

            

        Q=AW_Q 

        K=AW_K

        V=AW_V

       其中下面三个矩阵是需要学习的矩阵:

      W_Q,W_K,W_V的shape 为【input_dim, query_dim]

2.2  第二步:子空间投影

      Q,K V 乘以对应的Head 矩阵,得到对应的mulite-head  Q,K,V

  

以 Query张量为例: 实现的时候先乘以Head 矩阵 O=QW_H,然后再通过View 功能

分割成子空间。

第三步: 对不同Head 的Q,K,V

    做self-attention,得到不同Head 的 b^i

第四步: concate 

import torch
from torch import nn
 
# 假设我们有一些查询、键和值的张量
query = torch.rand(10, 8, 64)  # (batch_size, n_query, d_model)
key = value = query  # 为了示例,我们使用相同的张量作为键和值
 
# 实例化多头注意力层
multihead_attn = nn.MultiheadAttention(embed_dim=64, num_heads=4)
 
# 执行多头注意力操作
output, attention_weights = multihead_attn(query, key, value)
 
print(output.shape)  # 输出: torch.Size([10, 8, 64])
print(attention_weights.shape)  # 输出: torch.Size([10, 4, 8, 8])

# -*- coding: utf-8 -*-
"""
Created on Wed Jul 17 09:46:40 2024@author: chengxf2
"""import torch
import torch.nn as nn
import copy
import math
from torchsummary import summary 
import netron
def clones(module, N):"生成N 个 相同的层"layers = nn.ModuleList([copy.deepcopy(module)  for _ in range(N)])return layersdef attention(query, key ,value):#输出[batch, head_num, seq_len,query_dim ]seq_num = query.size(-1)scores = torch.matmul(query, key.transpose(-2,-1))scores = scores/math.sqrt(seq_num)p_attn = torch.softmax(scores, dim=-1)out = torch.matmul(p_attn, value)print("\n out.shape",out.shape)return out, p_attnclass  MultiHeadedAttention(nn.Module):def __init__(self, head_num, query_dim):super(MultiHeadedAttention, self).__init__()self.head_num = head_numself.sub_query_dim = query_dim//head_numself.linears = clones(nn.Linear(query_dim,query_dim), 4)self.attn = Nonedef forward(self, query, key, value):#query.shape [batch, seq_num,query_dim]batchSz = query.size(0)#[batchsz, seq_num, head_num, query_dim]query, key, value = \[net(x).view(batchSz, -1, self.head_num, self.sub_query_dim).transpose(1, 2)for net, x in zip(self.linears, (query, key, value))]#输出[batch, head_num, seq_len,sub_query_dim ]x, self.attn = attention(query, key, value)print("\n attn ",self.attn)x = x.transpose(1,2).contiguous().view(batchSz,-1,self.head_num*self.sub_query_dim)out = self.linears[-1](x)print(out.shape)return outif __name__ == "__main__":batchSz=1seq_num =2out_dim=query_dim =9head_num =3#下面这三个矩阵是需要学习的矩阵query = torch.randn((batchSz, seq_num, query_dim))key =  torch.rand_like(query)value =torch.randn((batchSz, seq_num, out_dim))model = MultiHeadedAttention(head_num,query_dim)model(query,key,value)print("\n 模型参数 \n ")input_size = (seq_num, query_dim)summary(model,[input_size,input_size,input_size])# 创建一个输入样本input_dict = {"x1": query, "x2": key, "x3":value}# 导出模型为ONNX格式torch.onnx.export(model,               # 模型实例(query,key,value),                   # 模型输入"model.onnx")netron.start('model.onnx') 


https://zhuanlan.zhihu.com/p/626820422

The Annotated Transformer

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/47461.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

三分钟速通银行家算法

银行家算法(Bankers Algorithm)是一种用于避免死锁的经典算法,广泛应用于操作系统、数据库管理系统及分布式系统中。下面将结合实战场景,详细介绍银行家算法的实现过程和应用。 一、算法背景 银行家算法由荷兰计算机科学家Edsge…

什么是im即时通讯?WorkPlus im即时通讯私有化部署安全可控

IM即时通讯是Instant Messaging的缩写,指的是一种实时的、即时的电子信息交流方式,也被称为即时通讯。它通过互联网和移动通信网络,使用户能够及时交换文本消息、语音通话、视频通话、文件共享等信息。而WorkPlus im即时通讯私有化部署则提供…

防火墙--双机热备

目录 双击热备作用 防火墙和路由器备份不同之处 如何连线 双机 热备 冷备 VRRP VGMP(华为私有协议) 场景解释 VGMP作用过程 主备的形成场景 接口故障的切换场景 整机故障 原主设备故障恢复的场景 如果没有开启抢占 如果开启了抢占 负载分…

对红酒品质进行数据分析(python)

http://t.csdnimg.cn/UWg2S 数据来源于这篇博客,直接下载好csv文件。 这篇内容均在VScode的jupyter notebook上完成,操作可以看我的另一篇博客:http://t.csdnimg.cn/69sDJ 一、准备工作 1. 导入数据库 #功能是可以内嵌绘图,并…

如何查看Linux中某个项目是否在Docker中运行

方法一:检查进程的 cgroup Docker 容器的进程运行在特定的 cgroup 中。你可以通过检查进程的 cgroup 信息来判断它是否在 Docker 容器中运行。 找到项目的进程 ID (PID): 假设你知道项目的进程名称,例如 my_project,你可以使用 p…

纯硬件一键开关机电路的工作原理

这是一个一键开关机电路: 当按一下按键然后松开,MOS管导通,VOUT等于电源电压; 当再次按一下按键然后松开,MOS管关闭,VOUT等于0; 下面来分析一下这个电路的工作原理。上电后,输入电压通过R1和R2给电容充电,最…

继承和多态常见的面试问题

文章目录 概念问答 概念 下面哪种面向对象的方法可以让你变得富有( A) A: 继承 B: 封装 C: 多态 D: 抽象 (D )是面向对象程序设计语言中的一种机制。这种机制实现了方法的定义与具体的对象无关, 而对方法的调用则可以关联于具体的对象。 A: 继承 B: 模板 C: 对象的…

Java的Cpp本地库调用

叠甲:以下文章主要是依靠我的实际编码学习中总结出来的经验之谈,求逻辑自洽,不能百分百保证正确,有错误、未定义、不合适的内容请尽情指出! 文章目录 1.设置项目文件结构2.生成 Cpp 头文件3.编写 Cpp 程序实现4.生成本…

TS相较于JS有什么优缺点

TypeScript(TS)是JavaScript的一个超集,它添加了静态类型检查和编译时的强大功能,目的是提高代码质量和维护性。相较于JavaScript,TS的主要优点和缺点如下: 优点: 类型安全性:通过…

如何让公众号文章排版变的高大上?

有的时候,你可能会疑惑,为什么你写的文章没人看?明明投入很多精力在标题和文章内容上,但收效甚微。 有一个关键性的因素可能被你忽略了,那就是排版,文章没有排版,无论你的内容再怎么精彩&#x…

力扣622.设计循环队列

力扣622.设计循环队列 通过数组索引构建一个虚拟的首尾相连的环当front rear时 队列为空当front rear 1时 队列为满 (最后一位不存) class MyCircularQueue {int front;int rear;int capacity;vector<int> elements;public:MyCircularQueue(int k) {//最后一位不存…

介绍一些编程语言— Mojo 语言

介绍一些编程语言— Mojo 语言 Mojo 语言 Mojo 官网 GitHub 简介 Mojo 语言是一种专为编写人工智能软件设计的编程语言&#xff0c;由 Modular Inc. 开发并宣布在 2024 2024 2024 年 3 3 3 月 29 29 29 日开源其核心组件。Mojo 旨在提供一种易于使用的语法&#xff0c;类…

智能化革新:智能AI如何助力生产力发展的未来与应用

&#x1f3ac; 鸽芷咕&#xff1a;个人主页 &#x1f525; 个人专栏: 《C干货基地》《粉丝福利》 ⛺️生活的理想&#xff0c;就是为了理想的生活! 前言 在当今这个科技飞速发展的时代&#xff0c;人工智能&#xff08;AI&#xff09;已经成为了推动生产力发展的重要力量。AI技…

深度学习落地实战:人流量监测

前言 大家好,我是机长 本专栏将持续收集整理市场上深度学习的相关项目,旨在为准备从事深度学习工作或相关科研活动的伙伴,储备、提升更多的实际开发经验,每个项目实例都可作为实际开发项目写入简历,且都附带完整的代码与数据集。可通过百度云盘进行获取,实现开箱即用 …

2024 睿抗机器人开发者大赛CAIP-编程技能赛-本科组(省赛)

RC-u1 热҈热҈热҈ 分数 10 全屏浏览 切换布局 作者 DAI, Longao 单位 杭州百腾教育科技有限公司 热҈热҈热҈……最近热得打的字都出汗了&#xff01; 幸好某连锁餐厅开启了气温大于等于 35 度即可获得一杯免费雪碧的活动。但不知为何&#xff0c;在每个星期四的时候&#x…

HTTP请求五类状态码详细介绍,以及部分处理思路

HTTP请求状态码分为五类&#xff1a; 一. 消息系列 二 成功系列 三. 重定向系列 四. 请求错误系列 五. 服务器端错误系列 302:临时转移成功&#xff0c;请求的内容已转移到新位置 403:禁止访问 500:服务器内部错误 401代表未授权。 以下是常见的一些状态码&#xff1a; 1xx&…

React的usestate设置了值后马上打印获取不到最新值

我们在使用usestate有时候设置了值后&#xff0c;我们想要更新一些值&#xff0c;这时候&#xff0c;我们要想要马上获取这个值去做一些处理&#xff0c;发现获取不到&#xff0c;这是为什么呢&#xff1f; 效果如下&#xff1a; 1、原因如下 在React中,当你使用useState钩子…

基于STC89C51单片机的烟雾报警器设计(煤气火灾检测报警)(含文档、源码与proteus仿真,以及系统详细介绍)

本篇文章论述的是基于STC89C51单片机的烟雾报警器设计的详情介绍&#xff0c;如果对您有帮助的话&#xff0c;还请关注一下哦&#xff0c;如果有资源方面的需要可以联系我。 目录 摘要 原理图 实物图 仿真图 元件清单 代码 系统论文 资源下载 摘要 随着现代家庭用火、…

详解Redis源码中的设计模式及设计思想

前言 Redis&#xff08;Remote Dictionary Server&#xff09;是一个开源的内存数据结构存储系统&#xff0c;用作数据库、缓存和消息中间件。它支持多种类型的数据结构&#xff0c;如字符串&#xff08;strings&#xff09;、哈希&#xff08;hashes&#xff09;、列表&#…

navicat15已连接忘记密码

1.导出链接 2.使用文本打开 connections.ncx UserName"root" PasswordXXXX 3.复制加密密码&#xff0c;在线解密 代码在线运行 - 在线工具 php解密代码 <?php class NavicatPassword {protected $version 0;protected $aesKey libcckeylibcckey;protected…