Agent Attention:Softmax与线性注意力的融合研究

摘要

https://arxiv.org/pdf/2312.08874.pdf
在Transformer中,注意力模块是其关键组件。虽然全局注意力机制提供了高度的表达能力,但其过高的计算成本限制了其在各种场景下的应用。本文提出了一种新颖的注意力范式,称为Agent Attention,以在计算效率和表示能力之间取得良好的平衡。具体来说,Agent Attention由四个部分组成(Q, A, K, V),它在常规注意力模块中引入了一组额外的agent tokens A。这些agent tokens首先充当查询tokens Q的代理,从K和V中聚合信息,然后将信息广播回Q。由于agent tokens的数量可以设计得比查询tokens的数量少得多,因此agent attention的计算效率显著高于广泛采用的Softmax attention,同时保留了全局上下文建模能力。有趣的是,我们发现所提出的agent attention相当于线性注意力的一种广义形式。因此,agent attention将强大的Softmax attention和高效的线性attention无缝地集成在一起。大量的实验证明了agent attention在各种视觉Transformer和各种视觉任务中的有效性,包括图像分类、目标检测、语义分割和图像生成。值得注意的是,由于其线性注意力的性质,agent attention在高清场景中表现出色。例如,当应用于Stable Diffusion时,我们的agent attention加速了生成过程,并显著提高了图像生成质量,而无需任何额外的训练。代码可在https://github.com/LeapLabTHU/Agent-Attention上获取。

1、简介

Transformer模型起源于自然语言处理,近年来在计算机视觉领域迅速崭露头角&

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/626430.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

返利机器人的前景分析

返利机器人的前景分析 大家好,我是免费搭建查券返利机器人赚佣金就用微赚淘客系统3.0的小编,也是冬天不穿秋裤,天冷也要风度的程序猿!今天,我将为你揭示返利机器人在2024年的赚钱前景。 一、返利机器人的发展历程 返…

20240116金融读报1分钟小得

真是羊毛逮着一个薅。银发贷款,助力适老企业腾飞,提前买股新蓝海 强化对科技创新、先进制造、绿色发展等重点领域的精准支持,引导资金更多流向民营小微、乡村振兴等环节 提升科技型企业“首贷率”,这会不会是今年银行人的kpi&…

提供多语种客户服务的正确方法:让你更接近全球客户

优质的客户支持是任何成功企业的核心。每位客户都希望得到全天候的及时响应。事实上,根据《哈佛商业评论》的研究报告,快速响应会促使人们在未来支付更多的费用。此外,在与全球客户打交道时,您的沟通必须超越语言障碍。用客户的语…

Java Chassis 3技术解密:注册中心分区隔离

原文链接:Java Chassis 3技术解密:注册中心分区隔离-云社区-华为云 注册中心负责实例的注册和发现,对微服务可靠运行起到举足轻重的作用。实例变更感知周期是注册中心最重要的技术指标之一。感知周期代表提供者的实例注册或者下线后&#xf…

2024 CKA 题库 | 10、创建 PV

不等更新题库 文章目录 10、创建 PV题目:考点:参考链接:解答:更换 context创建 pv yaml创建 pv 检查 10、创建 PV 题目: 设置配置环境: [candidatenode-1] $ kubectl config use-context hk8sTask 创建名为 app-config 的 persistent volume&#xff0…

Java后端sql编写

Java后端sql编写 注意事项二级目录三级目录 注意事项 在后端编写sql,不要直接编写sql语句进行查询 比如直接在service实现类中写下图这种语句 二级目录 三级目录

Python文本向量化入门(三):查看默认词袋

在文本分析和自然语言处理中,将文本数据转换为数值型格式是至关重要的第一步。这有助于我们利用机器学习算法进行更高效的数据分析。Scikit-learn库中的CountVectorizer类是一个非常有用的工具,它可以将文本数据转换为词频矩阵。 首先,我们需…

QT 类介绍

1. QThread类 QThread类是Qt中的线程类,用于创建和管理线程。使用QThread类可以方便地创建和管理线程,并可以在不同的线程之间进行通信和同步。 2. QRunnable类 QRunnable类是Qt中的可执行类,用于定义需要在线程中执行的任务。使用QRunnable类…

《如何制作类mnist的金融数据集》——1.数据集制作思路

1.数据集制作思路(生成用于拟合金融趋势图像的分段线性函数) 那么如何去制作这样的一个类minist的金融趋势曲线数据集呢? 还是如上图所示,为了使类别平均分布,因此可以选取三种“buy”的曲线、三种“sell”…

Java基础面试题汇总

☆* o(≧▽≦)o *☆嗨~我是小奥🍹 📄📄📄个人博客:小奥的博客 📙📙📙Github:传送门 📅📅📅面经分享(牛客主页)…

【笔记】Helm-3 主题-5 Helm来源和完整性

Helm来源和完整性 Helm有一个来源工具帮助chart用户检测包的完整性和来源。使用基于PKI,GnuPG及流行包管理器的行业标准工具,Helm可以生成和检测签名文件。 概述 完整性是通过比较chart的出处记录来建立的。出处记录存储在出处文件,和打包好…

汽车研发测试大全

车研发中需要做的试验,这些试验都是保证我们的车能安全、稳定、可靠行驶的必要条件。主要包含以下内容: 一、整车试验项目 1.1整车可靠性试验 1.2 NVH试验 1.3 HVAC试验 1.4 EMC试验 1.5 化学分析试验 1.6 整车道路性能试验 二、零部件试验项目 …

什么是NTFS格式文件系统?Tuxera NTFS for Mac2024下载步骤

一般磁盘格式分为:FAT、FAT32、NTFS,这几种格式目前是我们最常遇到的文件系统格式,其中现在遇到最多的就是NTFS格式,为更好地了解这类文件系统格式,小编今天专门介绍一下什么是NTFS格式文件系统以及它的特点和局限性。…

git提交文本或者word到git教程,git创建仓库时候自带

简易的命令行入门教程: Git 全局设置: git config --global user.name “XX” git config --global user.email “XXXqq.com” 创建 git 仓库: mkdir test cd test git init touch README.md git add README.md git commit -m “first commit” git remote add origin https:…

eclipse ADT安装及abap cds模版创建

文章目录 1.前提2.安装3.创建cds模版 abap cds 常用语法 https://blog.csdn.net/weixin_49198221/article/details/135531478?spm1001.2014.3001.5501 1.前提 需要了解版本关系: **1.eclipse:**2023-06 (4.28), 2023-09 (4.29), 2023-12 (4.30) 2.Windows: ​ 1.Windows …

基本BGP配置试验 :配置 IBGP 和 EBGP

一、预习: BGP:Border Gateway Protocol 没有精妙的算法,但能承载大量的路由,它不生产路由,它是路由的搬运工 使用TCP做为传输层协议,端口号179,使用触发式路由更新 1. BGP路由…

LiveGBS流媒体平台GB/T28181功能-基础配置接入控制白名单黑名单配置控制设备安全接入设备单独配置接入密码

LiveGBS基础配置接入控制白名单黑名单配置控制设备安全接入设备单独配置接入密码 1、白名单配置应用场景2、接入控制2.1、白名单2.2、黑名单 3、搭建GB28181视频直播平台 1、白名单配置应用场景 LiveGBS国标流媒体服务,支持白名单配置。 可在设备注册前&#xff0…

SV-8004VP 网络对讲求助话筒,4个自定义按键

SV-8004VP网络对讲求助话筒,4个自定义按键 SV-8004VP是一款4按键求助对讲话筒,具有10/100M以太网接口,支持G.711音频编解码,其接收SIP网络的音频数据,实时解码播放,还配置了麦克风输入和扬声器输出。 SV-…

红日靶场2 指免杀360 个人学习记录

360安全卫士,有一说一,确实很强,这几天研究的MSF利用java反序列化的漏洞是无法利用的,其他方法也瘦小甚微 前几天在研究用 用免杀工具 go-shellcode-loader-main免杀工具对我们生成的木马进行加密 本来是用csa4.0黑客工具生成了…

中国互联网的早期形态

1 大约是从 1991 年开始,国内开始了第一个 BBS 站——北京长城站,经过长时间发展,直到 1995 年,随着计算机及其外设的大幅降价,BBS 才逐渐被部分人们所认识。少数玩 BBS 站的“极客”站长, 基于个人关系&am…