深度学习——全维度动态卷积ODConv

ODConv(OMNI-DIMENSIONAL DYNAMIC CONVOLUTION)是一种关注了空域、输入通道、输出通道等维度上的动态性的卷积方法,因此被称为全维度动态卷积。

part1. 什么是动态卷积

动态卷积就是对卷积核进行线性加权

第一篇提出动态卷积的文章也是在SE之后,他提出目前的注意力机制模型主要都是在特征图上做工作,而动态卷积它对多个卷积核进行线性加权,加权值则与输入有关,这就使得动态卷积具有输入依赖性。

也就是说,对于不同的输入,我们使用不同的卷积核。之后对这些不同的卷积核,进行注意力加权。

在这里插入图片描述
看这组图片,这是CondConv: Conditionally Parameterized Convolutions for Efficient Inference的作者提出的。
在两种方式的对比下,发现他们的作用是一样的,但是图b中的方法计算量就像是NLnet重复计算的attention map一样,计算量太大,不适合把卷积放在这里去实现所谓的动态,所以作者提出了方法a,也就是condconv。

part2. 动态卷积和注意力机制有什么差别

动态卷积和注意力机制在神经网络中都是常用的技术,但具有不同的作用和目的。

动态卷积是指在卷积过程中,卷积核的权重不是固定的,而是可以根据输入数据的不同而动态调整。这样可以使卷积核能够更好地适应输入数据的特征,提高卷积网络的性能。

注意力机制是一种重要的神经网络模块,可以使神经网络在处理序列数据时能够更好地关注与当前任务相关的信息。注意力机制可以根据输入数据中的关键信息,给予不同的权重,在传递信息时更多地关注这些重要信息。

因此,动态卷积和注意力机制虽然都可以提高神经网络的性能,但其作用不同。动态卷积是加强了特征的适应性,而注意力机制则是更好地关注当前任务需要的信息。

part3.ODConv

ODConv的发现其实比较像CA和GC这种注意力机制,都是发现了已有的东西的不足(或许是忽略的什么,或许是发现某些计算不必要)从而提出的改进。

ODConv发现:现有的工作采用单个注意力,输入对于输出卷积核有相同的注意力值,但其他三个维度(关于空间大小、输入通道数和输出通道数) 卷积核的空间维度、输入通道维度以及输出通道维度)都被忽略了。 受此启发,作者提出了全维动态卷积(ODConv)

如下图所示
ODConv在任何卷积和内部采用并行策略,从四个维度来学习卷积核内部的注意力值,从而获得全维度的卷积核注意力值。
在这里插入图片描述
下图课一直观的看出,采用了SE的ODConv(b)和普通的动态卷积的对比。
也就是说,ODConv添加了卷积核的空间维度、输入通道维度以及输出通道维度的特征学习。
在这里插入图片描述

动态卷积和注意力机制虽然都可以提高神经网络的性能,但其作用不同。动态卷积是加强了特征的适应性,而注意力机制则是更好地关注当前任务需要的信息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/26132.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快速排序【Java算法】

文章目录 1. 概念2. 思路3. 代码实现 1. 概念 快速排序是一种比较高效的排序算法,采用 “分而治之” 的思想,通过多次比较和交换来实现排序,在一趟排序中把将要排序的数据分成两个独立的部分,对这两部分进行排序使得其中一部分所有…

剑指 Offer 53 - I. 在排序数组中查找数字 I

力扣 统计一个数字在排序数组中出现的次数。 示例 1: 输入: nums [5,7,7,8,8,10], target 8 输出: 2 示例 2: 输入: nums [5,7,7,8,8,10], target 6 输出: 0 提示&#xff1a; 0 < nums.length < 105 -109 < nums[i] < 109 nums 是一个非递减数组 …

openKylin顺利加入RISC-V 基金会,推动架构芯片与操作系统协同发展

日前开放麒麟openKylin宣布&#xff0c;正式加入RISC-V基金会&#xff0c;由此成为其产业联盟成员。 公开资料显示&#xff0c;ISC-V是由加州大学伯克利分校研究团队在 2010年推出的一个开源指令集架构(ISA)。并且RISC-V拥有免费、高效、简洁和开放等特性qlbrsb。 作为新生的…

Flask项目打包为exe(附带项目资源,静态文件)

1.在项目根目录创建my_app.spec文件&#xff0c;内容如下&#xff1a; # -*- mode: python ; coding: utf-8 -*-block_cipher Nonea Analysis([server.py], # flask入口pathex[],binaries[], datas[("E:/**/templates","/templates"),("E:/**/s…

绝对领跑!清华最新报告评估,文心大模型3.5稳坐国内第一

近日&#xff0c;清华大学新闻与传播学院沈阳团队发布《大语言模型综合性能评估报告》&#xff08;下文简称“报告”&#xff09;&#xff0c;报告显示百度文心一言在三大维度20项指标中综合评分国内第一&#xff0c;超越ChatGPT&#xff0c;其中中文语义理解排名第一&#xff…

合宙Air724UG LuatOS-Air script lib API--pins

pins 模块功能&#xff1a;GPIO 功能配置&#xff0c;包括输入输出IO和上升下降沿中断IO pins.setup(pin, val, pull) 配置GPIO模式 参数 名称 传入值类型 释义 pin number GPIO&#xff0c;ID GPIO 0到GPIO 31表示为pio.P0_0到pio.P0_31 GPIO 32到GPIO XX表示为pio.P1_0到pi…

无涯教程-Perl - each函数

描述 在列表context中调用此函数时,将返回一个由2个元素组成的列表,该列表由哈希的下一个元素的键和值组成,以便您可以对其进行迭代。在标量context中调用时,仅返回哈希中下一个元素的键。 语法 以下是此函数的简单语法- each HASH返回值 在列表context中调用此函数时,将返…

前端面试的性能优化部分(5)每天10个小知识点

目录 系列文章目录前端面试的性能优化部分&#xff08;1&#xff09;每天10个小知识点前端面试的性能优化部分&#xff08;2&#xff09;每天10个小知识点前端面试的性能优化部分&#xff08;3&#xff09;每天10个小知识点前端面试的性能优化部分&#xff08;4&#xff09;每天…

(文章复现)建筑集成光储系统规划运行综合优化方法matlab代码

参考文献&#xff1a; [1]陈柯蒙,肖曦,田培根等.一种建筑集成光储系统规划运行综合优化方法[J].中国电机工程学报,2023,43(13):5001-5012. 1.基本原理 本文建立的双层耦合模型内、外层分别对应求解容量配置与能量调度问题。外层模型设置光伏与储能容量备选集并将容量配置组合…

实战项目——多功能电子时钟

一&#xff0c;项目要求 二&#xff0c;理论原理 通过按键来控制状态机的状态&#xff0c;在将状态值传送到各个模块进行驱动&#xff0c;在空闲状态下&#xff0c;数码管显示基础时钟&#xff0c;基础时钟是由7个计数器组合而成&#xff0c;当在ADJUST状态下可以调整时间&…

用Rust实现23种设计模式之 外观模式

关注我&#xff0c;学习Rust不迷路&#xff01;&#xff01; 外观模式是一种结构型设计模式&#xff0c;它提供了一个统一的接口&#xff0c;用于访问子系统中的一组接口。以下是外观模式的优点和使用场景&#xff1a; 优点&#xff1a; 简化客户端代码&#xff1a;外观模式…

精准营销:私域用户运营的成功之道

随着市场竞争的加剧和用户对个人隐私的关注&#xff0c;企业越来越重视私域用户运营&#xff0c;这不仅可以有效提高用户忠诚度&#xff0c;还可以实现更精准的营销。精准营销强调通过深入了解用户需求和行为&#xff0c;实现精准推送和个性化服务&#xff0c;从而提升用户体验…

17款奔驰S400升级原厂前排座椅通风系统,夏天必备的功能

通风座椅的主动通风功能可以迅速将座椅表面温度降至适宜程度&#xff0c;从而确保最佳座椅舒适性。该功能启用后&#xff0c;车内空气透过打孔皮饰座套被吸入座椅内部&#xff0c;持续时间为 8 分钟。然后&#xff0c;风扇会自动改变旋转方向&#xff0c;将更凉爽的环境空气从座…

拦截器——Interceptor及与过滤器区别

目录 spring中拦截器 过滤器跟拦截器的区别 HandlerInterceptor拦截器 拦截器工作原理 拦截器使用场景 定义拦截器 LoginInterceptor 注册拦截器 MethodInterceptor拦截器 方式一&#xff1a;继承 MethodInterceptor 方式二&#xff1a;基于注解的AspectJ方…

nginx的优化与防盗链

目录 隐藏版本号 方法一 方法二 nginx日志分割 nginx页面压缩 链接超时 TIME_WAIT 内核设置进行优化 防盗链 配置防盗链 fpm参数优化 隐藏版本号 方法一 修改配置文件 cd /usr/local/nginx/conf/ cp nginx.conf nginx.conf.bak.2023.0805 vim nginx.conf 在http…

用于大型图像模型的 CNN 内核的最新内容

一、说明 由于OpenAI的ChatGPT的巨大成功引发了大语言模型的繁荣&#xff0c;许多人预见到大图像模型的下一个突破。在这个领域&#xff0c;可以提示视觉模型分析甚至生成图像和视频&#xff0c;其方式类似于我们目前提示 ChatGPT 的方式。 用于大型图像模型的最新深度学习方法…

基于自组织竞争网络的患者癌症发病预测(matlab代码)

1.案例背景 1.1自组织竞争网络概述 前面案例中讲述的都是在训练过程中采用有导师监督学习方式的神经网络模型。这种学习方式在训练过程中,需要预先给网络提供期望输出,根据期望输出来调整网络的权重,使得实际输出和期望输出尽可能地接近。但是在很多情况下,在人们认知的过程中…

机器学习之弹性网络(Elastic Net)

弹性网络 代码原文 下面代码参考scikit-learn中文社区&#xff0c;链接在上面。 但是由于scikit-learn中文社区上的代码有些地方跑不通&#xff0c;故对此代码做了修改&#xff0c;输出结果与社区中显示的结果相同。 对弹性网络进行简单的介绍&#xff1a; ElasticNet是一个训…

第八篇: K8S Prometheus Operator实现Ceph集群企业微信机器人告警

Prometheus Operator实现Ceph集群企业微信告警 实现方案 我们的k8s集群与ceph集群是部署在不同的服务器上&#xff0c;因此实现方案如下&#xff1a; (1) ceph集群开启mgr内置的exporter服务&#xff0c;用于获取ceph集群的metrics (2) k8s集群通过 Service Endponit Ser…

【VALSE2023】0610 胡瀚《视觉自监督学习年度进展评述》

from&#xff1a; https://www.bilibili.com/video/BV1J44y1w79r 文章目录 自监督学习年度进展技术进展趋势一&#xff1a;掩码图像建模的改进技术进展二&#xff1a;发现掩码图像建模对**大模型**比较友好技术进展三&#xff1a;针对**小模型**的掩码图像建模训练技术进展四&a…