YOLO蒸馏原理篇之---MGD、CWD蒸馏

一、MGD蒸馏

论文地址:https://arxiv.org/abs/2205.01529
论文翻译:https://mp.weixin.qq.com/s/FSvo3ns2maTpiTTWsE91kQ

1.1 摘要
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的表现。本文表明,教师还可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度来看,我们提出了掩蔽生成蒸馏(MGD):通过屏蔽学生特征的随机像素,并迫使它通过一个简单的块来生成教师的完整特征。
MGD是一种真正通用的基于特征的蒸馏方法,可用于各种任务,包括图像分类、目标检测、语义分割和实例分割。

1.2 论文要点
1)引入了一种新的基于特征的知识蒸馏方法,它使学生通过其掩码特征生成教师的特征,而不是直接模仿。
2)提出了一种新的基于特征的蒸馏方法——掩蔽生成蒸馏,它简单且易于使用,仅有两个超参数。
3)通过对不同数据集的大量实验来验证该方法在各种模型上的有效性。对于图像分类和密集预测任务,学生使用 MGD 取得了显着的改进。

1.3 主要内容
基于特征的蒸馏可以应用于分类和密集预测。对特征蒸馏的基本方法可以表述为:
在这里插入图片描述
其中,FT和FS分别表示教师和学生的特征,falign是将学生的特征FS与教师的特征FT对齐的自适应层。C、H、W代表特征图的形状。
MGD总体框架流程:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/604866.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

60.网游逆向分析与插件开发-游戏增加自动化助手接口-游戏公告功能的逆向分析与测试

内容来源于:易道云信息技术研究院VIP课 上一个内容:文字资源读取类的C还原-CSDN博客 码云地址(master分支):https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号:878db7708de09b448010ef54526fe…

爬虫-3-模拟登录,代理ip,json模块

#本文仅供学习使用(O`) 如果服务器响应的数据为json数据: 那么我们可以用 res.json() 或 json模块(将json字符串转换为Python里面的字典类型) 接收数据。

安全防御之安全审计技术

安全防御中的安全审计技术是保障信息系统安全的重要手段之一。其主要目标是对信息系统及其活动进行记录、审查和评估,以确保系统符合安全策略、法规要求,并能够及时发现潜在的安全风险和异常行为。通过安全审计,可以对系统中的各种活动进行记…

高德地图Web服务使用方法——电子围栏

1 高德地图Web服务 1.1 添加Key 注册高德地图,进入控制台,创建新应用,添加Key,选择Web服务,不添加域名白名单,勾选同意政策。 刷新界面,记住获取到的Key。 1.2 下载安装Postman https://www…

Linux who命令教程:如何查看当前登录的用户信息(附实例详解和注意事项)

Linux who命令介绍 who命令用于显示系统中当前登录的用户信息。它可以提供用户ID、使用的终端机、从哪里登录的、登录时间等信息。 Linux who命令适用的Linux版本 who命令在大多数Linux发行版中都可以使用,包括但不限于Ubuntu、Debian、Fedora、CentOS等。如果在…

线性代数 --- 矩阵行列式的性质

Determinant det A|A| 矩阵的行列式是一个数,这个数能够反应一些关于矩阵的信息。行列式只对方阵有效。 若矩阵A为: 则A的行列式为: 性质1: 单位矩阵的行列式等于1 性质2:行与行之间的交换会改变det的正负号 以2x2单位…

01flex布局

flex 布局 使用方式 容器 也称弹性盒子,可以根据屏幕大小自动适应,只有一个; 子项目 容器内的直接子元素,可以有多个 主轴 Flex容器的主要方向,由 flex-direction 属性定义。可以是水平方向(row 或 row-reverse&#…

Qt OpenGL中渲染和画图的相互理解

在Qt编程(或者别的图形编程中),我们很容易理解画图,一般用draw之类的函数,画圆,画线,画点,画复杂图形,画图片等2D图形。 在某种程度上,渲染和画图可以理解为相似的概念,都是将图形或图像呈现在屏幕上的过程。所以我们也可以说3D渲染其实就是3D画图。但是呢,这样表…

【SQL】加快SQL查询的九种优秀实践

1.只检索需要的列 对于那些所谓的数据库开发老司机而言,他们会有一个常见的SQL习惯:在编写查询代码时,频繁地使用SELECT *,一次性列出所有可能需要的数据列。显然,如果查询一个存储了一百多列的数据表的所有列,您可以想象会发生什么?毕竟在真实的系统应用环境中,这样的…

Vue知识总结-中

VUE-生命周期 生命周期概述 生命周期也常常被称为生命周期回调函数/生命周期函数/生命周期钩子生命周期是Vue在关键时刻帮我们调用的一些特殊名称的函数生命周期函数的名字不能更改,但函数的具体内容是由我们程序员自己编写的生命周期函数中的this指向是vm或组件实例对象 生命周…

【软件测试】学习笔记-如何做好测试计划

本篇文章将为你介绍一份成功的测试计划应该包含哪些内容,以及如何才能做好测试计划。 软件项目,通常都会有详细的项目计划。软件测试作为整个项目中的重要一环,也要执行详细的测试计划。正所谓运筹帷幄之中,决胜千里之外&#xf…

【开题报告】基于微信小程序的母婴商品仓库管理系统的设计与实现

1.选题背景 随着社会经济的发展和家庭生活水平的提高,母婴商品市场逐渐兴起。然而,传统的母婴商品仓库管理方式存在着许多问题,如信息不透明、操作繁琐等。为了提高仓库管理的效率和准确性,基于微信小程序的母婴商品仓库管理系统…

Pointnet++损失函数改进:Focalloss | 助力解决正负样本比例不均衡问题

简介:1.该教程提供大量的首发改进的方式,降低上手难度,多种结构改进,助力寻找创新点!2.本篇文章对Pointnet++特征提取模块进行改进,加入Focalloss损失函数,解决正负样本比例不均衡问题。3.专栏持续更新,紧随最新的研究内容。 目录 1.理论介绍 2.修改步骤 2.1 步骤一…

解决在test以外的目录下导入junit无效

以上引用来自src目录下的文件,可以看到,和junit有关的导入都飘红,但明明junit已经被正确导入进了项目中。 再看右侧的Maven的依赖下方,junit的右边有一个很不起眼的(test) 这是因为junit作为测试框架,可能包含仅适用于…

杰发科技AC7840——CAN通信简介(2)

1.时钟频率 2.位时间 3.采样点 4.消息缓冲区 和ST、NXP的邮箱类似,AutoChips用了缓冲区的概念。 5.接收缓冲区 屏蔽掉demo程序的发送,只看接收情况 在回调中接收数据 先判断是不是进了接收中断 接收数据的处理函数 所有buff数据放到Info buff的内容 BUF…

NumPy 高级教程——性能优化

Python NumPy 高级教程:性能优化 在处理大规模数据集或进行复杂计算时,性能是关键的考虑因素。NumPy 提供了一些工具和技巧,帮助用户优化代码以提高执行效率。在本篇博客中,我们将深入介绍 NumPy 中的性能优化技术,并…

css_auto的用法

<div style"display: flex; justify-content: center;"><div style"margin-right: auto;"></div><div>其他元素</div> </div>auto到底是什么意思&#xff0c;为什么可以让父div中的子div向左边对齐&#xff1f; auto是…

数据结构与算法Python版:基数排序

简介&#xff1a;基数排序&#xff08;radix sort&#xff09;属于“分配式排序”&#xff08;distribution sort&#xff09;&#xff0c;又称“桶子法”&#xff08;bucket sort&#xff09;或bin sort&#xff0c;顾名思义&#xff0c;它是透过键值的部份资讯&#xff0c;将…

1872_S32K344 MCU基本信息了解

全部学习汇总&#xff1a; GreyZhang/g_s32k344: A new MCU learning notes. I would try to use MCAL instead of SDK. (github.com) 以下的摘录信息来自&#xff1a; S32K Auto General-Purpose MCUs | NXP Semiconductors 安全等级可以到ASIL D。 M7的内核&#xff0c;主频可…

深入理解并解析Flutter Widget

文章目录 完整代码程序入口构建 Widget 结构定义 widget 状态定义 widget UI获取上下文关于build()build() 常用使用 完整代码 import package:english_words/english_words.dart; import package:flutter/material.dart; import package:provider/provider.dart;void main() …