卷积模型的剪枝、蒸馏---蒸馏篇--NST特征蒸馏(以deeplabv3+为例)

本文使用NST特征蒸馏实现deeplabv3+模型对剪枝后模型的蒸馏过程;
一、NST特征蒸馏简介
下面是两张叠加了热力图(heat map)的图片,从图中很容易看出这两个神经元具有很强的选择性:左图的神经元对猴子的脸部非常敏感,右侧的神经元对字符非常敏感。这种激活实际上意味着神经元的选择性,即什么样的输入可以触发这些神经元。换句话说,一个神经元高激活的区域可能共享一些与任务相关的相似特性,而这种相似特征,即为学生网络向教师网络学习的目标。
在这里插入图片描述
如下图所示为神经元选择性迁移的架构。学生网络不仅利用真正的标签训练,而且还模仿了教师网络中间层的激活分布。图中的每个点或三角形表示其对应的滤波器的激活图。
在这里插入图片描述
NST损失函数如下所示:
在这里插入图片描述
其中,第一项 H(y,p)为交叉熵损失,y是ground truth标签,p是学生模型的输出概率;第二项为最大平均差异(MMD)损失,即为NST损失,用来衡量教师和学生特征之间的差异;MMD的想法就是求两个随机变量在高维空间中均值的距离,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/12891.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

程序员绩效管理-序言

开辟一个新专栏专门讨论程序员绩效管理。作为软件开发企业,公司的命脉掌握在程序员手中。程序员的绩效管理是个超级难题。小张和老王专栏介绍了两个典型的人员。但是这是两个虚拟的极端人员,大部分开发人员没有那么容易分辨。1个任务,应该1天…

LabVIEW软件开发工程师需要具备哪些能力与素质?

成为一名优秀的LabVIEW软件开发工程师,需要具备以下能力与素质: 技术能力 LabVIEW编程技能: 精通LabVIEW编程,能够熟练使用其图形化编程界面。熟悉LabVIEW中的各种功能模块和工具包,如数据采集(DAQ&#x…

如何配置Nacos的健康检查参数?

在微服务架构中,服务注册与发现以及健康检查是至关重要的组件。Nacos,作为阿里巴巴开源的一个更易于构建云原生应用的动态服务发现、配置和服务管理平台,广泛应用于微服务架构中。在Nacos中,服务的健康检查是一个核心功能&#xf…

【Python】使用MySQL综合案例

数据说明: 一月份各省销售数据:csv格式 二月份各省销售数据:json格式 实现要求:将两个文件中的数据存储到数据库中,并反向从数据库中读取数据存储为json格式文件 本文提供数据 完成案例所需基础 【Python】基础知识(函数与数…

C++ 日志库 log4cpp 编译、压测及其范例代码 [全流程手工实践]

文章目录 一、 log4cpp官网二、下载三、编译1.目录结构如下2.configure 编译3.cmake 编译 四、测试五、压测源码及结果1.运行环境信息2.压测源码3.压测结果 文章内容:包含了对其linux上的完整使用流程,下载、编译、安装、测试用例尝试、以及一份自己写好…

Qt | QTimer 类(计时器)

01、相关知识回顾 Qt C++ | QTimer经验总结Qt | QDateTimeEdit、QDateEdit类和QTimeEdit类02、QTimer 类 1、QTimer 类是 QObejct 的直接子类,该类用于实现计时器,QTimer 类未继承自 QW

IT革新狂潮:引领未来的技术趋势

方向一:技术革新与行业应用 当前现状: 量子计算:量子计算的研究正在加速,尽管目前仍处于初级阶段,但其在药物研发、加密技术和材料科学等领域的应用潜力已被广泛认可。 虚拟现实(VR)与增强现实…

湖南大学OS-2018期末考试(不含解析)

前言 不知道哪里翻出来的一张,看着确实像期末考卷,暂且放一下。或许做过,或许没做过。 总之答案不记得了。做完可以评论区发一下或者找我发出来。 共6道大题。 一、(30%) 1. (6%) 进程间通信的两种方法分别是什么&…

完成所有任务的最少时间 - (LeetCode)

前言 今天也是很无精打采的一天,早上看到这道题,都有点懵逼,开始也不懂如何入手,既然自己搞不定,就顺便测试了一下AI吧,测试了通义千问和文心一言,把题目拿去那里问,可以把解题思路…

DRF 跨域问题

【一】说明 CORS(跨来源资源共享,Cross-Origin Resource Sharing)是一种浏览器技术的规范,旨在解决浏览器同源策略(Same-Origin Policy)的限制,使得Web服务可以从不同的网域(源&…

error Error: certificate has expired

用yarn命令安装依赖的时候遇到报错: 原因:可能是开了服务器代理访问导致ssl安全证书失效 解决方法: 在终端输入 yarn config set "strict-ssl" false -g yarn config set "strict-ssl" false -g 然后再安装依赖就不…

RS2227XN功能和参数介绍及PDF资料

RS2227XN是一款模拟开关/多路复用器 品牌: RUNIC(润石) 封装: MSOP-10 描述: USB2.0高速模拟开关 开关电路: 双刀双掷(DPDT) 通道数: 2 工作电压: 1.8V~5.5V 导通电阻(RonVCC): 10Ω 功能:模拟开关/多路复用器 USB2.0高速模拟开关 工作电压范围:1.8V ~ 5…

Linux运行级别介绍

unlevel 运行级别 cat /etc/inittab 0 - halt (Do NOT set initdefault to this) --关机 1 - Single user mode --单用户(进入单用户不需要帐号与密码) 2 - Multiuser, without NFS (The same as 3, if you do not have networking) 多用户(没有网络) 3…

Java基础篇常见面试问题总结

文章目录 1. 你是怎样理解 OOP面向对象?2. 重载与重写区别3. 接口与抽象类的区别4. 深拷贝与浅拷贝的理解5. 什么是自动拆装箱? int和 Integer有什么区别6. 和 equals()区别7. String类 能被继承吗为什么用 final修饰8. final、finally、finalize区别 1. 你是怎样理…

【C语言】6.C语言VS实用调试技巧(1)

文章目录 1.什么是 bug2.什么是调试(debug)?3.Debug 和 Release4.VS调试快捷键4.1 环境准备4.2 调试快捷键 5.监视和内存观察5.1 监视5.2 内存 1.什么是 bug bug现在一般是指在电脑系统或程序中,隐藏着的一些未被发现的缺陷或问题…

Git使用(3):版本管理

一、查看历史 编写一个java类进行测试 选择Git -> Show Git Log查看日志。 第一次修改推送到远程仓库了,所以有origin(远程仓库地址),第二次修改只提交到本地仓库所以没有。 二、版本回退 1、本地回退 在要回退的版本上右键&a…

XLSX文件删除了怎么找回?8个恢复方法,太实用了!

U盘作为一种便携的存储设备,随之而来的数据丢失问题也让人头疼。尤其是当U盘中的XLSX文件(Excel 2007及以后版本的默认文件格式)被误删除或丢失时,如何高效找回这些数据成为了许多人关注的焦点。 本文将从XLSX文件的特性、U盘格式…

C++set关联式容器

Cset 1. 关联式容器 vector、list、deque、forward_list(C11)等STL容器,其底层为线性序列的数据结构,里面存储的是元素本身,这样的容器被统称为序列式容器。而map、set是一种关联式容器,关联式容器也是用来存储数据的&#xff0…

深度盘点在当今经济形势下资深项目经理或PMO的或去或从

在当今经济形势下,资深项目经理(Project Manager)或项目管理办公室(PMO)的去向和选择受到多种因素的影响。以下是对他们可能面临的或去或从的深度盘点: 1、发展去向 1. 深化专业领域:在经济形势…

Linux程序开发(一):Linux基础入门安装和实操手册

Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊! 喜欢我的博客的话,记得…