扩散模型零样本分类应用笔记

1 Title

        Your Diffusion Model is Secretly a Zero-Shot Classifier(Alexander C. Li, Mihir Prabhudesai, Shivam Duggal, Ellis Brown, Deepak Pathak)【ICCV 2023】

2 Conclusion

        This paper shows that the density estimates from large-scale text-to-image diffusion models like Stable Diffusion can be leveraged to perform zero-shot classifi-cation without any additional training.

3 Good Sentences

        1、Obtaining a diffusion model classifier through Bayes’ theorem consists of repeatedly adding noise and computing a Monte Carlo estimate of the expected noise reconstruction losses (also called \epsilon-prediction loss) for every class. We call this approach Diffusion Classifier.(The theory of this study that use diffusion model to make classification)
        2、Discriminative approaches directly learn tomodel the decision boundary of the underlying task, while generative approaches learn to model the distribution of the data and then address the underlying task as a maximum likelihood estimation problem. (The principle of the generate mode that used in discrimination)
         3、We split our evaluation into a series of stages, where in each stage we try each remaining ci some number of times and then remove the ones that have the highest average error. This allows us to efficiently eliminate classes that are almost certainly not the final output and allocate more compute to reasonable classes.(The improvement of this study for Efficient Classification)


        
        对于像 Stable Diffusion 这种类型的 diffusion models,主要的步骤有两个,其一是 sampling,其二是 density estimation。而第二点又分为两种,unconditional density estimation 和 conditional density estimation,前者估计\nabla_x logp(x),后者估计\nabla_x logp(x|y)

        本文认为类似stable diffusion这样的大规模text2img模型所计算出的密度估计,可以被用来进行“零样本分类” (zero-shot classification),而不需要额外的训练。 也就是在大规模Text2Img任务中density estimation 这件事情几乎等价于 zero-shot classification without training,于是作者们将这一分类机制单独提炼出来,形成了 Diffusion Classifier 模型,并展示了这一模型有着很强的 multi-modal reasoning 的能力,它可以从含分类的 diffusion models 中提取出标准的分类器。

如何将diffusion model应用到zero-shot classification,具体流程图如上图所示:

        对于一个分类模型,给定输入x,模型输出类别的概率向量c,对于这个diffusion model,分类任务就是求解p_\theta (c|x)。具体推导过程请看论文,这里不多赘述。
        作者对比同为zero-shot classifier的CLIP,zero-shot的能力以及接近了基于renset50的CLIP。但与openCLIP ViT-H/14还有较大差距

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/763883.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

阿里云4核8G服务器多少钱一年?

阿里云4核8G服务器优惠价格955元一年,配置为ECS通用算力型u1实例(ecs.u1-c1m2.xlarge)4核8G配置、1M到3M带宽可选、ESSD Entry系统盘20G到40G可选,CPU采用Intel(R) Xeon(R) Platinum处理器,阿里云活动链接 aliyunfuwuq…

SSH介绍及检测规则思路分析

一、SSH 1、定义 SSH是安全的加密协议,用于远程连接linux服务器。 2、ssh服务的主要功能: 1)提供远程链接服务器的功能; 2)对远程链接传输的数据进行加密 3、ssh与telnet的区别: 服务链接方式 服务数据…

DBO优化LSBoost回归预测(matlab代码)

DBO-LSBoost回归预测matlab代码 蜣螂优化算法(Dung Beetle Optimizer, DBO)是一种新型的群智能优化算法,在2022年底提出,主要是受蜣螂的的滚球、跳舞、觅食、偷窃和繁殖行为的启发。 数据为Excel股票预测数据。 数据集划分为训练集、验证集、测试集,比…

【国家计算机二级C语言】高分笔记

二叉树 参考 http://t.csdnimg.cn/ozVwT 数据库 SQL程序语言有四种类型,对数据库的基本操作都属于这四类,它们分别为;数据定义语言(DDL)、数据查询语言(DQL)、数据操纵语言(DML)、数据控制语言…

领夹麦配LDR6028,电力持久畅聊畅!

#无线麦克风#麦克风,对于大多数人来说,并不陌生。然而,领夹式麦克风,这个看似小巧的音频设备,或许在日常生活中并不常为我们所见。但在自媒体行业、新闻记者等领域,它却是不可或缺的好帮手。这款领夹式麦克…

树状数组优化dp,2617. 网格图中最少访问的格子数

目录 一、题目 1、题目描述 2、接口描述 3、原题链接 二、解题报告 1、思路分析 2、复杂度 3、代码详解 一、题目 1、题目描述 给你一个下标从 0 开始的 m x n 整数矩阵 grid 。你一开始的位置在 左上角 格子 (0, 0) 。 当你在格子 (i, j) 的时候,你可以移动…

架构之安全性维度

流程安全性 安全基本原则:可用性 完整性 机密性 CIA 安全框架:zachman P2DR Sabsa IPDRR IATF 安全评估方法:安全测试: SAST静态测试、 IAST交互测试 安全扫描 危险模型:攻击树分析 DREAD风险评估 渗透测试&#xff1a…

管理类联考–复试–英文面试–问题--规划介绍原因做法--纯英文版

借鉴 https://www.bilibili.com/video/BV1Dk4y187zN/?p4&spm_id_from333.880.my_history.page.clickhttps://www.bilibili.com/video/BV1Dk4y187zN/?p4&spm_id_from333.880.my_history.page.click https://ttsreader.com/zh/https://ttsreader.com/zh/ 规划 视频版…

2024年NOC大赛创客智慧(西瓜创客)图形化编程真题模拟试卷包含答案

详细题目看顶部资源 答案解析 一、选择题 1、C 该段代码是将变量的值翻倍,运行之后变量的值是之前的两倍。变量的值是否改变取决于初始值是否为 0,所以船都不正确 2、C A 透项为让角色说话,不可以广播消息: B 选项为播放一段声音,不可以广播消息; C透项为广播消息,正确: …

OCP NVME SSD规范解读-14.Firmware固件升级要求

4.11节 Firmware Update Requirements 描述了数据中心NVMe SSD固件更新的具体要求,确保固件升级过程既安全又可靠,同时充分考虑了设备在升级过程中的可用性和功能性。 FWUP-1: 设备必须记录每一次固件激活过程。这意味着固件升级过程中,设备会…

使用远程工具连接Mysql

(若想要远程连接Mysql需要下面解决四个问题) 1、目标地址 直接查询 2、端口号 3306 3、防火墙关闭 [rootlocalhost date]# systemctl stop firewalld.service 4、授权mysql数据库root用户权限(因为mysql开始不允许其他IP访问&#xff0…

时间减少90%以上!分布式系统的性能优化实战

1背景 分布式批量系统指的是采用分布式数据库架构,主体功能由批量程序实现的系统。分布式系统批量程序的性能测试,除了和联机交易性能测试一样关注服务器资源使用率是否合理、是否存在性能异常外,在测试执行阶段需要关注是否因数据分布不均衡…

JsonUtility.ToJson 和UnityWebRequest 踩过的坑记录

项目场景: 需求:我在做网络接口链接,使用的unity自带的 UnityWebRequest ,数据传输使用的json,json和自定义数据转化使用的也是unity自带的JsonUtility。使用过程中发现两个bug。 1.安全验证失败。 报错为&#xff1a…

在CentOS中怎么安装和配置NginxWeb服务器

在CentOS中安装和配置Nginx Web服务器可以通过以下步骤完成: 1. 使用yum安装Nginx: sudo yum install nginx 2. 启动Nginx服务: sudo systemctl start nginx 3. 设置Nginx开机自启动: sudo systemctl enable nginx 4. 配置防火墙规…

PID算法原理分析及优化

今天为大家介绍一下经典控制算法之一的PID控制方法。PID控制方法从提出至今已有百余年历史,其由于结构简单、易于实现、鲁棒性好、可靠性高等特点,在机电、冶金、机械、化工等行业中应用广泛。 在大学期间,参加的智能汽车竞赛中就使用到了PI…

如何安装和卸载SFP光模块

SFP光模块的安装和拆卸是简单直接的过程。然而,任何非标准操作都可能导致隐式损坏甚至永久故障。您需要参考及时更新的光模块的数据表或用户手册,以熟悉其特性和锁定机制。 准备工作 常见事项 拆卸和插入SFP光模块可能会缩短其使用寿命,因…

重新了解一下之前的單對象變化問題

單對象變化問題 聲明一個方法在頁面中監聽這個對象的改變 2年之前寫過一篇文章,有些誤導,重新寫一遍 聲明一個方法 不管是在哪裡,創建一個名為 single-object.jsx 的文件 export const singleObject (newObj, oldObj) > {return JSON.str…

美团门票度假java实习(66m)

1.介绍一下redisson分布式锁 2.redission分布式锁底层如何实现 3.基于setnx实现的分布式锁的缺点有哪些 4.基于redis如何实现可重入的分布式锁 5.项目的qps大概多少 6.如何自己实现一个限流算法中的滑动窗口 8.code:用两个队列实现一个栈,java语言 9.jvm…

jupyter | jupyter里执行shell命令

先说结论&#xff1a; 在 shell 命令前加 ! tar -zxvf sp.tgzFile "<ipython-input-2-3125352daeb6>", line 1tar -zxvf sp.tgz^ SyntaxError: invalid syntax 在 jupyter Code Cell中只能执行ls 、pwd 等简单命令。当需要执行tar 或者稍微负责命令时就报错了…

数据库被.[Goodmorningfriends@onionmail.org].faust勒索病毒加密,能恢复吗?

.faust勒索病毒有什么特点及危害&#xff1f; .faust勒索病毒是一种恶意软件&#xff0c;以其复杂的加密技术和勒索行为而闻名。这种病毒的主要目标是通过加密受害者的数据文件&#xff0c;然后勒索赎金以解密这些文件。它通常通过恶意附件、恶意链接或潜在的不安全下载源传播&…