PASSL代码解读[01] readme

在这里插入图片描述

介绍

PASSL 是一个基于 PaddlePaddle 的视觉库,用于使用 PaddlePaddle 进行最先进的视觉自监督学习研究。PASSL旨在加速自监督学习的研究周期:从设计一个新的自监督任务到评估所学的表征

PASSL 主要特性:

  • 自监督前沿算法实现

    PASSL 实现了多种前沿自监督学习算法,包括不限于 SimCLR、MoCo(v1)、MoCo(v2)、MoCo-BYOL、CLIP、BYOL、BEiT。同时支持有监督分类训练。

  • 模块化设计

    易于建立新的任务和重用其他任务的现有组件 (Trainer, models and heads, data transforms, etc.)

🛠️ PASSL 的最终目标是利用自监督学习为下游任务提供更合适的预训练权重,同时大幅度降低数据标注成本。

模型库

  • Self-Supervised Learning Models

PASSL 实现了一系列自监督学习算法,更具体的使用文档请参阅 Document

EpochsOfficial resultsPASSL resultsBackboneModelDocument
MoCo20060.660.64ResNet-50downloadTrain MoCo
SimCLR10064.565.3ResNet-50downloadTrain SimCLR
MoCo v220067.767.72ResNet-50downloadTrain MoCo
MoCo-BYOL30071.5672.10ResNet-50downloadTrain MoCo-BYOL
BYOL30072.5071.62ResNet-50downloadTrain BYOL
PixPro10055.1(fp16)57.2(fp32)ResNet-50downloadTrain PixPro
SimSiam10068.368.4ResNet-50downloadTrain SimSiam
DenseCL20063.6263.37ResNet-50downloadTrain PixPro
SwAV10072.172.4ResNet-50downloadTrain SwAV

Benchmark Linear Image Classification on ImageNet-1K.

  • Classification Models

PASSL 实现了视觉 Transformer 等具有影响力的图像分类算法,并提供了相应的预训练权重。旨在支持自监督、多模态、大模型算法的建设和研究。更多使用细节请参阅 Classification_Models_Guide.md

DetailTutorial
ViT/PaddleEdu
Swin Transformer/PaddleEdu
CaiTconfigPaddleFleet
T2T-ViTconfigPaddleFleet
CvTconfigPaddleFleet
BEiTconfigunofficial
MLP-MixerconfigPaddleFleet
ConvNeXtconfigPaddleFleet

🔥 PASSL 提供了详细的算法剖析,具体请参阅 Tutorial

安装

请参阅 INSTALL.md 进行安装

快速开始

请参阅 GETTING_STARTED.md 了解 PASSL 的基本用法

Awesome SSL

自监督学习 (Self-Supervised Learning, SSL) 是一个发展十分迅速的领域,这里列出一些具有影响力的 Paper 供研究使用。PASSL 会争取实现具有应用潜力的自监督算法

  • Masked Feature Prediction for Self-Supervised Visual Pre-Training by Chen Wei, Haoqi Fan, Saining Xie, Chao-Yuan Wu, Alan Yuille, Christoph Feichtenhofer.
  • Masked Autoencoders Are Scalable Vision Learners by Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick.
  • Corrupted Image Modeling for Self-Supervised Visual Pre-Training by Yuxin Fang, Li Dong, Hangbo Bao, Xinggang Wang, Furu Wei.
  • Are Large-scale Datasets Necessary for Self-Supervised Pre-training? by Alaaeldin El-Nouby, Gautier Izacard, Hugo Touvron, Ivan Laptev, Hervé Jegou, Edouard Grave.
  • PeCo: Perceptual Codebook for BERT Pre-training of Vision Transformers by Xiaoyi Dong, Jianmin Bao, Ting Zhang, Dongdong Chen, Weiming Zhang, Lu Yuan, Dong Chen, Fang Wen, Nenghai Yu.
  • SimMIM: A Simple Framework for Masked Image Modeling by Zhenda Xie, Zheng Zhang, Yue Cao, Yutong Lin, Jianmin Bao, Zhuliang Yao, Qi Dai, Han Hu.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/773766.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么requests不是python标准库?

在知乎上看到有人问:为什么requests不是python标准库? 这确实是部分人困惑的问题,requests作为python最受欢迎的http请求库,已经成为爬虫必备利器,为什么不把requests直接装到python标准库里呢?可以省去第…

学习使用xbox手柄控制小乌龟节点移动

使用xbox手柄控制小乌龟,首先要下载joy功能包,发布sensor_msgs话题也就是手柄和ros通信的话题。 下载的步骤就根据官方文档即可 joy/Tutorials/ConfiguringALinuxJoystick - ROS Wiki 这里我提供一下具体步骤 第一步 安装joy 首先安装对应系统版本的…

山东省正规等保测评机构名称以及地址一览表

山东省正规等保测评机构名称以及地址一览表 序号:1 名称:山东新潮信息技术有限公司 地址:济南市二环东路东环国际广场A座2701室 序号:2 名称:联通数字科技有限公司山东省分公司 地址:山东省济南市市中…

【第二部分--Python之基础】02

二、运算符与程序流程控制 1、运算符 1.1 算术运算符 算术运算符用于组织整数类型和浮点类型的数据,有一元运算符和二元运算符之分。 一元算术运算符有两个:(正号)和-(负号),例如&#xff1…

Java是用什么语言写的?PHP呢?

Java底层是C语言。 Sun公司研发人员根据嵌入式软件的要求,对C进行了改造,去除了留在C的一些不太实用及影响安全的成分,并结合嵌入式系统的实时性要求,开发了一种称为Oak的面向对象语言。而后,经过迭代更新&#xff0c…

SV-7041VP SIP塑料壳sip音箱支持POE供电(白色弧形)

SV-7041VP SIP塑料壳sip音箱支持POE供电 (白色弧形) 一、描述18123651365微信 SV-7041VP是深圳锐科达电子有限公司的一款壁挂式SIP网络有源音箱,具有10/100M以太网接口,可将网络音源通过自带的功放和喇叭输出播放,可…

一些常用的正则(持续更新)

常用正则合集 1、匹配字符串中的所有标签&#xff0c;拆分字符串并且将标签作为单独一项 1、匹配字符串中的所有标签&#xff0c;拆分字符串并且将标签作为单独一项 /(<\/?.?>)/g splitStringByTags 函数接受一个参数 inputString&#xff0c;然后使用正则表达式/(&l…

QT的 纯代码+注释 学习笔记

QT学习笔记链接 更新到数据库操作为止..ing

微信怎么恢复聊天记录?效果惊人的3个方法

微信作为我们日常生活中最常用的即时通讯工具之一&#xff0c;承载着我们与亲友之间的重要沟通记录。然而&#xff0c;不可避免地会遇到误删聊天记录的情况&#xff0c;可能是因为手误、设备问题或其他原因。 当我们发现重要的聊天记录不见了&#xff0c;往往会感到焦虑和困扰…

题目:求和(蓝桥真题)

问题描述&#xff1a; 解题思路&#xff1a; 暴力超时&#xff0c;S变换得S a1*(a2.....an) a2*(a3....an) .... an-1*an。因此只需要求出括号内前缀和再相加求和即可。时间复杂度大大减小。 注意点&#xff1a;ans和前缀和的大小要开long long。 题解&#xff1a; #includ…

openGauss学习笔记-252 openGauss性能调优-使用Plan Hint进行调优-Scan方式的Hint

文章目录 openGauss学习笔记-252 openGauss性能调优-使用Plan Hint进行调优-Scan方式的Hint252.1 功能描述252.2 语法格式252.3 参数说明252.4 示例 openGauss学习笔记-252 openGauss性能调优-使用Plan Hint进行调优-Scan方式的Hint 252.1 功能描述 指明scan使用的方法&#…

论文:Term-Weighting Approaches in Automatic Text Retrieval翻译笔记(自动文本检索中的术语加权方法)

文章目录 论文标题&#xff1a;自动文本检索中的术语加权方法摘要1. 自动文本分析2. 词权重规范3. 术语加权实验4 推荐4.1 查询向量4.2 文档向量 论文标题&#xff1a;自动文本检索中的术语加权方法 论文链接&#xff1a;https://www.cs.colostate.edu/~howe/cs640/papers/sal…

javaWeb健康管理系统

一、引言 1.1 设计背景 紧张的工作节奏、教学和科研的压力、个人不良的工作生活习惯、以及伴随工作压力而来的家庭关系、人际关系紧张等因素使得高校群体成为慢性病的高发群体[1]。学生入学的定期体检&#xff0c;教职工人入职体检&#xff0c;以及所有学生和教职工的定期体检…

Leetcode 3.26

Leetcode Hot 100 一级目录1.每日温度 堆1.数组中的第K个最大元素知识点&#xff1a;排序复杂度知识点&#xff1a;堆的实现 2.前 K 个高频元素知识点&#xff1a;优先队列 一级目录 1.每日温度 每日温度 思路是维护一个递减栈&#xff0c;存储的是当前元素的位置。 遍历整个…

宁波中墙建材预制混凝土模板、铝合金模板、方木有啥区别?可送奉化鄞州海曙慈溪杭州湾前湾北仑

宁波中墙建材预制混凝土模板、铝合金模板、方木有啥区别&#xff1f;可送奉化鄞州海曙慈溪杭州湾前湾北仑 预制混凝土模板、铝合金模板和方木是三种不同的建筑模板材料&#xff0c;它们各自拥有独特的特性和用途。 预制混凝土模板&#xff1a;这种模板通常是由工厂预制的混凝土…

LeetCode-热题100:34. 在排序数组中查找元素的第一个和最后一个位置

题目描述 给你一个按照非递减顺序排列的整数数组 nums&#xff0c;和一个目标值 target。请你找出给定目标值在数组中的开始位置和结束位置。 如果数组中不存在目标值 target&#xff0c;返回 [-1, -1]。 你必须设计并实现时间复杂度为 O(log n) 的算法解决此问题。 示例 1…

各种编程语言的优缺点

当谈论编程语言时&#xff0c;我们进入了一个充满激情和争议的领域。每种编程语言都有其独特的优点和局限性&#xff0c;适用于不同的场景。让我们简要评价一些主流编程语言&#xff0c;探讨它们的优缺点和应用领域。 来来来,老铁们,男人女人都需要的技术活 拿去不谢:远程调试,…

LeetCode-热题100:33. 搜索旋转排序数组

题目描述 整数数组 nums 按升序排列&#xff0c;数组中的值 互不相同 。 在传递给函数之前&#xff0c;nums 在预先未知的某个下标 k&#xff08;0 < k < nums.length&#xff09;上进行了 旋转&#xff0c;使数组变为 [nums[k], nums[k1], ..., nums[n-1], nums[0], n…

第三十四章 配置服务器访问

文章目录 第三十四章 配置服务器访问添加应用程序路径应用程序路径配置参数 第三十四章 配置服务器访问 本页介绍如何配置 网关连接的应用程序。对于这些配置任务&#xff0c;可以使用 Web Gateway 管理页面。其他文章介绍了如何配置默认设置和服务器。 每个Web 应用程序都必…

Ubuntu 下统计文件数量的命令

参考:https://blog.csdn.net/kxh123456/article/details/123811580 查看当前目录下的文件数量&#xff08;不包含子目录中的文件&#xff09; ls -l|grep "^-"| wc -l实例展示&#xff1a;如下图所示&#xff0c;当前路径下&#xff0c;有2个json文件和2个文件夹&a…