小样本学习(2)--LibFewShot使用

目录

一、LibFewShot安装

1、LibFewShot代码仓库

2、配置环境 

3、测试安装是否正确

二、LibFewShot结构

1、config文件夹

2、core文件夹

3、reproduce文件夹

4、results文件夹 

三、如何训练自己的数据集

1、调用主配置文件

2、修改主配置文件


一、LibFewShot安装

1、LibFewShot代码仓库

cd ~
git clone https://github.com/RL-VIG/LibFewShot.git

2、配置环境 

(1)创建anaconda环境

cd <path-to-LibFewShot> # 进入clone好的LibFewShot目录
conda create -n libfewshot python=3.7
conda activate libfewshot

(2) 安装pytorch和torchvision

https://pytorch.org/get-started/locally/

(3)pip安装依赖包

cd <path-to-LibFewShot> # cd 进入`LibFewShot` 目录
pip install -r requirements.txt

安装包依赖如下:

numpy >= 1.19.5
pandas >= 1.1.5
Pillow >= 8.1.2
PyYAML >= 5.4.1
scikit-learn >= 0.24.1
scipy >= 1.5.4
tensorboard >= 2.4.1
torch >= 1.5.0
torchvision >= 0.6.0
python >= 3.6.0

3、测试安装是否正确

(1)修改run_trainer.py中config设置一行为

config = Config("./config/test_install.yaml").get_config_dict()

(2) 修改config/headers/data.yaml中的data_root为当前数据集路径,博主使用阿里云GPU,数据集在根目录下,根目录为../

(3)执行run_trainer.py

python run_trainer.py 

(4)若可以训练成功,跑通1个epoch则安装正确。

二、LibFewShot结构

1、config文件夹

        config文件夹,主要为LibFewShot内置的模型的初始化模型文件yaml ,及模型中的backbone,classifier和header文件。

        下属若干文件的yaml中,首先调用yaml文件中罗列的参数,如果没有再去访问includes中包括的data.yaml,device.yaml等文件。

        下属classfiers文件夹中,其中基于微调的方法,如SKD,RFS是需要添加预训练的emb_func和cls_classfier路径的,这一部分路径来源于reproduce文件夹的md文件中有一定说明。

        下属headers文件夹中包含五个yaml文件,分别是数据集,硬件设备,保存模型与生成日志,模型预训练、支持集参数、batchsize等,优化器和学习方式。

2、core文件夹

        core文件夹中为核心模块,实现了模型架构,损失函数和优化器的内部结构。另外有train和test训练所调用的内部类架构。

        简而言之,core文件实现基本函数,和基本的类,包括损失函数,神经网络,数据集的构建,而config文件夹作为core文件中若干函数,类的参数。

3、reproduce文件夹

        值得一提的是,reproduce文件夹下的readme.md,这个文件介绍了不同的神经网络在预训练模型上的训练分数,对比了5-way 1-shot和5-way 5-shot,miniimagenet和tieredimagenet,conv64、resnet12和resnet18在不同网络的分数。

        其中一般来说,在tieredimagenet训练集上训练的分数高,resnet比conv网络显著提升,resnet12在有些情况下甚至高于resnet18,所以要注意看一下对比实验的训练效果。

        下面给出readme.md的一部分参考。

        另外,在微调模型上,再加上resnet网络模型,可能会导致显存爆炸,所以需要降低batchsize。 

        reproduce中存在若干文件夹,这些是当时训练预训练模型时的参数,可以进行参考,但是不能照搬照抄,甚至你改了若干路径之后,也是存在一些无法修改的问题,暂时没有查出来问题。

4、results文件夹 

        results文件夹,显而易见,就是在模型训练之后保存模型checkpoints和日志log的地方。

三、如何训练自己的数据集

1、调用主配置文件

        参考上面第一条中测试安装是否正确这一点,我们将修改run_trainer中添加config的这一行,可以先使用config文件夹下的一个网络的初始化的config.yaml调用。如博主调用skd.yaml。

2、修改主配置文件

(1)如果对于非微调方法的网络,是没有cls和emb路径的,所以不用考虑,对于微调方法来说,如果基于fiercedimage数据集的,在reproduce文件夹下的readme中会介绍这两者的预训练模型,而miniimage数据集没有处理这两者的预训练模型(所以优先考虑使用fiercedimage数据集的预训练模型)。

(2)修改神经网络预训练模型为指定路径,这个要么在config/model.yaml,要么文件里已经写出可以直接修改,(要同时修改还是修改一个,记住yaml里罗列的参数优先,如果找不到该参数才会找includes中的yaml文件)

(3)修改config/data.yaml文件夹中的数据集路径为所训练数据集路径

(4)观察主配置文件夹中的backbone,classfier是否对应预训练模型的要求,若不满足则修改

(5)观察config/model.yaml文件夹中的way_num、shot_num、query_num是否满足条件,前两者就是K way-C shot的K和C,query_num是指每次运用支持集时用了多少张测试图片来评判,test_way、test_shot、test_query一般来说跟上面相同即可

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/116967.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python自动化测试工具selenium

概述 selenium是网页应用中最流行的自动化测试工具&#xff0c;可以用来做自动化测试或者浏览器爬虫等。官网地址为&#xff1a;Selenium。相对于另外一款web自动化测试工具QTP来说有如下优点&#xff1a; 免费开源轻量级&#xff0c;不同语言只需要一个体积很小的依赖包支持…

Html -- 文字时钟

Html – 文字时钟 文字时钟&#xff0c;之前在Android上实现了相关效果&#xff0c;闲来无事&#xff0c;弄个网页版的玩玩。。。直接上代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><titl…

功能基础篇8——图形用户界面

图形用户界面 Graphics User Interface&#xff0c;GUI&#xff0c;图形用户界面 Ubuntu GUI Command Line Interface&#xff0c;CLI&#xff0c;命令行界面 Centos CLI tkinter GUI&#xff0c;Python标准库 from tkinter import ttk, Tkroot Tk() frm ttk.Frame(…

Appium移动端自动测试框架,如何入门?

Appium是一个开源跨平台移动应用自动化测试框架。 既然只是想学习下Appium如何入门&#xff0c;那么我们就直奔主题。文章结构如下&#xff1a; 1、为什么要使用Appium&#xff1f; 2、如何搭建Appium工具环境?(超详细&#xff09; 3、通过demo演示Appium的使用 4、Appium如何…

[Ubuntu 18.04] 搭建文件夹共享之Samba服务器

Samba是一个开源项目,允许Windows用户在Linux和Unix系统上进行文件共享。 Samba服务器是一个可以让Linux或Unix系统在网络上充当Windows NT/2000/XP/2003等网络操作系统的共享资源的软件。它允许用户通过SMB/CIFS协议在Linux或Unix系统与Windows共享资源。 Samba服务器的主要…

【C#进阶】C#语法中一些常用知识点总结

文章目录 1.三目运算符2.循环控制语句 (for while do…while foreach)3.访问修饰符4.静态方法和非静态方法5.数组、字典和其他集合类型1. 数组&#xff08;Array&#xff09;2. 列表&#xff08;List&#xff09;3. 字典&#xff08;Dictionary&#xff09;4. 队列&#xff08;…

EtherCAT从站转modbus RTU协议转换网关用modbus slave测试的方法

远创智控YC-ECT-RTU通讯网关具有EtherCAT从站功能&#xff0c;主要功能是将EtherCAT网络和Modbus-RTU网络连接起来。在使用方面&#xff0c;本网关可以连接到EtherCAT总线中作为从站使用&#xff0c;也可以连接到Modbus-RTU总线中作为主站或从站使用。这款通讯网关还支持多种不…

c++ qt连接操作sqlite

qt客户端编程,用到数据库的场景不多,但是部分项目还是需要数据库来保存同步数据,客户端用到的数据库,一般是sqlite。 Qt提供了数据库模块,但是qt本身的数据库模块并不好用,会有各种问题, 建议大家不要,可以自己封装数据库的操作。本篇博客介绍qt连接操作sqlite。 sqlit…

nmp、yarn、yeoman、bower是什么东西?

1&#xff1a;npm&#xff08;Node Package Manager&#xff09;&#xff1a;npm 是 Node.js 的包管理器&#xff0c;用于安装、管理和共享 JavaScript 包。它是 JavaScript 生态系统中最常用的包管理工具&#xff0c;可以轻松地安装和管理项目的依赖项。 2&#xff1a;Yarn&a…

【python VS vba(系列2)】 python和vba读写EXCEL文件的方式比较 (建设ing)

目录 1 用VBA读写EXCEL文件 1.1 用VBA读写&#xff0c;本工作簿workbook里的特定sheet的特定内容 1.1.1 EXCEL表内内容访问 1.1.2 注意点 1.1.3 代码 1.2 用VBA读写本工作簿workbook里的所有sheet的内容 1.2.1 麻烦之处 1.2.2 方法&#xff0c;如何指定EXCEL里的内容…

【珠峰 WEB 前端架构师课程】学习笔记 100 篇(完结)

该课程是珠峰姜文老师讲的&#xff0c;个人觉得讲的很不错&#xff0c;一路在 b 站学习下来做了 100 篇的学习笔记&#xff0c;收获颇丰。 该课程主要讲了高阶函数、函数柯里化、发布订阅模式、观察者模式、从 0 到 1 实现一个 promise&#xff0c;co 库的实现、eventloop 执行…

apk反编译修改教程系列-----任意修改apk版本号 版本名 防止自动更新【二】

往期教程 apk反编译修改教程系列-----修改apk应用名称 任意修改名称 签名【一】 上期演示了下如何修改apk的名称。相信只要用心的友友都会操作了。这次讲解下如何修改软件的版本号与版本名字的操作 名词浅释&#xff1a; 在apk反编译中的VersionCode---是版本号的意思.是一…

Vue3 实现页面简单的CRUD

请求拦截器 import axios from axios; import { ElNotification, ElMessageBox, ElMessage, ElLoading } from element-plus; import { saveAs } from file-saver; import store from /store; import { getToken } from /utils/token; import errorCode from /utils/errorCode…

基于斑点鬣狗算法的无人机航迹规划-附代码

基于斑点鬣狗算法的无人机航迹规划 文章目录 基于斑点鬣狗算法的无人机航迹规划1.斑点鬣狗搜索算法2.无人机飞行环境建模3.无人机航迹规划建模4.实验结果4.1地图创建4.2 航迹规划 5.参考文献6.Matlab代码 摘要&#xff1a;本文主要介绍利用斑点鬣狗算法来优化无人机航迹规划。 …

LuatOS-SOC接口文档(air780E)-- ioqueue - io序列操作

ioqueue.init(hwtimer_id,cmd_cnt,repeat_cnt) 初始化一个io操作队列 参数 传入值类型 解释 int 硬件定时器id&#xff0c;默认用0&#xff0c;根据实际MCU确定&#xff0c;air105为0~5&#xff0c;与pwm共用&#xff0c;同一个通道号不能同时为pwm和ioqueue int 一个完…

Java 基础 面试 多线程

1.多线程 1.1 线程&#xff08;Thread&#xff09; 线程时一个程序内部的一条执行流程&#xff0c;java的main方法就是由一条默认的主线程执行 1.2 多线程 多线程是指从软硬件上实现的多条执行流程的技术&#xff08;多条线程由CPU负责调度执行&#xff09; 许多平台都离不开多…

【Matlab笔记_17】查找数组中相同元素

案例一&#xff1a;找到数组中相同元素所在位置索引 方法&#xff1a;使用unique函数用于找到唯一的元素和它们在原数组中的索引。然后&#xff0c;histc函数用于计算每个唯一元素的出现次数&#xff0c;并通过ismember函数找到重复元素在原数组中的索引。最后&#xff0c;通过…

动手学深度学习—网络中的网络NiN(代码详解)

目录 1. NiN块2. NiN模型3. 训练模型 LeNet、AlexNet和VGG都有一个共同的设计模式&#xff1a; 通过一系列的卷积层与汇聚层来提取空间结构特征&#xff1b;然后通过全连接层对特征的表征进行处理。 如果在过程的早期使用全连接层&#xff0c;可能会完全放弃表征的空间结构。 …

Day 1 Vue 页面框架

现在前端框架越来越像后端了&#xff0c;特别是TypeScript这样的语言出现后&#xff0c;开发前端的体验跟后端渐渐接近了。当然&#xff0c;作为一个后端&#xff0c;直接上手前端&#xff0c;还是有很多坑要填的。 本次开发&#xff0c;前端页面框架直接选择Vue。原因很简单&…

深入浅出排序算法之归并排序

目录 1. 归并排序的原理 1.1 二路归并排序执行流程 2. 代码分析 2.1 代码设计 3. 性能分析 4. 非递归版本 1. 归并排序的原理 “归并”一词的中文含义就是合并、并入的意思&#xff0c;而在数据结构中的定义是将两个或者两个以上的有序表组合成一个新的有序表。 归并排序…