Server - 配置 HuggingFace 工程数据 Transformers-CLI 格式与 Huggingface-CLI 格式的差别

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/141140498

免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。


Huggingface-CLI

Huggingface-CLI 是强大的命令行工具,简化与 Hugging Face 模型库的交互,通过这个工具,可以搜索、下载和管理各种预训练的自然语言处理模型,支持从模型下载到环境配置的全流程操作,允许用户快速访问 Hugging Face 的模型集合,执行模型转换,能够在命令行中配置和测试模型,有助于在不同项目中集成和应用最新的机器学习技术。

参考:https://huggingface.co/docs/huggingface_hub/en/guides/cli

常见的 HuggingFace 使用方式,来源于 ComfyUI_Florence2SAM2/utils/florence.py,如下:

from transformers import AutoModelForCausalLM, AutoProcessorFLORENCE_CHECKPOINT = "microsoft/Florence-2-base"
# ...
def load_florence_model(device: torch.device, checkpoint: str = FLORENCE_CHECKPOINT) -> Tuple[Any, Any]:with patch("transformers.dynamic_module_utils.get_imports", fixed_get_imports):model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device).eval()processor = AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)return model, processor

这种情况下,需要下载 microsoft/Florence-2-base 工程,HuggingFace 地址 https://huggingface.co/microsoft/Florence-2-base

使用 transformers-cli 也可以下载模型,即:

export HF_HOME="/path/to/your/custom/cache/dir"
transformers-cli download --trust-remote-code microsoft/Florence-2-base

如果没有使用过,需要先下载再使用,下载地址位于 HF_HOME 变量中,默认位于 ~/.cache/huggingface/transformers,即:

export HF_HOME="[you path]/huggingface/"

下载的文件格式,以 microsoft/Florence-2-base 为例,模型命名方式 models--microsoft--Florence-2-base,如下:

tree -h -L 3 huggingface/hub/models--microsoft--Florence-2-basehuggingface/hub/models--microsoft--Florence-2-base
├── [4.0K]  blobs
│   ├── [  34]  44784bc58d4cb18d3549ad71e062efcf032d9ef5
│   ├── [ 45K]  538110e8fd421258847d317cb62c40b9671d07a9
│   ├── [ 15K]  622f74997c5612ff68d0e55063714f291d159166
│   ├── [2.4K]  74a4482afd52515c89ae8d7d388a537a16f5d350
│   ├── [ 806]  85cd7be3568df661ad536b6ab20d59b08ba079ae
│   ├── [1.0M]  94a2f4fd50e976bda926c700291522ea1a79323f
│   ├── [1.3M]  ad0bcbeb288f0d1373d88e0762e66357f55b8311
│   ├── [443M]  b480ac374593b0dcb18ffa63b23213734e04cd43eab0d620d23e39708d4a4a7e
│   └── [124K]  e5ee65134d1a5e98357f8d500c9b9af5f8c00a08
├── [4.0K]  refs
│   └── [  40]  main
└── [4.0K]  snapshots└── [4.0K]  ee1f1f163f352801f3b7af6b2b96e4baaa6ff2ff├── [  52]  config.json -> ../../blobs/74a4482afd52515c89ae8d7d388a537a16f5d350├── [  52]  configuration_florence2.py -> ../../blobs/622f74997c5612ff68d0e55063714f291d159166├── [  52]  modeling_florence2.py -> ../../blobs/e5ee65134d1a5e98357f8d500c9b9af5f8c00a08├── [  52]  preprocessor_config.json -> ../../blobs/85cd7be3568df661ad536b6ab20d59b08ba079ae├── [  52]  processing_florence2.py -> ../../blobs/538110e8fd421258847d317cb62c40b9671d07a9├── [  76]  pytorch_model.bin -> ../../blobs/b480ac374593b0dcb18ffa63b23213734e04cd43eab0d620d23e39708d4a4a7e├── [  52]  tokenizer.json -> ../../blobs/ad0bcbeb288f0d1373d88e0762e66357f55b8311├── [  52]  tokenizer_config.json -> ../../blobs/44784bc58d4cb18d3549ad71e062efcf032d9ef5└── [  52]  vocab.json -> ../../blobs/94a2f4fd50e976bda926c700291522ea1a79323f

如果使用 huggingface-cli 下载 microsoft/Florence-2-base,即:

pip install -U huggingface_hub hf-transfer
huggingface-cli download --token [your token] microsoft/Florence-2-base --local-dir microsoft/Florence-2-base

输出格式,如下:

microsoft/
└── [4.0K]  Florence-2-base├── [ 444]  CODE_OF_CONDUCT.md├── [1.1K]  LICENSE├── [ 14K]  README.md├── [2.6K]  SECURITY.md├── [1.2K]  SUPPORT.md├── [2.4K]  config.json├── [ 15K]  configuration_florence2.py├── [124K]  modeling_florence2.py├── [ 806]  preprocessor_config.json├── [ 45K]  processing_florence2.py├── [443M]  pytorch_model.bin├── [1.3M]  tokenizer.json├── [  34]  tokenizer_config.json└── [1.0M]  vocab.json

两者的格式是有差异的:

  1. 使用 huggingface-cli 下载的绝对路径,传入 from_pretrained()
  2. 也可以,预先调用 Python 脚本,实现预下载。

如果缓存,则需要加载之后,再缓存,调用 save_pretrained() 函数,例如 model.save_pretrained()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/58263.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习(十九)】零代码开发之随机森林(Random Forest,RF)算法-Sentosa_DSML社区版

文章目录 一、算法概念二、算法原理(一)定义(二)袋外数据 三、随机森林的优缺点(一)优点(二)缺点 四、随机森林分类任务实现(一)数据加载(二&…

天地图实现海量聚合marker--uniapp后端详细实现

本文章详细的讲解了前后端代码来 实现uniapp天地图功能的实现 以及 后端海量数据的聚合查询 和网格算法实现思路。 并对当数据量增加和用户频繁请求接口时可能导致服务器负载过高做了前后端优化。 前端uniapp: 实现了天地图的行政区划边界/地图切换/比例尺/海量数…

数据结构预备知识---Java集合框架、List接口、包装类、装箱拆箱和泛型

文章目录 Java集合框架List接口包装类 和 装箱、拆箱泛型 Java集合框架 Java 集合框架 Java Collection Framework ,又被称为容器 container ,是定义在 java.util 包下的一组接口 interfaces和其实现类 classes .其主要表现为将多个元素 element 置于一个…

Oracle自动处理表空间不足脚本

关注过我的朋友们应该知道我分享过一些常用的监控脚本,其中最常用的就是监控表空间使用率的脚本,具体可以参考如下链接​; oracle常用监控脚本(纯干货,没有EMCC,ZABBIX也不怕)_oracle 监控及日常处理脚本-…

基于springboot+vue实现的免费体育馆场地预约系统 (源码+L文+ppt)4-099

基于springbootvue实现的免费体育馆场地预约系统 (源码L文ppt)4-099 4.1 系统总体结构设计 本系统是基于B/S架构的网站系统,分为系统前台和系统后台,前台主要是提供给注册用户和未注册登录的游客使用的,包括首页、场馆…

文案语音图片视频管理分析系统-视频矩阵

文案语音图片视频管理分析系统-视频矩阵 1.产品介绍 产品介绍方案 产品名称: 智驭视频矩阵深度分析系统(SmartVMatrix) 主要功能: 深度学习驱动的视频内容分析多源视频整合与智能分类高效视频检索与编辑实时视频监控与异常预警…

openlayers 封装加载本地geojson数据 - vue3

Geojson数据是矢量数据,主要是点、线、面数据集合 Geojson数据获取:DataV.GeoAtlas地理小工具系列 实现代码如下: import {ref,toRaw} from vue; import { Vector as VectorLayer } from ol/layer.js; import { Vector as VectorSource } fr…

OpenCV图像处理方法:腐蚀操作

腐蚀操作 前提 图像数据为二值的(黑/白) 作用 去掉图片中字上的毛刺 显示图片 读取一个图像文件,并在一个窗口中显示它。用户可以查看这个图像,直到按下任意键,然后程序会关闭显示图像的窗口 # cv2是OpenCV库的P…

【运维心得】U盘启动安装Dell服务器踩坑指南

目录 第一坑:没有键盘选择 第二坑:没有修改mount路径 最近碰到一台Dell服务器R720需要重新安装centos操作系统,由于之前已经配置好了Raid,这里就节省了配置磁盘的步骤。 以前都是通过光盘安装的,考虑到R720是支持U盘…

RAGChecker:显著超越RAGAS,一个精细化评估和诊断 RAG 系统的创新框架

RAG应用已经是当下利用大模型能力的典型应用代表,也获得了极大的推广,各种提升RAG性能的技术层出不穷。然而,如何全面、准确地评估 RAG 系统一直是一个挑战。传统评估方法存在诸多局限性:无法有效评估长文本回复、难以区分检索和生成模块的错误来源、与人…

Jmeter自动化实战

一、前言 由于系统业务流程很复杂,在不同的阶段需要不同的数据,且数据无法重复使用,每次造新的数据特别繁琐,故想着能不能使用jmeter一键造数据 二、创建录制模板 可参考:jmeter录制接口 首先创建一个录制模板 因为会有各种请求头,cookies,签名,认证信息等原因,导致手动复制…

JDK的下载

目录 JDK官网 Windows Ubantu 1.安装JDK 2.确定JDK版本 卸载OpenJDK Centos 1.下载JDK 2.安装JDK 3.验证JDK JDK官网 官网网址:Java Downloads | Oracle Windows 双击运⾏exe⽂件, 选择安装⽬录, 直⾄安装完成 Ubantu 1.安装JDK 更新软件包 sudo apt u…

【YOLO 系列】基于YOLO的工业自动化轴承缺陷检测系统【python源码+Pyqt5界面+数据集+训练代码】

前言 轴承作为机械设备中的关键部件,其性能直接影响到设备的稳定性和寿命。轴承缺陷的早期检测对于预防设备故障、减少维护成本和提高生产效率至关重要。然而,传统的轴承缺陷检测方法往往依赖于人工检查,这不仅效率低下,而且容易…

告别局域网限制:宝塔FTP结合内网穿透工具实现远程高效文件传输

文章目录 前言1. Linux安装Cpolar2. 创建FTP公网地址3. 宝塔FTP服务设置4. FTP服务远程连接小结 5. 固定FTP公网地址6. 固定FTP地址连接 前言 本文主要介绍宝塔FTP文件传输服务如何搭配内网穿透工具,实现随时随地远程连接局域网环境搭建的宝塔FTP文件服务并进行文件…

2024 前端面试题!!! html css js相关

常见的块元素、行内元素以及行内块元素,三者有何不同?​​​​​​​ HTML、XML、XHTML它们之间有什么区别?​​​​​​​ DOCTYPE(⽂档类型) 的作⽤ Doctype是HTML5的文档声明,通过它可以告诉浏览器,使用哪一个HTM…

业务逻辑与代码分离:规则引擎如何实现高效管理?

在这个快速变化、高度信息化的时代,软件系统和业务流程的复杂性日益增加。为了应对这种复杂性,越来越多的企业开始采用规则引擎来应对这种复杂性。我们这次结合JVS规则引擎来解析为什么越来越多人使用规则引擎。 规则引擎定义 规则引擎是一种用于管理和…

关键词排名技巧实用指南提升网站流量的有效策略

内容概要 在数字营销的世界中,关键词排名的影响不可小觑。关键词是用户在搜索引擎中输入的词语,通过精确选择和优化这些关键词,网站能够更轻松地被目标用户发现。提升关键词排名的第一步是了解基本概念,包括关键词的分类、重要性…

数据结构与算法——树与二叉树

树与二叉树 1.树的定义与相关概念 树的示例&#xff1a; 树的集合形式定义 Tree(K,R) 元素集合&#xff1a;K{ki|0<i<n,n>0,ki∈ElemType}&#xff08;n为树中结点数&#xff0c;n0则树为空&#xff0c;n>0则为非空树&#xff09; 对于一棵非空树&#xff0c…

51单片机应用开发---定时器(定时1S,LED以1S间隔闪烁)

实现目标 1、掌握定时器的配置流程&#xff1b; 2、掌握定时器初值的计算方法&#xff1b; 3、具体实现&#xff1a;&#xff08;1&#xff09;1mS中断1次&#xff0c;计数1000次中断&#xff0c;实现定时1S功能&#xff1b;&#xff08;2&#xff09;LED1每隔1S状态取反。 …

TCP/IP Attack Lab

网络拓扑&#xff1a; Task 1: SYN Flooding Attack 收到攻击之前&#xff0c;在Victim主机查看网络连接的状态: 在攻击之前使用User1主机(10.9.0.6)访问Victim(10.9.0.5)主机的 Telnet服务: Task 1.1: Launching the Attack Using Python 在Atacker上建立文件attack-1.py…