Server - 配置 HuggingFace 工程数据 Transformers-CLI 格式与 Huggingface-CLI 格式的差别

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/141140498

免责声明:本文来源于个人知识与公开资料,仅用于学术交流,欢迎讨论,不支持转载。


Huggingface-CLI

Huggingface-CLI 是强大的命令行工具,简化与 Hugging Face 模型库的交互,通过这个工具,可以搜索、下载和管理各种预训练的自然语言处理模型,支持从模型下载到环境配置的全流程操作,允许用户快速访问 Hugging Face 的模型集合,执行模型转换,能够在命令行中配置和测试模型,有助于在不同项目中集成和应用最新的机器学习技术。

参考:https://huggingface.co/docs/huggingface_hub/en/guides/cli

常见的 HuggingFace 使用方式,来源于 ComfyUI_Florence2SAM2/utils/florence.py,如下:

from transformers import AutoModelForCausalLM, AutoProcessorFLORENCE_CHECKPOINT = "microsoft/Florence-2-base"
# ...
def load_florence_model(device: torch.device, checkpoint: str = FLORENCE_CHECKPOINT) -> Tuple[Any, Any]:with patch("transformers.dynamic_module_utils.get_imports", fixed_get_imports):model = AutoModelForCausalLM.from_pretrained(checkpoint, trust_remote_code=True).to(device).eval()processor = AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)return model, processor

这种情况下,需要下载 microsoft/Florence-2-base 工程,HuggingFace 地址 https://huggingface.co/microsoft/Florence-2-base

使用 transformers-cli 也可以下载模型,即:

export HF_HOME="/path/to/your/custom/cache/dir"
transformers-cli download --trust-remote-code microsoft/Florence-2-base

如果没有使用过,需要先下载再使用,下载地址位于 HF_HOME 变量中,默认位于 ~/.cache/huggingface/transformers,即:

export HF_HOME="[you path]/huggingface/"

下载的文件格式,以 microsoft/Florence-2-base 为例,模型命名方式 models--microsoft--Florence-2-base,如下:

tree -h -L 3 huggingface/hub/models--microsoft--Florence-2-basehuggingface/hub/models--microsoft--Florence-2-base
├── [4.0K]  blobs
│   ├── [  34]  44784bc58d4cb18d3549ad71e062efcf032d9ef5
│   ├── [ 45K]  538110e8fd421258847d317cb62c40b9671d07a9
│   ├── [ 15K]  622f74997c5612ff68d0e55063714f291d159166
│   ├── [2.4K]  74a4482afd52515c89ae8d7d388a537a16f5d350
│   ├── [ 806]  85cd7be3568df661ad536b6ab20d59b08ba079ae
│   ├── [1.0M]  94a2f4fd50e976bda926c700291522ea1a79323f
│   ├── [1.3M]  ad0bcbeb288f0d1373d88e0762e66357f55b8311
│   ├── [443M]  b480ac374593b0dcb18ffa63b23213734e04cd43eab0d620d23e39708d4a4a7e
│   └── [124K]  e5ee65134d1a5e98357f8d500c9b9af5f8c00a08
├── [4.0K]  refs
│   └── [  40]  main
└── [4.0K]  snapshots└── [4.0K]  ee1f1f163f352801f3b7af6b2b96e4baaa6ff2ff├── [  52]  config.json -> ../../blobs/74a4482afd52515c89ae8d7d388a537a16f5d350├── [  52]  configuration_florence2.py -> ../../blobs/622f74997c5612ff68d0e55063714f291d159166├── [  52]  modeling_florence2.py -> ../../blobs/e5ee65134d1a5e98357f8d500c9b9af5f8c00a08├── [  52]  preprocessor_config.json -> ../../blobs/85cd7be3568df661ad536b6ab20d59b08ba079ae├── [  52]  processing_florence2.py -> ../../blobs/538110e8fd421258847d317cb62c40b9671d07a9├── [  76]  pytorch_model.bin -> ../../blobs/b480ac374593b0dcb18ffa63b23213734e04cd43eab0d620d23e39708d4a4a7e├── [  52]  tokenizer.json -> ../../blobs/ad0bcbeb288f0d1373d88e0762e66357f55b8311├── [  52]  tokenizer_config.json -> ../../blobs/44784bc58d4cb18d3549ad71e062efcf032d9ef5└── [  52]  vocab.json -> ../../blobs/94a2f4fd50e976bda926c700291522ea1a79323f

如果使用 huggingface-cli 下载 microsoft/Florence-2-base,即:

pip install -U huggingface_hub hf-transfer
huggingface-cli download --token [your token] microsoft/Florence-2-base --local-dir microsoft/Florence-2-base

输出格式,如下:

microsoft/
└── [4.0K]  Florence-2-base├── [ 444]  CODE_OF_CONDUCT.md├── [1.1K]  LICENSE├── [ 14K]  README.md├── [2.6K]  SECURITY.md├── [1.2K]  SUPPORT.md├── [2.4K]  config.json├── [ 15K]  configuration_florence2.py├── [124K]  modeling_florence2.py├── [ 806]  preprocessor_config.json├── [ 45K]  processing_florence2.py├── [443M]  pytorch_model.bin├── [1.3M]  tokenizer.json├── [  34]  tokenizer_config.json└── [1.0M]  vocab.json

两者的格式是有差异的:

  1. 使用 huggingface-cli 下载的绝对路径,传入 from_pretrained()
  2. 也可以,预先调用 Python 脚本,实现预下载。

如果缓存,则需要加载之后,再缓存,调用 save_pretrained() 函数,例如 model.save_pretrained()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/58263.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【机器学习(十九)】零代码开发之随机森林(Random Forest,RF)算法-Sentosa_DSML社区版

文章目录 一、算法概念二、算法原理(一)定义(二)袋外数据 三、随机森林的优缺点(一)优点(二)缺点 四、随机森林分类任务实现(一)数据加载(二&…

天地图实现海量聚合marker--uniapp后端详细实现

本文章详细的讲解了前后端代码来 实现uniapp天地图功能的实现 以及 后端海量数据的聚合查询 和网格算法实现思路。 并对当数据量增加和用户频繁请求接口时可能导致服务器负载过高做了前后端优化。 前端uniapp: 实现了天地图的行政区划边界/地图切换/比例尺/海量数…

数据结构预备知识---Java集合框架、List接口、包装类、装箱拆箱和泛型

文章目录 Java集合框架List接口包装类 和 装箱、拆箱泛型 Java集合框架 Java 集合框架 Java Collection Framework ,又被称为容器 container ,是定义在 java.util 包下的一组接口 interfaces和其实现类 classes .其主要表现为将多个元素 element 置于一个…

Oracle自动处理表空间不足脚本

关注过我的朋友们应该知道我分享过一些常用的监控脚本,其中最常用的就是监控表空间使用率的脚本,具体可以参考如下链接​; oracle常用监控脚本(纯干货,没有EMCC,ZABBIX也不怕)_oracle 监控及日常处理脚本-…

JavaEE企业级开发技术-利用Mybatis完成CRUD

参考书籍《JavaEE企业级开发技术》-黑马程序员 利用Mybatis框架实现客户&#xff08;银行账户&#xff09;信息&#xff08;tb_cust:id\cname\csex\cbirth\cfavs\ctel\caddr&#xff09;的查询&#xff0c;新增&#xff0c;更新及删除的功能。 pom.xml <?xml version&qu…

解析孤独症早期症状表现,早发现早干预

孤独症&#xff0c;作为一种神经发育障碍性疾病&#xff0c;给众多家庭带来了极大的困扰。在孩子成长过程中&#xff0c;早期发现孤独症的症状并及时进行干预&#xff0c;对其未来的成长与发展起着至关重要的作用。 于孤独症早期&#xff0c;在社交方面常常会呈现出一些显著的症…

基于springboot+vue实现的免费体育馆场地预约系统 (源码+L文+ppt)4-099

基于springbootvue实现的免费体育馆场地预约系统 &#xff08;源码L文ppt&#xff09;4-099 4.1 系统总体结构设计 本系统是基于B/S架构的网站系统&#xff0c;分为系统前台和系统后台&#xff0c;前台主要是提供给注册用户和未注册登录的游客使用的&#xff0c;包括首页、场馆…

问:SQL中的通用函数及用法?

SQL函数是在SQL语句中使用的预定义的计算工具&#xff0c;可以对一列数据进行操作并返回一个单一的结果。这些函数大致可以分为两类&#xff1a;Aggregate函数和Scalar函数。Aggregate函数对一组值执行计算&#xff0c;并返回单个值&#xff0c;如求和、平均值、最大值和最小值…

构建简单的梯度提升决策树(GBDT)模型:MATLAB 实现详解

梯度提升决策树&#xff08;Gradient Boosting Decision Trees&#xff0c;GBDT&#xff09;是一种强大的集成学习方法&#xff0c;广泛用于回归和分类任务。GBDT 的思想是通过串联多个弱学习器&#xff08;通常是决策树&#xff09;&#xff0c;逐步优化预测残差&#xff0c;从…

文案语音图片视频管理分析系统-视频矩阵

文案语音图片视频管理分析系统-视频矩阵 1.产品介绍 产品介绍方案 产品名称&#xff1a; 智驭视频矩阵深度分析系统&#xff08;SmartVMatrix&#xff09; 主要功能&#xff1a; 深度学习驱动的视频内容分析多源视频整合与智能分类高效视频检索与编辑实时视频监控与异常预警…

[LeetCode] 39. 组合总和

题目描述&#xff1a; 给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target &#xff0c;找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合 &#xff0c;并以列表形式返回。你可以按 任意顺序 返回这些组合。 candidates 中的 同一个 数字可以…

夯实根基之MySql从入门到精通(一)

夯实根基之MySql从入门到精通&#xff08;一&#xff09; 引言1. 使用MySQL数据库和表2. MySql 数据类型2.1. 数字类型2.2. 日期和时间类型2.3. 字符串类型2.4. JSON类型2.5. 其他类型 3. MySql运算符3.1. 数学运算符3.2.比较运算符3.3.逻辑运算符3.4. 位运算符3.5.字符串运算符…

openlayers 封装加载本地geojson数据 - vue3

Geojson数据是矢量数据&#xff0c;主要是点、线、面数据集合 Geojson数据获取&#xff1a;DataV.GeoAtlas地理小工具系列 实现代码如下&#xff1a; import {ref,toRaw} from vue; import { Vector as VectorLayer } from ol/layer.js; import { Vector as VectorSource } fr…

OpenCV图像处理方法:腐蚀操作

腐蚀操作 前提 图像数据为二值的&#xff08;黑/白&#xff09; 作用 去掉图片中字上的毛刺 显示图片 读取一个图像文件&#xff0c;并在一个窗口中显示它。用户可以查看这个图像&#xff0c;直到按下任意键&#xff0c;然后程序会关闭显示图像的窗口 # cv2是OpenCV库的P…

【运维心得】U盘启动安装Dell服务器踩坑指南

目录 第一坑&#xff1a;没有键盘选择 第二坑&#xff1a;没有修改mount路径 最近碰到一台Dell服务器R720需要重新安装centos操作系统&#xff0c;由于之前已经配置好了Raid&#xff0c;这里就节省了配置磁盘的步骤。 以前都是通过光盘安装的&#xff0c;考虑到R720是支持U盘…

RAGChecker:显著超越RAGAS,一个精细化评估和诊断 RAG 系统的创新框架

RAG应用已经是当下利用大模型能力的典型应用代表&#xff0c;也获得了极大的推广&#xff0c;各种提升RAG性能的技术层出不穷。然而,如何全面、准确地评估 RAG 系统一直是一个挑战。传统评估方法存在诸多局限性:无法有效评估长文本回复、难以区分检索和生成模块的错误来源、与人…

Jmeter自动化实战

一、前言 由于系统业务流程很复杂,在不同的阶段需要不同的数据,且数据无法重复使用,每次造新的数据特别繁琐,故想着能不能使用jmeter一键造数据 二、创建录制模板 可参考:jmeter录制接口 首先创建一个录制模板 因为会有各种请求头,cookies,签名,认证信息等原因,导致手动复制…

JDK的下载

目录 JDK官网 Windows Ubantu 1.安装JDK 2.确定JDK版本 卸载OpenJDK Centos 1.下载JDK 2.安装JDK 3.验证JDK JDK官网 官网网址&#xff1a;Java Downloads | Oracle Windows 双击运⾏exe⽂件, 选择安装⽬录, 直⾄安装完成 Ubantu 1.安装JDK 更新软件包 sudo apt u…

【YOLO 系列】基于YOLO的工业自动化轴承缺陷检测系统【python源码+Pyqt5界面+数据集+训练代码】

前言 轴承作为机械设备中的关键部件&#xff0c;其性能直接影响到设备的稳定性和寿命。轴承缺陷的早期检测对于预防设备故障、减少维护成本和提高生产效率至关重要。然而&#xff0c;传统的轴承缺陷检测方法往往依赖于人工检查&#xff0c;这不仅效率低下&#xff0c;而且容易…

taro微信小程序assets静态图片不被编译成base64

taro 的微信小程序项目&#xff0c;不希望把在样式文件&#xff08; css 、 less 、 scss &#xff09;中引入的 assets/images 文件夹下的图片编译成 base64 。 可以在config/index.ts文件中的mini进行配置。 参考&#xff1a;taro小程序打包时静态图片无法关闭base64转换 …