优雅的从HuggingFace下载模型

1. 下载全部文件

以下都以下载bloom模型为例

git lfs install
git lfs clone https://huggingface.co/bigscience/bloom-7b1

这种方式下载会显示下载的进度及网速,因此一般推荐使用这种方式下载。如果直接使用git clone https://huggingface.co/bigscience/bloom-7b1 方式来下载,不会显示任何下载信息。

2. 选择性下载

由于目前抱抱脸上的模型一般都包括多种类型,如safetensor .pt tensorflow 等格式,使用上述介绍的方式会将所有模型都下载下来,而在模型较大的情况下,会很费时间,并且其他格式的模型我们也用不到,因此可以通过以下方式只选择我们所需的文件下载

step1: 下载所有的小文件

git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/bigscience/bloom-7b1

需要注意,GIT_LFS_SKIP_SMUDGE=1 和后面的 git clone 必须在同一行才能生效,表示不下载大文件(小文件、大文件的区分依据是有没有使用git lfs),如果确实想将两者分开,在shell中使用export GIT_LFS_SKIP_SMUDGE=1,然后在clone也可以。这里需要注意,如果我们使用了export GIT_LFS_SKIP_SMUDGE=1命令后,它会一直生效,那么下次使用方法1介绍的方式来下载也是只下载小文件,因此记得查看GIT_LFS_SKIP_SMUDGE的状态。

此时git会下载所有的小文件,比如 tokenizer.json ,但是对于git lfs存储的大文件,只会存储一个文本的pointer file(空目录)

step2: 手动pull需要的模型文件
这时候我们需要先进入到模型所在目录文件夹里,然后按如下格式下载所有以.bin结尾的模型文件,这里也可以直接写模型文件名。

cd bloom-7b1
git lfs pull --include="*.bin"

3. 使用镜像

国内目前huggingface使用体验很差,很多情况下都无法下载。如果你有🪜请忽略本方法

在clone模型的时候,将链接中 huggingface.co 直接替换为域名 hf-mirror.com。使用浏览器或者 wget -ccurl -Laria2c 等命令行方式即可。下载需登录的模型需命令行添加 --header hf_*** 参数,其中hf_*** 是 access token,token 在 HF官网 获取。

4. 参考

Huggingface 镜像站
git lfs使用(huggingface下载大模型文件)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/666479.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【云计算】opentack的高级服务部署与调优

opentack的高级服务部署与调优 swift 对象存储 安装 Swift 服务。安装完成后,使用命令创建一个名叫 examcontainer 的容器,将 cirros-0.3.4-x86_64-disk.img 镜像上传到 examcontainer 容器中,并 设置分段存放,每一段大小为 10…

js数组和字符串之间的转换方式以及数组的一些方法

一、数组和字符串之间的转换方式 1)将字符串切割成字符串数组—stringObject.split(separator, howmany) seperator-----字符串、正则表达式,必需 howmany------指定返回的数组的最大长度,可省略,省略后全量返回 源代码 var str&q…

Linux内核与驱动面试经典“小”问题集锦(1)

笔者混迹职场这么多年来换了不少工作。头些年做的是单片机工程师,后来转入了Linux。转入Linux后,一开始做BSP和驱动工程师(当然后来应用工程师的事也没少干),近几年来专做了Linux内核与系统工程师。由打转入Linux后&am…

c++阶梯之类与对象(一)

目录 1.面向过程与面向对象 c语言的视角: c的视角 2. 类的引入 3. 类的定义 3.1 类的两种定义方式 3.2 成员变量如何命名 4. 类的访问限定符与封装 4.1 访问限定符 4.2 封装 5. 类的作用域 6. 类的实例化 7. 类对象模型 7.1 怎么计算一个类对象的…

redis布隆过滤器(Bloom)详细使用教程

文章目录 布隆过滤器1. 原理2. 结构和操作3. 特点和应用场景4. 缺点和注意事项 应用-redis插件布隆过滤器使用详细过程安装以及配置springboot项目使用redis布隆过滤器下面是布隆过滤器的一些基础命令 扩展 布隆过滤器 Bloom 过滤器是一种概率型数据结构,用于快速判…

解决方案必备PPT网站

解决方案工作过程中,必备的技能: 1.word排版(投标文件的编写等...) 2.PPT汇报(如何快速找到你需要的模版,并且输入汇报资料) 免费(免费使用,同时也不需要注册) 1.优…

【ETOJ P1013】小e的书架 题解(二分查找)

题目描述 小e要把 n n n 本规格相同的书放进书架里,对于每一本书,他可以横着放也可以竖着放(不能斜着放)。 书的宽度为 1 1 1,高度为 h h h,书架的高度为 t t t,意味着如果你横着放&#…

CUDA/TensorRT部署知识点

CUDA相关: 1、CUDA核函数嵌套核函数的用法多吗? 答:这种用法非常少,主要是因为启动一个kernel本身就有一定延迟,会造成执行的不连续性。 2、如下代码里的 grid/block 对应硬件上的 SM 的关系是什么? 答:首先需要理解grid/block是软件层的概念,而SM是硬件层的概念。所…

前端学习之路(4) vue2和vue3的区别

一. 根节点不同 vue2中必须要有根标签vue3中可以没有根标签,会默认将多个根标签包裹在一个fragement虚拟标签中,有利于减少内存。 二. 组合式API和选项式API 在vue2中采用选项式API,将数据和函数集中起来处理,将功能点切割了当…

C语言如何控制输出最⼩宽度?

一、问题 数据的美观性问题,不仅需要使⽤标志进⾏占位,还需要对宽度等进⾏控制。那么如何控制宽度呢? 二、解答 控制宽度的问题,处理起来其实很简单。如果输出数据的实际位数⼤于定义的宽度, 则按实际位数输出&#x…

springboot151基于web的人力资源管理系统的设计与实现

人力资源管理系统的设计与实现 摘 要 传统信息的管理大部分依赖于管理人员的手工登记与管理,然而,随着近些年信息技术的迅猛发展,让许多比较老套的信息管理模式进行了更新迭代,员工信息因为其管理内容繁杂,管理数量繁…

SSH免密切换服务器案例-ssh协议(公钥和私钥)

公钥和私钥理解 公钥提供加密,私钥解密,公钥可以共享,私钥不可以。举例公钥相当于锁头,可以给别人用,钥匙相当于私钥,只能开自己发出去的锁头,也就是私钥和公钥成对,私钥只能解密对…

~小青蛙跳台阶~C语言~刷题

引言 这次,我们要与一只活泼可爱的小青蛙合作,并引导它跳台阶。小青蛙的体力十分充沛,尤其喜欢跳跃,让它作为我们的助手,来看看有几种跳跃指定台阶数的方法。 本文会涉及到函数递归的知识,后续我会更新讲解…

清华系2B模型杀出,性能吊打LLaMA-13B

2 月 1 日,面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM,主体语言模型 MiniCPM-2B 仅有 24 亿(2.4B)的非词嵌入参数量。 在综合性榜单上与 Mistral-7B 相近,在中文、数学、代码能力表现…

基于深度卷积神经网络的图像配准(DeepSlice)

文章目录 一、基于DeepSlice的切片配准1.1、研究现状1.2、网络模型(DeepSlice)1.3、优化策略1.3.1、开发了一个基准数据集(GT)1.3.2、构建了阶段二的训练数据集(增强训练)1.3.3、角度集成 切割索引&#x…

【Linux】统信服务器操作系统V20 1060a-AMD64 Vmware安装

目录 ​编辑 一、概述 1.1 简介 1.2 产品特性 1.3 镜像下载 二、虚拟机安装 一、概述 1.1 简介 官网:统信软件 – 打造操作系统创新生态 统信服务器操作系统V20是统信操作系统(UOS)产品家族中面向服务器端运行环境的,是一款…

Linux驱动 SPI子系统

1、SPI协议 SPI(Serial Peripheral Interface)是一种同步串行数据通信协议,通常用于连接微控制器和外部设备,如传感器、存储器、显示器等。SPI协议使用四根线进行通信,包括时钟线(SCLK)、数据输…

CSS要点总结

一、CSS 快速入门 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>css 快速入门</title><!-- 解读1. 在 head 标签内&#xff0c;出现了 <style type"text/css"></style…

Redis 的持久化机制是什么?各自的优缺点?

Redis 提供两种持久化机制 RDB&#xff08;默认&#xff09; 和 AOF 机制: RDB&#xff1a;是Redis DataBase缩写快照 RDB是Redis默认的持久化方式。按照一定的时间将内存的数据以快照的形式保存到硬盘中&#xff0c;对应产生的数据文件为dump.rdb。通过配置文件中的save参数来…

ChatLaw:基于LLaMA微调的法律大模型

文章目录 动机数据组成模型框架模型评估 北大团队发布首个的中文法律大模型落地产品ChatLaw&#xff0c;为大众提供普惠法律服务。模型支持文件、语音输出&#xff0c;同时支持法律文书写作、法律建议、法律援助推荐。 github地址&#xff1a;https://github.com/PKU-YuanGroup…