如何快速下载huggingface模型

Huggingface国内开源镜像
https://hf-mirror.com/
上面总结了多种从Huggingface上下载模型的方法,如下图。
在这里插入图片描述

方法一:使用huggingface官网提供的huggingface-cli工具

官方详解地址https://huggingface.co/docs/huggingface_hub/guides/download
1. 安装依赖
创建项目的虚拟环境后,激活该环境,并执行:

pip install -U huggingface_hub

可以运行huggingface-cli download --helps命令来查看download功能的参数,如下图
在这里插入图片描述
以下载zjunlp/knowlm-13b-ie模型为例,模型地址:https://huggingface.co/zjunlp/knowlm-13b-ie/tree/main,运行以下命令

huggingface-cli download --resume-download --local-dir-use-symlinks False zjunlp/knowlm-13b-ie --local-dir D:\Code\KnowLM\knowlm-13b-ie

或者以下命令

huggingface-cli download --resume-download zjunlp/knowlm-13b-ie --local-dir D:\Code\KnowLM\knowlm-13b-ie --local-dir-use-symlinks False --token hf_*****

这条命令会将zjunlp/knowlm-13b-ie模型下载到本地的D:\Code\KnowLM\test路径下
支持多线程下载,如图
在这里插入图片描述
比直接从项目地址网页https://huggingface.co/zjunlp/knowlm-13b-ie/tree/main下载方便快捷得多!
方法一本质上还是从huggingface官网上下载,因此需要科学上网。
2. 基本命令示例

export HF_ENDPOINT=https://hf-mirror.com

3. 下载需要登录的模型

方法二:从镜像网站下载

方法二的本质是从huggingface的国内开源镜像下载,需要关闭科学上网才能达到理想的速度
1. 直接从镜像网站手动下载
在搜素栏里搜索想要的模型,例如knowlm-13b-ie,确定以后会转到相应的镜像网站
在这里插入图片描述
结构目录和huggingface上一样,只是域名已经变成了https://hf-mirror.com/zjunlp/knowlm-13b-ie/tree/main
仍然可以手动使用浏览器下载每个文件,速度可达1.5MB/s,巅峰时可6-7MB/s且不中断!,困扰快一周的问题终于解决
在这里插入图片描述
2. 用wget等工具下载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/582176.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#中,unsafe、fixed和checked关键字

在C#中,unsafe、fixed和checked关键字都是用来控制代码执行和内存访问的。下面我将分别解释这三个关键字的作用。 unsafe unsafe关键字用于声明不安全的代码块。在C#中,默认情况下,代码是安全的,这意味着它遵循.NET的安全规则&a…

P8780 [蓝桥杯 2022 省 B] 刷题统计

题目描述 小明决定从下周一开始努力刷题准备蓝桥杯竞赛。他计划周一至周五每天做 a 道题目,周六和周日每天做 b 道题目。请你帮小明计算,按照计划他将在第几天实现做题数大于等于 n 题? 输入格式 输入一行包含三个整数 a,b 和 n. 输出格式 输出一个…

Arduino中手写脉冲控制步进电机-2

目录 1、前言 2、时间-位移关系计算 3、Matlab计算时间和位置数据 (1)Matlab程序 (2)Arduino程序 4、Matlab生成Arduino电机正反转程序语句 (1)Arduino程序 (2)Matlab 命令行方式生成Arduino步进电…

【Unity自制手册】基于Unity中物体移动相关方法和API集锦(动图详解)

👨‍💻个人主页:元宇宙-秩沅 👨‍💻 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍💻 本文由 秩沅 原创 👨‍💻 收录于专栏:uni…

快速排序回顾及相关题型

快速排序 基本思想 快排的本质其实是分治算法 分:先选定一个数作为基准点x,将所有小于x的数放到x的左边,将所有大于x的数放到x的右边。将所有的数按照此法分成左右两个区间。 治:递归调用左右两个区间,对左右两个区…

IPEmotion数据采集软件功能介绍

IPEmotion作为IPETRONIK的软件产品,主要应用于车辆测试和不同的实验室测试系统,能够满足各种测量需求。通过专业化的数据采集软件IPEmotion,我们可实现完整的数据采集过程,包括:配置数据采集设备;使用不同的…

SD-WAN企业组网的核心要点

随着企业网络需求的不断演进和全球化业务的扩张,SD-WAN(软件定义广域网)作为一种先进的网络架构技术,逐渐成为企业组网的首选方案。SD-WAN通过提供更灵活、高效和安全的网络连接,帮助企业轻松应对不同地区和业务需求。…

计算机毕业设计---ssm+mysql+jsp实现的校园二手市场交易平台源码

项目介绍 本系统主要实现的功能有: 前台:(1)二手物品信息查看、搜索。 (2)学生注册登录、个人信息修改。 (3)二手物品信息发布、编辑。 (4)二手物品评论、回…

snap7西门子通讯 官方方法

官方文档 Util — python-snap7 0.0rc0 documentation 不用struct.unpack解析 Python使用python-snap7实现西门子PLC通讯-CSDN博客 python使用Snap7读写西门子S7系列PLC_python写入数据到s7-300db块-CSDN博客

【Unity细节】为什么按下移动键之后,物体还是会滑行一段距离(阻力都无穷大了)

👨‍💻个人主页:元宇宙-秩沅 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 秩沅 原创 😶‍🌫️收录于专栏:unity细节和bug 😶‍🌫️优质专栏 ⭐【…

内存满了无法开机(Ubuntu)

文章目录 在开机界面长按“shift”进入进入shell命令模式详细步骤选择Recovery Menu删除不需要的文件 在开机界面长按“shift”进入 进入shell命令模式详细步骤 选择Recovery Menu 删除不需要的文件 自己看着办吧

STM32 IIC开发学习

1IIC总线时序图 ① 起始信号 当 SCL 为高电平期间,SDA 由高到低的跳变。起始信号是一种电平跳变时序信号,而不是 一个电平信号。该信号由主机发出,在起始信号产生后,总线就会处于被占用状态,准备数据 传输。 ② 停止信…

Android 8.1 设置USB传输文件模式(MTP)

项目需求,需要在电脑端adb发送通知手机端接收指令,将USB的仅充电模式更改成传输文件(MTP)模式,便捷用户在我的电脑里操作内存文件,下面是我们的常见的修改方式 1、android12以下、android21以上是这种方式…

腾讯云轻量应用主机与云服务器功能、性能区别对比总结

腾讯云轻量服务器和云服务器CVM该怎么选?不差钱选云服务器CVM,追求性价比选择轻量应用服务器,轻量真优惠呀,活动 https://curl.qcloud.com/oRMoSucP 轻量应用服务器2核2G3M价格62元一年、2核2G4M价格118元一年,540元三…

事务的简介

一、什么是事务 事务是一组数据库的操作序列,包含一个或多个sql操作命令(增删改),事务将所有的操作命令看做一个不可分割的整体,向数据库系统提交或撤销操作,所有操作要么执行要么不执行。 ●事务是一种机…

Go语言学习第一天

Go语言简介 go语言的特性: 一个目录下的同级文件属于同一个包。 包名可以与其目录名不同 ?。 main包是Go语言程序的入口包,一个Go语言程序必须有且仅有一个main包,如果一个程序没有main包,那么编译事就会出错&#x…

VR全景图片制作时有哪些技巧,VR全景图片能带来哪些好处

引言: VR全景图片是通过虚拟现实技术制作出的具有沉浸感的图片,能够提供给用户一种身临其境的感觉。在宣传方面,它有着独特的优势和潜力,能够帮助吸引更多的潜在客户,那么VR全景图片制作时有哪些技巧,VR全…

出版实务 | 工具书

文章目录 字典、词典字典、词典的组织结构常用字典、词典介绍目前最常用、最通行的小型字典:《新华字典》常用的大型字典:《汉语大字典》最常用的中型词典:《现代汉语词典》常用的大型词典:《辞海》《辞源》《汉语大词典》 百科全…

机器学习笔记--图的基本表示和特征工程

斯坦福大学CS224W图机器学习笔记 学习参考 CS224W公开课:双语字幕 斯坦福CS224W《图机器学习》课程(2021) by Jure Leskove 官方课程主页:官方主页 子豪兄精讲:斯坦福CS224W图机器学习、图神经网络、知识图谱 同济子豪兄 子豪兄公开代码:同济子豪兄CS224W公开课 基于…

进程间通信-匿名管道

一 什么是通信 就是进程间的数据交换,进程间由于具有独立性,需要操作系统提供能让进程间交换信息,也就是数据的方法。 二 如何做到 让不同进程看到同一份资源(这不是很简单的事吗),我在父进程定义一个变量,子进程不就…