因为墙的原因,huggingface上的资源难以下载,通过本博客的方法不需翻墙也能快速下载。
本博客主要介绍:
1. 如何离线下载huggingface 资源
2. huggingface cli 的简单使用
安装
pip install -U "huggingface_hub[cli]"
配置
# 配置token ,从这里获取https://huggingface.co/settings/tokens
export HF_TOKEN=XXXXX
# 配置镜像
export HF_ENDPOINT=https://hf-mirror.com
下载文件
以下命令演示了下载仓库mozilla-foundation/common_voice_13_0 下的audio/zh-CN/dev/zh-CN_dev_0.tar文件 ,缓存在本地的/home/chenjq/datasets/common_voice_13_0目录下面
huggingface-cli download --repo-type dataset --resume-download mozilla-foundation/common_voice_13_0 audio/zh-CN/dev/zh-CN_dev_0.tar --local-dir /home/chenjq/datasets/common_voice_13_0
--repo-type 仓库类型,是dataset还是model
文档
https://huggingface.co/docs/huggingface_hub/guides/cli