文章目录
- 一、关于 huggingface_hub
- 二、安装
- 三、快速入门指南
- 1、下载文件
- 1.1 下载单个文件 hf_hub_download
- 1.2 下载整个库 snapshot_download
- 2、登录
- 3、创建一个存储库 create_repo
- 4、上传文件
- 4.1 上传单个文件 upload_file
- 4.2 上传整个存储库 upload_folder
- 四、集成到 Hub 中
一、关于 huggingface_hub
The official Python client for the Huggingface Hub.
- github : https://github.com/huggingface/huggingface_hub
- 中文说明：https://github.com/huggingface/huggingface_hub/blob/main/README_cn.md (本文基于此编辑)
- 官方文档：https://huggingface.co/docs/huggingface_hub/index
中文：https://huggingface.co/docs/huggingface_hub/main/cn/index - PYPI : https://pypi.org/project/huggingface-hub/
通过huggingface_hub 库，您可以与面向机器学习开发者和协作者的平台 Hugging Face Hub进行交互，找到适用于您所在项目的预训练模型和数据集，体验在平台托管的数百个机器学习应用，还可以创建或分享自己的模型和数据集并于社区共享。
以上所有都可以用Python在huggingface_hub 库中轻松实现。
二、安装
使用pip安装 huggingface_hub 包：
pip install huggingface_hub
如果您更喜欢，也可以使用 conda 进行安装
为了默认保持包的最小化，huggingface_hub 带有一些可选的依赖项，适用于某些用例。例如，如果您想要完整的推断体验，请运行：
pip install huggingface_hub[inference]
要了解更多安装和可选依赖项，请查看安装指南
三、快速入门指南
1、下载文件
1.1 下载单个文件 hf_hub_download
下载单个文件,请运行以下代码：
from huggingface_hub import hf_hub_downloadhf_hub_download(repo_id="tiiuae/falcon-7b-instruct", filename="config.json")
1.2 下载整个库 snapshot_download
如果下载整个存储库，请运行以下代码：
from huggingface_hub import snapshot_downloadsnapshot_download("stabilityai/stable-diffusion-2-1")
文件将被下载到本地缓存文件夹。更多详细信息请参阅此 指南.
2、登录
Hugging Face Hub 使用令牌对应用进行身份验证(请参阅文档). 要登录您的机器，请运行以下命令行：
huggingface-cli login
# or using an environment variable
huggingface-cli login --token $HUGGINGFACE_TOKEN
3、创建一个存储库 create_repo
要创建一个新存储库，请运行以下代码：
from huggingface_hub import create_repocreate_repo(repo_id="super-cool-model")
4、上传文件
4.1 上传单个文件 upload_file
from huggingface_hub import upload_fileupload_file(path_or_fileobj="/home/lysandre/dummy-test/README.md",path_in_repo="README.md",repo_id="lysandre/test-model",
)
4.2 上传整个存储库 upload_folder
from huggingface_hub import upload_folderupload_folder(folder_path="/path/to/local/space",repo_id="username/my-cool-space",repo_type="space",
)
有关详细信息，请查看 上传指南.
四、集成到 Hub 中
HuggingFace 正在与一些出色的开源机器学习库合作，提供免费的模型托管和版本控制。您可以在 这里找到现有的集成
优势包括:
- 为库及其用户提供免费的模型或数据集托管
- 内置文件版本控制，即使对于非常大的文件也能实现，这得益于基于 Git 的方法
- 为所有公开可用的模型提供托管的推断 API
- 在网页端可在线体验所有公开的模型
- 任何人都可以上传新模型到您的库，他们只需为模型添加相应的标签，以便让其被发现
- 快速下载！我们使用 Cloudfront（CDN）进行地理复制下载，因此无论在全球任何地方，下载速度都非常快。
- 使用统计和更多功能即将推出
如果您想要集成您的库，请随时打开一个问题来开始讨论。我们编写了一份逐步指南，以❤️的方式展示如何进行这种集成。
2024-03-21（四）
