huggingface 数据集和模型加速下载, hfdata 输出为json

如果有碰到huggingface的数据集下载慢，可以使用国内镜像代理下载，首先打开命令行，输入下面的环境变量：

export HF_ENDPOINT=https://hf-mirror.com

然后执行你自己的代码，比如：

from datasets import load_dataset
ds = load_dataset("openai/gsm8k", "main")
for split, split_dataset in ds.items():split_dataset.to_json(f"gsm8k-{split}.jsonl")

你会发现数据集的下载速度变快了：

Downloading readme: 7.94kB [00:00, 7.75MB/s]
Downloading data: 100%|██████████████████████████████████████████████████████████████| 2.31M/2.31M [00:06<00:00, 364kB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████| 419k/419k [00:00<00:00, 783kB/s]
Generating train split: 100%|██████████████████████████████████████████████| 7473/7473 [00:00<00:00, 86953.96 examples/s]
Generating test split: 100%|███████████████████████████████████████████████| 1319/1319 [00:00<00:00, 58370.39 examples/s]