参看:
https://github.com/huggingface/text-embeddings-inference#docker
文本嵌入模型榜单
https://huggingface.co/spaces/mteb/leaderboard
bge模型下载
https://huggingface.co/BAAI/bge-m3/tree/main
export HF_ENDPOINT=https://hf-mirror.comhuggingface-cli download --resume-download --local-dir-use-symlinks False BAAI/bge-m3--local-dir /ai/bge-m3
docker 运行
cpu测试,发现运行实际调用的是onnx模型推理
docker run -p 8080:80 -v /ai/bge-m3:/data ghcr.io/huggingf