Llama中文大模型

关于Llama中文大模型

欢迎来到Llama中文大模型：已经基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。

Llama中文大模型 ：https://github.com/LlamaFamily/Llama-Chinese

在线体验 ：https://llama.family

基于Llama2的开源中文预训练大模型Atom-7B ：https://huggingface.co/FlagAlpha/Atom-7B-Chat

Llama中文大模型

中文预训练模型Atom-7B

🔵 Atom大模型

原子大模型Atom由Llama中文社区和原子回声联合打造，在中文大模型评测榜单C-Eval中位居前十（8月21日评测提交时间）。

类别	模型名称	🤗模型加载名称	下载地址
预训练	Atom-7B	FlagAlpha/Atom-7B	HuggingFace \| ModelScope \| WiseModel
Chat	Atom-7B-Chat	FlagAlpha/Atom-7B-Chat	HuggingFace \| ModelScope \| WiseModel

Atom系列模型包含Atom-7B和Atom-13B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库：https://huggingface.co/FlagAlpha 获取模型。

Llama2官方模型

类别	模型名称	🤗模型加载名称	下载地址
预训练	Llama2-7B	meta-llama/Llama-2-7b-hf	HuggingFace \| 迅雷网盘
预训练	Llama2-13B	meta-llama/Llama-2-13b-hf	HuggingFace \| 迅雷网盘
预训练	Llama2-70B	meta-llama/Llama-2-70b-hf	HuggingFace
Chat	Llama2-7B-Chat	meta-llama/Llama-2-7b-chat-hf	HuggingFace \| 迅雷网盘
Chat	Llama2-13B-Chat	meta-llama/Llama-2-13b-chat-hf	HuggingFace \| 迅雷网盘
Chat	Llama2-70B-Chat	meta-llama/Llama-2-70b-chat-hf	HuggingFace \| 迅雷网盘
Code	CodeLlama-7b	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-7b-Python	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-7b-Instruct	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-13b	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-13b-Python	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-13b-Instruct	meta-llama/Llama-2-70b-chat-hf	迅雷网盘
Code	CodeLlama-34b	meta-llama/Llama-2-70b-chat-hf	迅雷网盘

Meta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。不同模型能力区别如下表所示：

模型类别	模型名称	代码续写	代码填充	指令编程
Code Llama	CodeLlama-7b	✅	✅	❌
	CodeLlama-13b	✅	✅	❌
	CodeLlama-34b	✅	❌	❌
Code Llama - Python	CodeLlama-7b-Python	✅	❌	❌
	CodeLlama-13b-Python	✅	❌	❌
	CodeLlama-34b-Python	✅	❌	❌
Code Llama - Instruct	CodeLlama-7b-Instruct	❌	✅	✅
	CodeLlama-13b-Instruct	❌	✅	✅
	CodeLlama-34b-Instruct	❌	❌	✅

关于Code Llama的详细信息可以参考官方Github仓库codellama：https://github.com/facebookresearch/codellama

Llama2中文微调模型

基于中文指令数据集对Llama2-Chat模型进行了微调，使得Llama2模型有着更强的中文对话能力。LoRA参数以及与基础模型合并的参数均已上传至Hugging Face，目前包含7B和13B的模型。

类别	模型名称	🤗模型加载名称	基础模型版本	下载地址
合并参数	Llama2-Chinese-7b-Chat	FlagAlpha/Llama2-Chinese-7b-Chat	meta-llama/Llama-2-7b-chat-hf	HuggingFace
合并参数	Llama2-Chinese-13b-Chat	FlagAlpha/Llama2-Chinese-13b-Chat	meta-llama/Llama-2-13b-chat-hf	HuggingFace
LoRA参数	Llama2-Chinese-7b-Chat-LoRA	FlagAlpha/Llama2-Chinese-7b-Chat-LoRA	meta-llama/Llama-2-7b-chat-hf	HuggingFace
LoRA参数	Llama2-Chinese-13b-Chat-LoRA	FlagAlpha/Llama2-Chinese-13b-Chat-LoRA	meta-llama/Llama-2-13b-chat-hf	LlzLl zLlLHuggingFace