基于英文模型增量预训练的中文模型

LLama系列：

llama作为开源社区的宠儿，有许多基于它的中文模型，下面列举比较流行的一些模型

• hfl/chinese-llama-2：https://github.com/ymcui/Chinese-LLaMA-Alpaca
• Linly-Al/Chinese-LLaMA-2：https://huggingface.co/hfl/chinese-llama-2-7b
• Atom：https://huggingface.co/FlagAlpha/Atom-7B

如果要学习如何做模型训练，推荐学习hfl/chinese-llama-2。如果是要选择强大的中文llama，推荐选Atom。

Mistral系列：

Mistral是超越llama的最强开源模型之一，由于发布时间晚于llama，因此其中文版本较少。

• openbuddy-mistral：https://huggingface.co/OpenBuddy/openbuddy-mistral-7b-v13-base。openbuddy持续更新了llama、mistral、gemma等模型的中文版本，推荐大家去https://huggingface.co/OpenBuddy找找宝藏。
• Chinese-Mistral：https://huggingface.co/itpossible/Chinese-Mistral-7B-v0.1。这是huggingface最新开源的中文Mistral，包括base和instruct两个版本。其C-Eval、C-MMLU、MMLU分数高于其他llama、mistral变体，具有较强的中英文能力。
• JiuZhou：https://huggingface.co/itpossible/JiuZhou-base。该模型的基座模型为Chinese-Mistral，采用大规模中英文地球科学相关语料进行增量预训练，并使用了多种优化方法。由于地球科学是交叉性非常强的学科，因此其C-Eval、C-MMLU、MMLU分数进一步提高。不仅在专业领域表现出较强的语义理解能力，而且能力泛化到通用领域。C-Eval榜单显示，其中文能力仅次于Chatglm2-6B。模型包括base和instruct两个版本。

如果大家需要选用强大的中文Mistral，推荐选JiuZhou。

从头训练的中文模型

• Qwen系列
• Chatglm系列
• Baichuan系列
• Yi系列

后面持续更新