1. 引入
训练一个大模型,到底需要投入多少块GPU,需要多少数据,训练多长时间能达到一个不错的效果?
本文引用靠谱的数据,来回答这些问题。
2. 全流程训练
大模型的训练,简单来说,分为Pretraining
和Finetuning
(微调),Pretraining
需要非常多的数据和算力,Finetuning
相对来说对算力的要求比较低。
3. OpenAI的训练
根据参考1,OpenAI的科学家Andrej Karpathy讲解(他们训练ChatGPT的配置),在Pretraining
的步骤,需要10TB的数据,6000个GPU,训练12天。
4. LLaMA-7B
参考2中给了一个结论:
- Keep in mind that the original LLaMA training for the 7B model required 83k A100 80GB hours, so you’ll need access to a cluster.
所以,LLaMA在训练7B的模型时,需要83K的A100(80GB显存)。也就是说,如果你有83块A100(80G),需要训练1000小时(42天),才能训练一个7B的模型。
参考
- https://www.youtube.com/watch?v=zjkBMFhNj_g (19分钟开始)
- https://github.com/Lightning-AI/lit-llama/blob/main/howto/train_redpajama.md