欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://blog.csdn.net/caroline_wendy/article/details/137348092
GitHub: https://github.com/bjing2016/alphaflow
步骤如下:
- 安装 DeepSpeed:需要安装 DeepSpeed。
- 配置 Trainer:在 PyTorch Lightning 中,需要配置
Trainer
类来使用 DeepSpeed。 - 选择 ZeRO 阶段:DeepSpeed 提供不同的 Ze