Trainer中

首先：
WarmupDecayLR= --lr_scheduler_type linear
WarmupLR= --lr_scheduler_type constant_with_warmup

1

TrainArgument不传lr_scheduler_type、optim，warmup_steps=15
ds config文件中定义如下：

注意：如果不在TrainArgument传入warmup_steps，直接在ds config指定的话会报错，故需要结合使用。

学习率如下：

2

TrainArgument不传lr_scheduler_type、optim，warmup_steps=15
ds config文件中定义如下：

学习率如下：

3

TrainArgument不传optim，warmup_steps=15
lr_scheduler_type=constant_with_warmup
ds config文件中定义如下：

学习率如下：

可以得出：deepspeed中的优化器和学习率策略确实是有优先级的，两个都定义的情况下会用deepspeed中的。

推荐用法：optim用deepspeed， lr_scheduler用huggingface的 cosine
cosine学习率图如下：

PPOTrainer、RLOOTrainer

trl中的相关trainer是不支持deepspeed配置optimizer 和 lr_scheduler的，需要使用huggingface提供的。