【NLP 12、深度学习15条调参经验】

反正是绚烂，反正是到来

反正是背负慢慢凋残的孤独

耀眼的孤独，义无反顾的孤独

—— 24.12.9

深度学习15条调参经验

1.调参

调参是锦上添花的事，而底线取决于模型的选择和数据的清洗

2.关于model

① 尽量不要自己手写模型，找一个没有bug或者已经走通的模型自己去修改

② 当数据量少的时候，最好使用带预训练参数（如Imagenet）的模型去微调

3.关于数据

① 数据量太大的情况下，可以先用1/10，1/100的数据去估算一下训练或者推理时间，心里有个底

② 视觉问题一定要使用数据增强

③ 一定要进行数据预处理，把数据分布分散到均值0，方差为1的区间，利于训练模型

4.关于调参

有哪些参数可以调节呢？

Loss function(损失函数)

Learning rate(学习率)

Batch size(训练批次的大小)

Epoch number(训练轮数)

Optimizer(优化器)

Activation function(激活函数)

Weights initialization(权重初始化)

使用Regularization(正则化)

Validation(验证集)

使用的GPU个数

5.关于Loss function 损失函数

Loss function(损失函数)是Model(模型)和数据之外，第三重要的参数。具体使用MSE(均方差损失函数)、Cross entropy(交叉熵损失函数)、Focal(焦点损失函数)还是其他自定义，需要具体问题具体分析。

6.关于 Learning rate 学习率和 batch size 批次大小

(1)Learning rate(学习率)和训练批次(batch size)是两个重要的参数，而且二者也是相互影响的，在反向传播时直接影响梯度。一般情况下，先调batch size，再调learning rate

(2)batch size不能太大，也不能太小，太小会浪费计算资源，太大则会浪费内存;一般设置为16的倍数

(3)如果使用微调，则learning rate(学习率)设置为0.0001较好。learning rate设置上有很多trick(技巧)，包括cosine learning rate(余弦退火学习率)等。

7.关于Epoch number和early stopping

(1)Epoch number(模型训练过程中所经历的完整数据集遍历次数) 和 Early stopping(早期停止)是息息相关的，需要输出loss看一下，到底是什么epoch时效果最好，及时early stopping。

(2)Epoch(模型完整遍历一次训练数据集)越大，会浪费计算资源，epoch太小，则训练模型提取特征没到极致。

(3)此外，也要明白Epoch模型完整遍历一次训练数据集)、lteration(一次参数更新的过程)、batch size(批次大小)的关系，一个 Epoch 意味着模型对整个训练数据集完整遍历一次。假设训练数据集包含 N个样本，Batch size 设为 m，则在一个 Epoch 里的 Iteration 次数为 N / m （若N不能被m 整除则向上取整）。