本节我们介绍一些深度学习领域常用的术语。

训练

确定模型中的参数的过程，我们就称为“训练”。

Epoch

遍历一遍训练数据就叫作“一个 Epoch”。训练模型的时候，我们要告诉模型预计训练多少个 Epoch，但这个值并不是固定的，因为并没有一个准确的 Epoch 数能一定能得到一个比较好的模型。

我们有一个标准：模型训练的 Epoch 数必须要让模型达到一个收敛的状态。并且为了模型有更多的选择，我们可以让模型收敛后，再多训练一些 Epoch，然后保存一些模型，最后进行挑选。这是一个经验与实际结合的过程。

Batch size

考虑到内存、处理速度、优化角度等方面，我们每次只会取一定数量的数据进行学习，比如 32、64、128。这每次用到的一定数量的数据，就叫作“一个 Batch”，每个 Batch 中数据的个数，无论有多少个，都统称为“Batch Size”。

每一次取数据我们称为“一个 Step”或者“一个 Iterator”。多卡的时候每个 Step 会在每张卡上训练相同 Batch Size 的不同数据，然后把梯度汇总到 CPU 上计算，最后更新参数。

3.1模型的评估

对于训练集与评估集，在绝大部分的实际项目中都是提前确定好的，特别是评估集，它代表这个项目要解决的问题。一些小的实验性项目，可以将数据按一定的比例随机分成训练集和评估集，一般这个比例是 7：3 或 8：2，即训练集占所有数据的 70% 或者 80%，数据的其余部分作为评估集。