本小节，细说 评估指标的交叉验证。
三. 评估指标
3. 交叉验证(cross validation)
(1). 概念
交叉验证(cross validation, cv) 主要用于模型训练或建模应用中，如分类预测、PCR、PLS 回归建模等。在给定的样本空间中，拿出大部分样本的模型进行预测，并求这小部分样本的预测误差或预测精度，同时记录它们的加和平均值。这个过程迭代 k
�
次，即 k
�
折交叉。其中，把每个样本的预测误差平凡加和，称为 PRESS(Predicted Error Sum Of Squares)。
(2). 目的
①. 用交叉验证的母的是为了得到可靠稳定的模型。在分类，建立 PC 或 PLS 模型时，一个很重要的因素是取多少个主成分的问题。用 cv 校验每个主成分下的 PRESS 值，选择 PRESS 值小的主成分数。或 PRESS 值不再变小时的主要分数。
②. 常用的精度测试方法主要是交叉验证，例如 10 折交叉验证(10-fold cross validation, 10-cv)，将数据分成 10 份，轮流将其中 9 份做训练，1 份做验证，10 次的结果的均值作为对算法精度的估计，一般还需要进行多次 10-cv 求均值，例如：10 次 10-cv，以求更精确一点。
③. 交叉验证有时也称为交叉比对，如：10 折交叉比对。
(3). 常见的交叉验证方式
①. Holdout 验证(留出法验证)
a. 方法：
将原始数据随机分为两组，一组作为训练集，一组作为验证集(比如：80% 为训练集，20% 为验证集)。利用训练集训练分类器，然后利用验证集验证模型，记录最后的分类准确率为此 Holdout Method 下分类器的性能指标。
一般来说，Holdout 验证并非一种交叉验证，因为数据并没有交叉使用。随机从最初的样本中选出部分，形成交叉验证数据，而剩余的就当做训练数据。一般来说，少于原来样本 13
1
3
的数据被选做验证数据(如：20% 为验证数据)
b. 优点：
处理简单，只需要随机把原数据分为两组即可。
c. 缺点：
严格意义来说 Holdout Method 并不算是 cv，因为这种方法没有达到交叉的思想，由于是随机的将原始数据分组，所以最后验证集分类准确率的高低与原始数据的分组有很大关系，所以这种方法得到的结果其实并不具有说服性(主要原因是，训练集样本数太少，通常不足以代表母体样本的分布，导致 val 阶段辨识容易出现明显落差)。
②. k 折交叉验证 (k-fold cross validation, k-cv)
a. 方法
k 折交叉验证(k-cv)，初始采样分割成 k 个子样本，一个单独的子样本被保留作为验证模型数据，其 k - 1 个样本用来训练。交叉验证重复 k 次，每个子样本验证一次，平均 k 次的结果或者使用其他结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，10 折交叉验证(10-cv)是最常用的。特殊的，当 k = 2 时，为 2-cv。
b. 优点
k-cv 可以有效地避免过拟合以及以及欠拟合状态的发生，最后得到的结果也比较具有说服性。
c. 缺点
k 值选取上。
③. 留一验证(Leave One Out Validation, LOO-CV)
a. 方法
留一验证(LOO-CV)，意指只使用原样本中的一项来做验证资料，而剩余的则留下来当做训练资料。这个步骤一直持续到每个样本都被当做一次验证资料。事实上，这等同于 k-cv 是一样的，其中 k 为原样本个数。在某些情况下是存在有效率的演算法。如使用 Kernel Regression 和 Tikhonov Regularization。
b. 优点
(a). 每一回合中几乎所有的样本皆用于训练模型，因此最接近原始样本的分布，这样评估所得的结果比较可靠。
(b). 实验过程中没有随机因素会影响实验数据，确保实验过程是可以被复制的。
c. 缺点
计算成本高，因为需要建立的模型数量与原始数据样本数量相同，当原始数据样本数相当多时，LOO-CV 在实际操作上便有困难，几乎就是实现不了，除非每次训练分类器得到模型的速度很快，或是可以用并行化计算减少计算所需要的时间。
(4). 深入
①. 使用交叉验证方法的目的主要有 3 个：
a. 从有限的学习数据中获取尽可能多的有效信息
b. 交叉验证从多个方向开始学习样本，可有效的避免陷入局部最小值
c. 可以在一定程度上避免过拟合问题
②. 采用交叉验证方法时需要将学习数据样本划分为两部分：训练数据样本 和 验证数据样本。并且为了得到更好的学习效果，无论训练样本还是验证样本，都要尽可能参与学习。一般选取 10 折交叉验证即可达到较好的学习效果。
