正交化

为了提高算法准确率，我们想到的方法

• 收集更多的训练数据
• 增强样本多样性
• 使用梯度下降将算法使算法训练时间更长
• 换一种优化算法
• 更复杂或者更简单的神经网络
• 利用dropout 或者L2正则化
• 改变网络框架
• 更换激活函数
• 改变隐藏单元个数

为了使有监督机制的学习系统良好的运行，通常需要保证：

• 通常确保至少训练集运行良好，因此需要对训练集的运行情况进行一些可行性评估。
• 如果训练集表现良好，希望开发集运行良好
• 希望测试集运行良好
• 在代价函数的测试集中运行良好

单一的量化评估指标

一个合理的评估分类器好坏的方法，就是去看它的精确率和召回率，需要同时关注两个指标，在其中做权衡。如果尝试很多不同的算法，就会有很多超参数，需要从多个分类器中选择，因此找一个新的指标兼顾精准率和召回率。

满足和优化指标：

设置训练集、开发集、测试集的指导原则

开发集和测试集同分布，且随机选取

模型数据和未来数据要具有相似性；

训练集、开发集、测试集的比例不是一定的，数据量足够大的时候，测试集只要能提供足够的置信度来评估性能的数据量就行。设置开发集能帮我们评估不同分类器并作出选择，测试集可以对最终的分类器评估。

可能你并不需要对最终系统整体性能的评估具有很高的置信度

更改开发、测试集和指标

评估指标无法正确对算法的优劣进行排序，需要修改评估指标或者修改开发集或者测试集

如上两种算法，虽然A的错误率低，但是它存在一些无法容忍的错误，此时改良评估指标的方式，是加入一个权重项，赋予无法容忍的错误更大的权重。如果评估指标无法正确评估算法的排名，则需要重新定义一个新的评估指标。

人类水平表现、可避免偏差

人类能够做到的水平和贝叶斯误差（最优分类器）相差不远。

如果算法的表现和人类的表现之间存在巨大误差时：

消除偏差：减少训练集误差和人类水平误差之间的差距，来提高模型性能。

消除方差：用正则化方法减少开发集误差和测试集误差之间的差距，来提高模型性能。

对人类水平误差有一个大概的估计，可以让我们去估计贝叶斯误差，这样可以让我们更快的做出决定：减少偏差还是减少

参考：吴恩达Coursera深度学习课程 DeepLearning.ai 提炼笔记（3-1）-- 机器学习策略（1）_吴恩达机器学习不同模型的训练三板斧-CSDN博客