数据是训练任何机器学习模型的关键。但是,对于研究人工智能的企业和团队而言,数据仍是实现成功的最大障碍之一。首先,您需要大量数据来创建高性能模型。更重要的是,您需要标注准确的数据。虽然许多团队一开始都是手动标注数据集,但更多团队已逐渐实现数据标注的部分自动化,比如采用主动学习方法(Active Learning),以提高效率。
如果想要了解主动学习,您首先需要了解监督机器学习和无监督机器学习之间的区别。监督学习认为,我们需要为机器提供标注正确的数据,让机器从这些示例中学习如何正确标注数据。无监督学习则认为,要为机器提供未标注的、混乱的数据。机器可以自主识别数据的模式和结构。每种方法各有千秋;本文主要讨论主动学习所属的监督学习范畴。
主动学习方法
主动学习属于我们所说的“半监督学习”。完全监督学习方法会为模型提供完整的标注数据集,而半监督主动学习方法则仅为模型提供数据集的标注子集,认为在训练过程中,并非所有数据都是必需的、有价值的。主动学习过程涉及数据集中哪些数据需要优先标注。从本质上讲,模型可以主动选择想要学习的数据。
工作原理
在主动学习中,有三种典型场景。知名度最高的一种场景称为基于池的采样(Pool-based Sampling),它遵循以下五个步骤:
- 人员(在此过程中称为Oracle)标注数据集的一小部分,并将标注数据提供给模型。
- 模型(称为主动学习者)处理这些数据,并以一定的置信度预测未标注数据点的类别。
- 假设初始预测低于所需精度和置信度,则会使用采样技术确定下一个需要标注的数据子集。
- 人员标注选定的数据子集并将标注的数据子集发送回模型进行处理。
- 该过程将继续,直至模型的预测达到所需的置信度和精度水平。
另一个主动学习场景即基于流的选择采样(Stream-based Selective Sampling)。在此场景中,模型会接收到一个未标注的数据点,并且必须立即决定是否要标注该数据点。
在主动学习的第三种方法——成员查询合成(Membership Query Synthesis)场景中,模型构建自身的标注示例。
主动学习的采样方法
采样方法,也称为查询策略,是主动学习方法成功的关键。不佳的采样方法会导致不良的模型预测,从而在主动学习周期中进行更多的迭代。两种最常见的采样方法即不确定性采样(Uncertainty Sampling)和委员会投票选择(Query-By-Committee)。
不确定性采样 Uncertainty Sampling
顾名思义,不确定性采样优先标注模型最不确定的数据点。不确定性采样运用以下几种技术:
- 最低置信度:该算法可以将预测从最低置信度到最高置信度排序。选择标注那些置信度最低的数据。
- 最小分类间隔:算法会比较各数据点的最高概率类预测和次高概率类预测。优先标注分类间隔最紧密的数据点,因为模型最不确定这些数据的类别。
- 熵方法:机器会通过一个方程确定类别预测中具有最高不确定性(也称为熵)的数据点。这些数据点会被优先标注。
委员会投票选择 Query-By-Committee
该方法使用多个基于同一数据集进行训练的模型,共同确定需要标注的其他数据点。模型间分歧最大的地方是要选择标注哪些数据点。
其他常见的采样方法还有预期影响和密度加权,尽管这些方法的使用频率不比上述几种方法。在任何情况下,所使用的采样方法都是影响模型达到标准性能之速度的重要决定因素。
您需要试验多种不同的方法,以达到最佳性能,因为没有一种方法对每个用例都最为有效。
何时选择主动学习方法
对一些组织而言,手动标注完整的数据集(如在监督学习方法下)需要花费高额成本和时间,这就是为什么一些团队正在转向半监督和无监督ML方法。在以下部分或所有情况下,最好采用主动学习方法:
- AI解决方案需要迅速进入市场,并且手动标注数据可能会对项目构成风险。
- 没有足够的资金聘请数据科学家或SME手动标注所有数据。
- 没有足够的人员手动标注所有数据。
- 具有大量未标注的数据。
与传统的监督学习相比,主动学习的成本更低,速度更快,但您仍需考虑构建有效模型所需的计算成本和迭代。如果操作正确,主动学习方法所构建的模型能够达到与传统方法所构建的模型同等的质量和精度。
对数据科学团队而言,主动学习技术起着关键作用。因为所选择的采样方法可以决定主动学习方法的整体有效性。在某些情况下,您可以寻求外援;例如,和第三方数据供应商建立合作伙伴关系,创建高效的主动学习流程。
AI主动学习的未来
主动学习是AI的未来吗?目前来看,主动学习方法可以代替完全监督学习方法。另外,主动学习方法可以用于超大型数据集,协助数据科学团队更智能、更高效地标注数据。数据是卓越AI的重要基础,但如果操作不当,数据也会成为AI的最大障碍。因此,高效的主动学习方法在当下备受青睐。
研究人员正在努力设计主动学习采样方法,以不断改进先前方法,并希望我们能够推广那些表现最好的方法。虽然还需要进一步研究(例如,仍然难以提前确定主动学习方法是否适用于某一特定数据集),但主动学习仍是人机协同过程中的有效方法。