【k近邻】 K-Nearest Neighbors算法原理及流程

【k近邻】 K-Nearest Neighbors算法距离度量选择与数据维度归一化

k近邻算法（K-Nearest Neighbors，简称KNN）是一种常用的监督学习算法，可以用于分类和回归问题。在OpenCV中，KNN算法的函数为`cv.ml.KNearest_create()。

k近邻算法原理

K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

例如下图展现了两类样本数据，分别由正方形和三角形表示，待分类数据由圆形表示，算法的目的是依据已知的样本数据判断待分类数据的类别，即对圆形数据分类。

我们考虑几种不同的K值：

• 如果K=1，圆点的最邻近的1个点是1个三角形，少数服从多数，基于统计的方法，可以判定这个待分类点属于三角形一类。
• 如果K=3，圆点的最邻近的3个点是2个三角形和1个正方形，少数服从多数，基于统计的方法，可以判定这个待分类点属于三角形一类。
• 如果K=5，圆点的最邻近的5个点是2个三角形和3个正方形，少数服从多数，基于统计的方法，可以判定这个待分类点属于正方形一类。
• 依此类推，k近邻算法的思路十分清晰，一言蔽之，即由最近的k个邻居决定待判别点的归属。

k近邻算法流程

对未知类别的数据集中的每个点依次执行以下操作

• 计算已知类别数据集众多点与当前点之间的距离
• 按照距离递增次序排序
• 选取与当前点距离最小的k个点
• 确定前k个点所在类别的出现频率
• 返回前k个点出现频率最高的类别作为当前点的预测分类