http://hi.baidu.com/catfool/blog/item/c06bec3931a0efcad4622524.html

聚类算法学习指南（二）

2009-05-06 20:49

下图

图 3-1 聚类方法的分类示意图

3.1 传统聚类算法

3.1.1 层次方法

层次法对给定的数据对象集合进行层次似的分解。按层次分解的形成方式，层次法可分为凝聚和分裂两大类。凝聚的方法，也称为自底向上的方法，一开始将每个对象作为单独的一个类，然后相继地合并相近的类，直到所有的类合并为一个（层次的最上层），或者达到一个终止条件为止。分裂的方法，也称为自顶向下的方法，一开始将所有的对象置于一个类中。在迭代的每一步中，类被分裂为更小的类，直到每个类只包含一个对象，或者达到一个终止条件为止。在凝聚或者分裂层次聚类方法中，通常以用户定义的希望得到的类的数目作为结束条件。在类的合并或分裂过程中，需要考察类间的距离。类间距离的度量广泛采用如下四种方法：

最小距离：d_min（C_i，C_j）=min_p∈C_i,p'∈C_j|p- p' |

最大距离：d_max（C_i，C_j）=max_p∈C_i,p'∈C_j|p- p' |

平均值距离：d_mcan（C_i，C_j）=|mi- mj|

平均距离：

层次方法(Hierarchical Method)中代表算法有BIRCH、CURE、ROCK、CHAMELEON算法等。

3.1.2 划分方法

给定一个包含n个数据对象的数据集，划分法构建数据的k个划分，每个划分表示一个类，并且k≤n。同时满足如下的要求：①每个组至少包含一个对象；②每个对象属于且仅属于一个组。给定要构建的划分的数目k，创建一个初始划分。然后采用一种迭代的重定位技术，尝试通过对象在划分间移动来改进划分。判定一个好的划分的一般准则是：在同一个类中的对象之间尽可能“接近”或相关，在不同类中的对象之间尽可能“远离”或不同，即使下列准则函数最小：

式中的E是数据集中所有对象的平方误差的总和；mi是类Ci的平均值（或中心点），p是数据空间中的数据对象（p和mi都是多维的)。为了达到全局最优，基于划分的聚类要求穷举所有可能的划分。基于划分的方法(Partitioning Method)，其代表算法有K-MEANS、K-MEDOIDS、大型数据库划分方法（CLARANS）等。

3.1.3 基于密度的方法

绝大多数划分方法基于对象之间的距离进行聚类，这样的方法只能发现球状的类，而在发现任意形状的类上有困难。因此，出现了基于密度的聚类方法，其主要思想是：只要邻近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类。也就是说，对给定类中的每个数据点，在一个给定范围的区域内必须至少包含某个数目的点。这样的方法可以过滤“噪声”数据，发现任意形状的类。但算法计算复杂度高，一般为O(n²)，对于密度分布不均的数据集，往往得不到满意的聚类结果。其代表算法有DBSCAN、OPTICS和DENCLUE等。

3.1.4 基于网格的方法

基于网格的方法把对象空间量化为有限数目的单元，形成一个网格结构。所有的聚类操作都在这个网格结构（即量化空间）上进行。这种方法的主要优点是它的处理速度很快，其处理速度独立于数据对象的数目，只与量化空间中每一维的单元数目有关。但这种算法效率的提高是以聚类结果的精确性为代价的。它的代表算法有STING、CLIQUE、WAVE- CLUSTER等。

3.1.5 基于模型的方法

基于模型的聚类算法为每簇假定了一个模型，寻找数据对给定模型的最佳拟合。一个基于模型的算法可能通过构建反应数据点空间分布的密度函数来定位聚类。它也基于标准的统计数字自动决定聚类的数目，老吕噪声数据或孤立点，从而产生健壮的聚类方法。基于模型的聚类试图优化给定的数据和某些数据模型之间的适应性。这样的方法经常是基于这样的假设：数据是根据潜在的概率分布生成的。基于模型的方法主要有两类：统计学方法和网络神经方法。其中，统计学方法有COBWEB算法，网络神经方法有SOM算法。

3.1.6 基于约束的方法

真实世界中的聚类问题往往是具备多种约束条件的,然而由于在处理过程中不能准确表达相应的约束条件、不能很好地利用约束知识进行推理以及不能有效利用动态的约束条件,使得这一方法无法得到广泛的推广和应用。这里的约束可以是对个体对象的约束,也可以是对聚类参数的约束,它们均来自相关领域的经验知识。该方法的一个重要应用在于对存在障碍数据的二维空间数据进行聚类。COD (Clustering with Ob2structed Distance)就是处理这类问题的典型算法,其主要思想是用两点之间的障碍距离取代了一般的欧氏距离来计算其间的最小距离。