例一

动态聚类，K-means法，随机选取凝聚点（题目直接给出）

已知5个样品的观测值为：1，4，5，7，11。试用K均值法分为两类(凝聚点分别取1，4与1，11)

---

解：以1，4为例
STEP1确定凝聚点：X1和X5
STEP2确定初始分类，$G_1^{(0)}$={x1，x2，x3}，$G_2^{(0)}$={x4，x5}
STEP3重新计算各类的重心，以其作为新的凝聚点，分别为3.3和9
STEP4 以新的重心为凝聚点重新修改分类，结果不变，故聚类结果为$G_1$={x1，x2，x3}，$G_2$={x4，x5}

例二

动态聚类，K-means法，还是上面的例子，使用密度法选取凝聚点

已知5个样品的观测值为：1，4，5，7，11。试用K均值法分为三类。

---

密度法：

• 首先计算出每个样品的密度，密度即：以正数d为半价，样品为球心，落在球内的样品数；
• 选择密度最大的样品作为第一凝聚点；
• 人为确定一个正数D（一般D>d），若次大密度样品点与第一凝聚点距离大于D则作为第二个凝聚点，否则舍去，选取密度次于它的样品；

解：d=2，D=3.5

STEP1计算出每个样品的密度

	x1	x2	x3	x4	x5
密度	0	1	2	1	0

因此第一凝聚点为x3，次大密度样品点位x2和x4，但它们与x3的距离小于D，故舍去，选取x1和x5作为第二凝聚点；

STEP2确定初始分类，除凝聚点之外的样品点按照最小距离原则确定它们的分类
$G_1^{(0)}$={x1}，$G_2^{(0)}$={x2，x3，x4}，$G_3^{(0)}$={x5}。

STEP3重新计算各类的重心，以其作为新的凝聚点
三类重心分别为：1，5.3，11
STEP4 重新确定各样品归属的类别：
$G_1^{(1)}$={x1}，$G_2^{(1)}$={x2，x3，x4}，$G_3^{(1)}$={x5}

若与上一次分类的结果不同，需要继续计算各类的重心，重新分类。可以看到这次的分类结果与上一次相同，因此算法终止，聚类结果为$G_1$={x1}，$G_2$={x2，x3，x4}，$G_3$={x5}。

例三

[应用多元统计分析（高惠璇版）6-3]
系统聚类法——最长距离、类平均法

---

系统聚类法基本思想 ：设有n个样品，每个样品m项指标。首先将n个样品视为n类，计算类间距离（此时类间距离与样品间距离是等价的），选取 距离最近 的两类合并成新类，并计算新类与其他类的距离，再按最小距离原则并类，每次合并一类直至所有样品都并成一类。

最长距离法

最长距离法和最短距离法的本质是一样的，计算类与类的距离时使用下面的公式：

STEP1从初始矩阵出发，选择类间距离最小的合并为一类，即并类距离$D_1$=1
合并x1和x4，记CL4={x1，x4}，画出距离矩阵$D^{(1)}$
其他类$x_i$（i=2、3、5）到CL4的距离为：$x_i$到x1的距离与$x_i$到x4的距离中最大的那个
$D^{(1)}$=$\left[\begin{array}{ccccc}& x2& x3& x5& CL4\\ x2& 0& & & \\ x3& 9& 0& & \\ x5& 3& 5& 0& \\ CL4& 7& 10& 8& 0\end{array}\right]$

STEP2同样选择类间距离最小的合并为一类，x2和x5的距离最近，并类距离$D_2$=3
合并x2和x5，记CL3={x2，x5}，画出距离矩阵$D^{(2)}$
x3到CL4和CL3的距离计算和上面一样

$D^{(2)}$=$\left[\begin{array}{cccc}& x3& CL4& CL3\\ x3& 0& & \\ CL4& 10& 0& \\ CL3& 9& 8& 0\end{array}\right]$

STEP3选择类间距离最小的合并为一类，CL4和CL3的距离最近，并类距离$D_3$=8
合并CL3和CL4，记CL2={x1，x2，x4，x5}，画出距离矩阵$D^{(3)}$

$D^{(3)}$=$\left[\begin{array}{ccc}& x3& CL2\\ x3& 0& \\ CL2& 10& 0\end{array}\right]$

STEP4将所有类合并为一类，CL1={x1，x2，x3，x4，x5}，并类距离$D_4$=10

$D^{(4)}$=$\left[\begin{array}{ccc}& CL1& \\ CL1& 0& \end{array}\right]$

STEP5画出谱系聚类图

类平均法

类平均法的类间距离计算公式如下

具体步骤和上面类似，不同的是在计算类间距离的不同。这里使用距离的平方。
STEP1从初始矩阵出发，选择类间距离最小的合并为一类，即并类距离$D_1$=1
合并x1和x4，记CL4={x1，x4}，画出距离矩阵$D^{(1)}$
其他类$x_i$（i=2、3、5）到CL4的距离为：
以x2到CL4的距离为例，其他的同理：
$D^2$=$\frac{1}{2}$$D_{21}^2$+$\frac{1}{2}$$D_{24}^2$=$\frac{1}{2}$× 4²+$\frac{1}{2}$× 7²=65/2

所以可以画出的距离矩阵为：
$D^{(1)}$=$\left[\begin{array}{ccccc}& x2& x3& x5& CL4\\ x2& 0& & & \\ x3& 9^2& 0& & \\ x5& 3^2& 5^2& 0& \\ CL4& 65/2& 136/2& 100/2& 0\end{array}\right]$

STEP2同样选择类间距离最小的合并为一类，x2和x5的距离最近，并类距离$D_2$=3
合并x2和x5，记CL3={x2，x5}，画出距离矩阵$D^{(2)}$

CL4到CL3的距离计算如下：

$D^2$=$\frac{1}{2}$$D_{(CL4)2}^2$+$\frac{1}{2}$$D_{(CL4)5}^2$=$\frac{1}{2}$× (65/2)+$\frac{1}{2}$× (100/2)=165/4

$D^{(2)}$=$\left[\begin{array}{cccc}& x3& CL4& CL3\\ x3& 0& & \\ CL4& 136/2& 0& \\ CL3& 106/2& 165/4& 0\end{array}\right]$

STEP3选择类间距离最小的合并为一类，CL4和CL3的距离最近，并类距离$D_3$=$\sqrt{165/4}$
合并CL3和CL4，记CL2={x1，x2，x4，x5}，画出距离矩阵$D^{(3)}$

$D^{(3)}$=$\left[\begin{array}{ccc}& x3& CL2\\ x3& 0& \\ CL2& 121/2& 0\end{array}\right]$

STEP4将所有类合并为一类，CL1={x1，x2，x3，x4，x5}，并类距离$D_4$=$\sqrt{121/2}$

$D^{(4)}$=$\left[\begin{array}{ccc}& CL1& \\ CL1& 0& \end{array}\right]$

STEP5画出谱系聚类图

---

（注：无论用什么系统聚类法，在并类时都是选择类间距离最小的两个类，使用最长距离法/类平均法/···的区别只是在计算类与类之间的距离时不同）