从0开始学习--Day26--聚类算法

无监督学习(Unsupervised learning and introduction)

监督学习问题的样本

无监督学习样本

如图，可以看到两者的区别在于无监督学习的样本是没有标签的，换言之就是无监督学习不会赋予主观上的判断，需要算法自己去探寻区别，第二张图就是算法经过计算根据位置特点给两组样本划分开来，尽管算法并不知道这种特点意味着什么，这种按照特点分成一组或几组簇的算法叫聚类算法。

K-means 算法(K-means algorithm)

假设我们数据集中的数据呈现两组的分布，K-means算法首先会给出两个点（之所以是两个是因为其数据分布像是两类数据，如果是成三组的聚类分布则有三个聚类中心点），将其称为聚类中心。接着遍历数据集中的每个样本点，计算其离哪个中心点更近，就将其分配给那类，如图，经过计算后通过颜色来区分数据集中的两类样本：

将每个样本点分配给最近的聚类中心点

接下来，分别计算分配后的两类簇数据集的均值点，并把聚类中心移到均值点处，重新进行一次簇分配，以此类推，随着两类数据集的重新分配，聚类中心点会不断地移动到簇的中心，直到聚类中心及其样本不再变化：

分配好的两类簇以及聚类中心点

总结一下，对于K-means算法来说，首先是输入簇的数量K和无标签的样本集，接着把K个聚类中心记作 $\mu_{K}$ ，随即循环计算每个点到每个聚类中心的距离并找到最小值，即 $c^{(i)} = min||x^{(i)}-\mu_{K}||^{2}$ ，计算每个簇的均值点，将其值更新为新的聚类中心，直到聚类中心点及其样本点类别不再改变，写成代价函数就是： $J(c^{(1)},...,c^{(m)},\mu_{1},...,\mu_{K}) = \frac{1}{m}\sum_{i=1}^{m}{||x^{(i)}-\mu_{K}||^{2}}$ ，有时也把它叫做失真代价函数。

随机初始化(Random initialization)

虽然我们有了聚类算法如何更新的细节，但是每簇的第一个聚类中心该怎么选取呢？

事实上，一般我们会进行多次的随机初始化并选取代价函数值最小的那类结果，每一次随机初始化都会随机选取K个样本点作为聚类中心，进行多次初始化的原因是避免使用计算出局部最优解的算法结果，如下：

三类簇的局部最优解中心点

一般来说，我们选择的迭代次数在50到10000之间，注意，当簇的数量较低时，如2-10，多次的迭代会给出好的结果，而如果簇的种类较多，一般在第一次初始化就会得到相当好的结果，但后面即便进行多次初始化也不会有太大的提升。

一般来说，K值的选取都是通过我们手动来决定，即观察可视化的图或事先对数据集有一定的了解，这里介绍两种选取K值的方法。

肘部法则选择K值

如图，我们分别计算K从1到8的代价函数值，从图中观察，假设图像存在一个较为明显的拐点，就像图的左边，我们就能够认为选取该点作为K值比较好；当然，如果运气不好画出的图像右边一样是一个平稳下降的勺子，那么只能回到我们的手动选取法了，我们把这个方法称为肘部法则。

另一种方法则是在每次选取一种聚类数量后进行一次评估，例如计算可得的利润，市场需求的满足度等等，这能帮你更好地判断哪类聚类数量更符合你的数据。

数据压缩(Data compression)

除了聚类算法，还有一种经常会见到的无监督学习算法叫做降维，算法的其中一个功能叫做数据压缩。

将两个特征压缩为一个特征

如图，假设我们有两个输入特征，一个表示物体的厘米长度，一个表示英寸长度，这实际上只是同一种数据特征的不同单位表示，那么这时候我们就可以对其进行数据压缩，将这两个特征的样本点重新用一个特征表示也就是将二维数据降为一维数据，通过 $z^{(m)}$ 的方式来表示原来的样本点，这样做就能减少原来所占用的一部分内存空间，类似的，三维降为二维也是通过投影的方法将其用二维的点来表示三维的样本。