Fuzzy c-means

模糊C-均值聚类算法：是一种模糊聚类算法，是K均值算法聚类的推广形式，隶属度取值为[0,1]区间内的任意一个数，提出的基本依据是“类内加权误差平方和最小化”准则。

这两个方法都是迭代求取最终的聚类划分，即聚类中心与隶属度值。两者都不能保证找到问题的最优解，都有可能收敛到局部极值，模糊c均值甚至可能是鞍点。

Fuzzy c-means Algorithm

样本矩阵： $X=[x_1,x_2,...,x_n] ∈R^{d×n}$ ，有n个 $x_i$ 每个 $x_i$ 是d维

簇集合： $C=[C_1,C_2,...,C_c]$ ，有c个簇集合

加权误差平方和：计算每个样本点和相应簇均值的加权误差平方和，即：
$\underset{F1=1,F\geq 0,M}{min}\sum_{j=1}^c\sum_{i=1}^n f_{ij}^r||x_i-m_j||_2^2\ \ \ \ \ \ \ \ \ \ \ \ \ (1)\\ \\ \iff \underset{F1=1,F\geq 0,M}{min}\sum_{j=1}^c\sum_{i=1}^n f_{ij}^r(x_i^Tx_i-2x_i^Tm_j+m_j^Tm_j)\\ \\ m_j是矩阵M∈R^{d×c}的第j列,表示第c个集合的均值;\\ \\ f_{ij}∈[0,1]是隶属矩阵F的i行j列元素，表示第i个样本对第j个簇的隶属度;\\ \\ F1=1表示\sum_{j=1}^cf_{ij}=1;\\ \\ r是模糊器参数或者加权指数，r的值是大于1的实数，当r越趋向于1聚类越清晰，\\但是当r达到无穷大时聚类就变得更模糊.当r=1时FCM等价于KMEAN$

上述问题可以看作：
$\underset{F1=1,F\geq 0,M}{min}\sum_{j=1}^c\sum_{i=1}^n f_{ij}^r(x_i^Tx_i-2x_i^Tm_j+m_j^Tm_j) \\ \\ s.t.\sum_{j=1}^cf_{ij}=1, \ \ F\geq0$
用拉格朗日乘子法：
$J=\sum_{j=1}^c\sum_{i=1}^n f_{ij}^r(x_i^Tx_i-2x_i^Tm_j+m_j^Tm_j)+\lambda_1(\sum_{j=1}^cf_{ij}-1)+\lambda_2(\sum_{j=1}^cf_{ij}-1)+...+\lambda_n(\sum_{j=1}^cf_{ij}-1)\\ =\sum_{j=1}^c\sum_{i=1}^n f_{ij}^r(x_i^Tx_i-2x_i^Tm_j+m_j^Tm_j)+\sum_{i=1}^n\lambda_i(\sum_{j=1}^cf_{ij}-1)\\ \\ \\ \\ f_{ij}=\frac1{\sum_{k=1}^c(\frac{d_{ij}}{d_{ik}})^{\frac{2}{r-1}}}=\frac{(d_{ij})^{\frac2{1-r}}}{\sum_{k=1}^c(d_{ik})^{\frac{2}{1-r}}}\ \ \ \ (2)\\ \\ \\ m_j=\frac{\sum_{i=1}^nf_{ij}^r x_i}{\sum_{i=1}^n f_{ij}^r}=\frac{\sum_{i=1}^n g_{ij}x_i}{\sum_{i=1}^n g_{ij}}=\frac{Xg_j}{g_j^T\mathbf{1}}\ \ \ \ (3)\\ \\ 其中d_{ij}=||x_i-m_j||_2^2, \ f_{ij}^r=g_{ij} \ \ \ \ \ \$

Algorithm 1 FCM. The standard algorithm for minimizing problem (1) 1: Input data matrix X ∈ Rd×n, cluster number c. 2: Initialize membership matrix F. 3: repeat 4: Calculate center matrix M ∈ Rd×c by Eq. (3); 5: Calculate membership matrix F ∈ Rn×c by Eq. (2); 6: until convergence 7: Output membership matrix F.