KMeans质心介绍

一个簇中所有数据的均值μ(j),通常被称为这个簇的“质心(centroids)”,j表示第j个簇。在一个二维平面中,一簇数据点的质心的横坐标就是这一簇数据点的横坐标的均值,质心的纵坐标就是这一簇数据点的纵坐标的均值，同理可推广至高维空间。

解释

其中,m为一个簇中样本的个数,j是每个样本的编号。这个公式被称为簇内平方和(cluster Sum of Square),又叫做 Inertia。
而将一个数据集中的所有簇的簇内平方和相加,就得到了整体平方和(Total Cluster Sum of Square),又叫做 total inertia. Total Inertia越小,代表着每个簇内样本越相似,聚类的效果就越好。
因此KMeans追求的是,求解能够让 inertia最小化的质心。实际上,在质心不断变化不断迭代的过程中,总体平方和是越来越小的。我们可以使用数学来证明,当整体平方和最小的时候,质心就不再发生变化了。如此,k- Means的求解过程,就变成了一个最优化问题。

计算质心

在一个二维平面中,一簇数据点的质心的横坐标就是这一簇数据点的横坐标的均值,质心的纵坐标就是这一簇数据点的纵坐标的均值，同理可推广至高维空间。

#计算质心def cal_Cmass(data):    '''    input:data(ndarray):数据样本    output:mass(ndarray):数据样本质心    '''    Cmass = np.mean(data,axis=0)    return Cmasscmass = cal_Cmass([[8,8,8],                   [7,7,7],                   [9,9,9]])# [8. 8. 8.]

通过定义先求出质心

计算样本间距离

import numpy as np#计算样本间距离def distance(x, y, p=2):    '''    input:x(ndarray):第一个样本的坐标          y(ndarray):第二个样本的坐标          p(int):等于1时为曼哈顿距离，等于2时为欧氏距离    output:distance(float):x到y的距离          '''       dis2 = np.sum(np.abs(x-y)**p) # 计算    dis = np.power(dis2,1/p)    return dis

定义方法计算两点之间的距离

计算每个样本到质心的距离，并按照从小到大的顺序排列

#计算每个样本到质心的距离，并按照从小到大的顺序排列def sorted_list(data,Cmass):    '''    input:data(ndarray):数据样本          Cmass(ndarray):数据样本质心    output:dis_list(list):排好序的样本到质心距离    '''    dis_list = []    for i in range(len(data)):       # 遍历data数据，与质心cmass求距离        dis_list.append(distance(Cmass,data[i][:]))    dis_list = sorted(dis_list)      # 排序    return dis_listlist = sorted_list([[8,8,8],[7,7,7],[9,9,9]],cmass)# [0.0, 1.7320508075688772, 1.7320508075688772]

遍历data数据，，调用distance()函数与质心cmass求点距。

转载地址：http://oueq.baihongyu.com/

你可能感兴趣的文章