聚类分析是什么

相对于分类，聚类是一种不清楚类别的种类，或类别不清楚的情况下，通过计算数据之间的相似度（其中用得最多的是距离）来进行小组划分的一种数据挖掘方法。其特点是组中数据的相似度很高，而不同组别之间的相似度却很低。

聚类分析有哪些

根据不同的划分方式，聚类可分为K-Means聚类、K-中心点聚类、系统聚类等。其中最常用以及应用范围最广的是K-Means聚类，下面着重介绍K-Means聚类。

K-Means聚类

K-Means聚类是很典型的基于距离的聚类算法，以组内元素的均值作为每个组的中心，采用距离作为相似性的指标，即认为两个对象距离近，则相似，否则，不相似。该算法认为组内元素是由距离相近的元素组成的，因此，组间元素的距离相近，不同组的距离则较远。

算法步骤：

• 随机选取K个对象作为聚类中心
• while 聚类中心发生变化
  • 计算数据集中各个对象到K个聚类中心的距离，并将距离相近的对象归为同一个聚类
  • 重新计算聚类中心（即重新计算组内均值）

算法实践：
我们以常用的分类数据集Iris作为我们的原始数据

iris = datasets.load_iris()
x,y = iris.data,iris.target

data = x[:, [1, 3]] #只取两个维度便于可视化
f = plt.scatter(data[:, 0], data[:, 1])

Iris

欧几里得距离：
我们采用欧几里得距离来计算点与点之间的距离

def distance(p1, p2):
    """
    返回两个点之间的欧几里得距离
    """
    tmp = np.sum((p1-p2)**2)
    return np.sqrt(tmp)

聚类中心的初始化：

def _rand_center(data, k):
    """
    随机挑选K个初始点
    """
    n = data.shape[1] #数据集包含的特征数
    centroids = np.zeros((k, n)) #初始化一个K行n列的0矩阵
    for i in range(n):
        dmin, dmax = np.min(data[:, i]), np.max(data[:, i])
        centroids[:, i] = dmin + (dmax - dmin) * np.random.rand(k)
 # 这里产生的是介于极小值和极大值之间的数，产生的数有可能不是数据集的数据
    return centroids

K均值聚类：
该算法中，当聚类中心不再改变的时候，迭代停止，返回聚类中心，各点归属于哪一聚类和他们之间距离的和。
注意到K-Means有可能陷于局部最小值，我们采用多次计算取最小值来解决此问题，当然也可以用二分K均值来解决此问题。

n = data.shape[0] #数据集的行数
centroids = _rand_center(data, k)
label = np.zeros(n, dtype=np.int) #用于标记最近的聚类中心
assessment = np.zeros(n) #用于对模型的评估
converged = False
while not converged:
    old_centroids = np.copy(centroids)
    for i in range(n): #决定最相近的聚类中心并记录在label中
        min_dist, min_index = np.inf, -1
        for j in range(k):
            dist = distance(data[i], centroids[j])
            if dist < min_dist:
                min_dist, min_index = dist, j
                label[i] = j
                assessment[i] = distance(data[i], centroids[j])
    for m in range(k): #更新聚类中心
        centroids[m] = np.mean(data[label == m], axis=0)
    converged = _converged(old_centroids, centroids)
return centroids, label, np.sum(assessment)

最后经过多次计算之后显示的结果如下图：

K-Means

从图可以看出，聚类的效果还不错。