机器学习

聚类

无监督学习

一、Kmeans

• 1、k值的选择：
  经验+肘部法则：每一类中样本到重心的距离平方和下降的拐点；

• 2、初始中心点的确定

  1）随机取点；

  2）先使用层次聚类进行初步聚类，然后从k个类别中随机选择中心点作为kmeans的初始中心点；

• 3、评估指标

  轮廓系数：结合了聚类的凝聚度和分离度，用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。具体计算方法如下：对于每个样本点i，计算点i与其同一个簇内的所有其他元素距离的平均值，记作a(i)，用于量化簇内的凝聚度。选取i外的一个簇b，计算i与b中所有点的平均距离，遍历所有其他簇，找到最近的这个平均距离,记作b(i)，即为i的邻居类，用于量化簇之间分离度。

  对于样本点i，轮廓系数s(i) = (b(i) – a(i))/max{a(i),b(i)}

  计算所有i的轮廓系数，求出平均值即为当前聚类的整体轮廓系数，度量数据聚类的紧密程度。从上面的公式，不难发现若s(i)小于0，说明i与其簇内元素的平均距离小于最近的其他簇，表示聚类效果不好。如果a(i)趋于0，或者b(i)足够大，即a(i)<<b(i)，那么s(i)趋近与1，说明聚类效果比较好。

• 4、优化

  二分Kmeans方法：基于SSE（组内距离平方和）。步骤：

  所有样本划分为一类，计算SSE；

  对现有的每一类分别进行K-means将其划分为两组，并计算这两组组别各自的SSE，将两组SSE加和；

  比较加和之后的SSE最小的那两组，对这一类进行划分，其他类不划分。

• 5、区分与knn的关系

  无监督 v.s. 监督学习方法

二、系统聚类方法

思想就是基于距离（最小距离，最大距离，平均距离，重心）自底向上/自顶向下

三、密度聚类

• DBSCAN（density-based spatial clustering of applications with noise）
  • 邻域：对于任意样本i和给定距离e，样本i的e邻域是指所有与样本i距离不大于e的样本集合；
  • 核心对象：若样本i的e邻域中至少包含MinPts个样本，则i是一个核心对象；
  • 密度直达：若样本j在样本i的e邻域中，且i是核心对象，则称样本j由样本i密度直达；
  • 密度可达：对于样本i和样本j，如果存在样本序列p1，p2，...，pn，其中p1=i，pn=j，并且pm由pm-1密度直达，则称样本i与样本j密度可达；
  • 密度相连：对于样本i和样本j，若存在样本k使得i与j均由k密度可达，则称i与j密度相连；
  • 噪声：不属于任何簇的样本。
    DBSCAN 将簇定义为：由密度可达关系导出的最大的密度相连样本集合。
    簇C满足连接性和最大性：
    连接性：C中任意xi，xj皆满足密度相连
    最大性：若C中xi，某xj由xi密度可达，则xj∈C。
    简单来说：如果x是核心对象，那么由x密度可达的所有样本组成的集合就是满足连接性和最大性的簇。
    算法步骤：
    （1）找出所有的核心对象，组成集合Ω；
    （2）从Ω中任选核心对象x，找出由x密度可达的所有样本，组成第一个簇；
    （3）从样本集和Ω中剔除簇中的所有样本，重复（2）中的操作，直到Ω为空。

logistic回归

F1-score