Python数据挖掘011-聚类建模
2019-12-06 本文已影响0人
科技老丁哥
聚类和分类不同，聚类分析是在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法。
聚类是无监督学习算法，需要根据数据自身的距离或相似度将其划分为若干组，划分的原则是组内距离最小化而组间距离最大化。
1. K-Means
image.png
度量样本之间的相似性最常用的是欧几里得距离，曼哈顿距离，闵科夫斯基距离。
在sklearn库中K-Means仅仅支持欧式距离，其他距离并不一定能够保证算法的收敛性。
代码为：
data = pd.read_excel(r"E:\PyProjects\DataSet\PyMining\Data\chapter5\demo\data\consumption_data.xls", index_col = 'Id') #读取数据
data_zs=(data-data.mean())/data.std()
k = 3 #聚类的类别
iteration = 500 #聚类最大循环次数
from sklearn.cluster import KMeans
model = KMeans(n_clusters = k, n_jobs = 4, max_iter = iteration) #分为k类，并发数4
model.fit(data_zs) #开始聚类
#简单打印结果
r1 = pd.Series(model.labels_).value_counts() #统计各个类别的数目
r2 = pd.DataFrame(model.cluster_centers_) #找出聚类中心
r = pd.concat([r2, r1], axis = 1) #横向连接（0是纵向），得到聚类中心对应的类别下的数目
r.columns = list(data.columns) + ['类别数目'] #重命名表头
print(r)
R F M 类别数目
0 -0.160451 1.114802 0.392844 341
1 -0.149353 -0.658893 -0.271780 559
2 3.455055 -0.295654 0.449123 40
#详细输出原始数据及其类别
r = pd.concat([data, pd.Series(model.labels_, index = data.index)], axis = 1) #详细输出每个样本对应的类别
r.columns = list(data.columns) + ['聚类类别'] #重命名表头
r.head()
image.png
聚类得到三个簇，其中第一个簇的样子为：
对于分群1，其间隔较短，消费次数多，消费金额大，是高消费，高价值人群。
2. 聚类算法的性能评价
聚类模型组内的相似性越大，组间差别越大，聚类的效果越好。可以通过以下几个指标来判断：
purity评价法：一种极其简单的聚类评价方法，只需计算正确聚类数张总数的比例。
RI评价法：公式为：
image.png
F值评价法：由RI方法衍生出来的方法：
image.png
3. Python主要聚类方法
image.png
sklearn中这些聚类模型使用方法大同小异，首先用fit()来训练模型，用.label_方法给出样本数据的标签，或者用.predict()方法预测新的输入标签。
4. 聚类结果可视化--TSNE
通常数据的输入属性大于3维，难以直接用原特征对聚类结果进行展示，而TSNE提供了一种有效的数据降维方式，让我们可以在2维或3维空间中展示聚类结果。
from sklearn.manifold import TSNE
tsne = TSNE()
tsne.fit_transform(data_zs) #进行数据降维
tsne = pd.DataFrame(tsne.embedding_, index = data_zs.index) #转换数据格式
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
#不同类别用不同颜色和样式绘图
d = tsne[r[u'聚类类别'] == 0]
plt.plot(d[0], d[1], 'r.')
d = tsne[r[u'聚类类别'] == 1]
plt.plot(d[0], d[1], 'go')
d = tsne[r[u'聚类类别'] == 2]
plt.plot(d[0], d[1], 'b*')
plt.show()
image.png
参考资料：
《Python数据分析和挖掘实战》张良均等
