t-SNE参数讲解
2022-11-17 本文已影响0人
monkey_study
重要的超参数：eplison（学习度）、perplexity（困惑度）以及step
（迭代次数）
固定step，学习度（10），不同的困惑度情况下的t-SNE分布
image.png
过小的困惑度会凸显出局部变异；
过高的困惑度会引起数据融合，难以解释；
困惑度一般小于数据点数；
相同困惑度，学习度固定为10，不同step（迭代次数）情况下的tSNE分布
image.png
可以看到，迭代次数增大过程中出现的种种奇怪现象：一维，点样聚类等。如果你看到一个带有奇怪的“pinched”形状的t-SNE图，那么这个过程很可能被过早地停止了。不幸的是，没有固定数量的步骤可以产生稳定的结果。不同的数据集可能需要不同的迭代次数才能收敛。
t-SNE图的聚类大小没有意义
image.png
原始数据（左图）其中一个的分布范围是另一群的10倍。
可以看到当困惑度为30时，tSNE分布稳定；but两个聚类之间大小似乎没有差异，反而在困惑度更大（大于原始数据大小-75）出现两群大小特征。why？
t-SNE算法根据数据集中的区域密度变化调整其“距离”的概念。结果，它自然地扩展了密集的集群，并收缩了稀疏的集群，使集群大小变小。很明显，这是一种不同于常规的效果，即任何降维技术都会扭曲距离。（毕竟，在本例中，所有数据都是二维的。）相反，密度均衡是通过设计实现的，是t-SNE的一个可预测特征。
tSNE图聚类直接按的距离可能没有意义
image.png
左图显示了三个高斯点，每对50点，一对距离是另一对的5倍。
在困惑50处，该图给出了全局几何的良好感觉。对于较低的困惑值，簇看起来等距。当困惑度为100时，我们可以看到全局几何结构良好，但其中一个簇看起来比其他簇小得多。既然困惑50在这个例子中给了我们一个很好的画面，那么如果我们想看到全局几何，我们可以总是将困惑设置为50吗？
不幸的是，没有。如果我们给每个聚类增加更多的分数，那么困惑就必须增加以弥补。这里是三个高斯簇的t-SNE图，每个簇有200个点，而不是50个点。现在没有一个试验困惑值给出好结果。
image.png
有时可以看到形状信息
image.png
对于足够高的困惑值，拉长的形状很容易阅读。另一方面，在低困惑时，局部效应和无意义的“聚集”占据了中心位置。更极端的形状也会出现，但同样只有在正确的困惑时才会出现。例如，这里有两个簇，每个簇在2D中有75个点，以平行线排列，带有一点噪声。
其中线条产生弯曲的原因：与上述一样，t-SNE倾向于扩展数据的密集区域。由于簇的中间比末端周围的空白空间少，所以算法会放大它们。
