绘制MNIST二维特征分布
2019-04-20 本文已影响0人
弓長知行
打算实现MNIST在各个loss下训练出来的二维特征分布,持续更新
1.为何绘制出的特征分布只在第一象限
图1
在看center loss论文的时候，自己随便构建了一个网络绘制softmax二维特征，但是绘制出的特征分布一直如上图所示，跟论文当中完全不一样。直到我看到Sphereface论文Appendix A，当中说到之所以会出现这种第一象限分布的特征，是因为embedding层加了relu激活，因为relu：max（0，x）会将负数置0。果不其然，去掉relu后就绘制出了如下所示的特征分布。
图2
2. Modified Softmax
相比softmax，Modified Softmax可以让特征之间明确地按角度区分开。
801.jpg
3. Angular Margin Softmax
可以看到，a-softmax不光把特征由角度区分开来，而且更好地控制了特征间的角度距离。即高内聚，低耦合。
403.jpg
403.jpg
