KNN与维度灾难

2018-08-04  本文已影响176人  小幸运Q

现象:

分类器的准确度会随通道(特征)数增多而下降:


image.png

维数灾难与过拟合:

  1. 假设猫和狗图片的数量是有限的(实际上也确实如此,样本数量总是有限的)

  2. 使用单一特征准确度低:


    image.png
  3. 使用二维特征:


    image.png
  4. 从1维到3维,给我们的感觉是:维数越高,分类性能越优。

  1. 假设样本是均匀分布:
image.png
过多的特征导致的过拟合现象:训练集上表现良好,但是对新数据缺乏泛化能力,因为数据增长跟不上样本空间的增长,难以表示全部样本空间的特征。

解决方案: 特征选择,只包含所有重要特征的特征子集。

上一篇 下一篇

猜你喜欢

热点阅读