1.3、没有免费午餐定理

没有免费午餐定理
任何一个预测函数，如果在一些训练样本上表现好，那么必然在另一些训练样本上表现不好，如果不对数据在特征空间的先验分布有一定假设，那么表现好与表现不好的情况一样多，即如果不对特征空间的先验分布有假设，那么所有算法的表现都一样。

在设计机器学习算法的时候有一个假设：在特征空间上距离接近的样本，他们属于同一个类别的概率会更高。

机器学习的本质：通过有限的已知数据，在复杂的高维度特征空间中预测未知的样本。